卷積神經網路全0填充對最後的運算結果會不會產生影響?

時間 2021-05-05 17:33:25

1樓:張欣

隱約覺得卷積層不能都設為0,從演算法的角度看,誤差反饋演算法到卷積層返回的梯度都是一樣的,卷積層訓練還是達不到效果。

從卷積認知上,卷積就是濾波器,當卷積層都設定為0,那麼就是固定成一種濾波器訓練。而設定為均值為0的白噪音的卷積,是包含了所有卷積的疊加,訓練過程相當於把有用的卷積強化,無用的卷積弱化。

2樓:鐵蛋

感覺會吧...不然upsample vs deconv 這種初始化的方式有什麼意義呢?

雖然是邊緣,但是原理應該是一樣的吧,但是感覺卷積操作全域性卷積的操作,而padding佔的可能不是特別多...可能影響不會很多...

扒了一下stack overflow的答案...

不加padding的好處是:(來自uent原文)

Due to the unpadded convolutions, the output image is smaller than the input

by a constant border width. To minimize the overhead and make maximum use

of the GPU memory

卷積神經網路和BP神經網路的關係?

乙個維度的BP神經網路就相當於CNN中的全連線了,無非是多幾個全連線,CNN是二維,二維如果搞成全連線就導致運算量巨大,所以有了權重共享,大大減少了運算量,CNN卷積的思想肯定也源於BP神經網路就,在影象上做二維卷積的CNN發出炫目的光芒下,BP神經網路就已經快被人們遺忘了,但是不管CNN再怎麼發展...

卷積神經網路中卷積核的翻轉 全連線層的處理和反向傳播的詳細過程?

軒轅十四 1.前向傳播和反向傳播都不用。按計算圖走就是了。所謂的翻轉180 應該是指matlab程式設計需要。2.關於你說送入全連線層時要不要展成列向量?要根據你的資料結構的決定,如果你的全連線層的輸入資料結構是向量,那就要展成向量 3.第三個問題,我理解你的意思是梯度流動沒搞明白。所以反向傳播過程...

卷積神經網路的特徵是如何學習的?

Mario 你好,剛剛答辯完。老師也提了同樣的問題,卷積是如何提取特徵的?答 從傳統影象特徵提取方法來看,卷積核其實就是很多個不同的濾波器,傳統的濾波器是人工設定的,用來提取指定的特徵,比如gabor,canny等。而卷積神經網路中的卷積核是網路隨機初始化之後再通過梯度下降演算法來進行更新,根據你指...