卷積神經網路中卷積核的翻轉 全連線層的處理和反向傳播的詳細過程?

時間 2021-06-08 09:06:23

1樓:軒轅十四

1.前向傳播和反向傳播都不用。按計算圖走就是了。所謂的翻轉180°應該是指matlab程式設計需要。

2.關於你說送入全連線層時要不要展成列向量?要根據你的資料結構的決定,如果你的全連線層的輸入資料結構是向量,那就要展成向量

3.第三個問題,我理解你的意思是梯度流動沒搞明白。所以反向傳播過程,見上圖,根據計算圖反向流動梯度!

我覺得你第三個問題可能理解上有問題哦。總之你可以通過繪製計算圖,梯度計算非常簡單和直觀。

(有空再來補詳細)

2樓:泥巴神

第乙個問題,LZ可能此處可能弄混了卷積計算的定義,此處在反向傳播時的翻轉卷積核,是為了方便用矩陣乘法實現卷積運算,是將卷積運算轉為矩陣乘法的一步操作,並不是翻轉卷積操作本身。如果不進行卷積核翻轉,在反向傳播時直接進行滑動,然後傳遞誤差與卷積核的值相乘,這個操作不叫卷積,叫做cross-correlation。

第二個問題,為何要展成一維向量,feature map 本身就是矩陣(matrix)或者張量(tensor), 全連線操作本身也是矩陣或者張量運算,不需要展成一維向量。

第三個問題,對於反向傳播的誤差處理,方法多種多樣,具體根據你的應用目的來設計,其實個人覺得最簡單的SGD已經足夠應付大多數情況。

在卷積神經網路中卷積核為什麼都是方形的?

智星雲服務 Why convolutions always use odd numbers as filter size 卷積運算,簡單地說,是兩個矩陣的元素乘積的組合。只要這兩個矩陣在維度上是一致的,就不應該有問題,所以我可以理解你的查詢背後的動機。然而,卷積的意圖是根據濾波器或核心對源資料矩陣 ...

特徵視覺化中,反卷積神經網路的卷積核為什麼可以是原卷積核的轉置?

打滾敬神 結論 使用轉置卷積,運算後,能夠將被啟用的神經元對應的感受野的原始位置的灰度值設為非零值 對於不能被啟用的神經元對應的感受野對應位置的灰度設為0 可能不嚴謹,只是對應分量丟失,見下面推導 引用縱橫同學的Setting 略有區別,我用的是列向量 縱橫 CNN視覺化從入門到放棄 懶得打late...

什麼是卷積神經網路?

弗拉基公尺爾 神經網路可以理解為多元線性回歸。卷積神經網路可以理解為矩陣形式的多元線性回歸。不知道這樣理解對不對。那就這樣說應該不會有錯 卷積是乙個提取特徵的函式. 憤怒的葡萄 不請自來 首先artificial NNs的目的就是他們能夠被用作乙個任意函式逼近的方式,CNN也是一樣。CNN就是在原有...