卷積神經網路中學習的引數有哪些?

時間 2021-05-12 06:22:52

1樓:劉冬煜

卷積神經網路中有很多執行不同功能的層結構,同時也有很多引數需要學習。其中池化層(包括空間金字塔池化層)、reshape層、softmax層是沒有需要學習的引數的,下面我將會盤點CNN中的所有引數。

卷積層是CNN的核心,其引數則是卷積核的權值以及各通道的偏置量。其中權值的梯度需要使用反卷積獲得,偏置量的梯度則是對應通道的誤差之和。

全連線層的引數同樣也是權值和偏置量。其中權值的梯度是上一層的輸出和當前層誤差轉置的積,而各通道的偏置量則也是對應通道的誤差。

BN層有乙個scale和乙個shift引數,也可以看作是權值和偏置量。計算方法相同,在此不再贅述。

一般的啟用層沒有引數,但如果啟用函式是PReLU則不同了——它需要學習乙個x < 0時的權值,方法也是上一層負的輸出與對應的當前層誤差的積之和。

總體上就是這些引數,總結出來就是各層的權值和偏置量。

2樓:Jack Stark

CNN中的引數有:

可學習的引數:卷積層和全連線層的權重、bias、BatchNorm的 等。

不可學習的引數(超引數):學習率、batch size、weight decay、模型的深度寬度解析度等。

卷積神經網路引數個數?

我覺得應該是208,雖然是三通道,但是,每個卷積核和三個通道進行運算時,引數都是一樣的,說608應該是說總共有多少個引數,比如2個w1,你說是乙個引數還是2個引數,說兩個確實是2個,說乙個也確實是乙個,都是w1,不就是乙個麼,所以可能理解不同,608說的是數量,208說的是種類 行者隨緣 說608的...

卷積神經網路(CNN)和迴圈神經網路 RNN 有什麼區別?

不存在的1990 從字面區分 cnn 裡面的 c指 convolutional operation,是一種提取影象特徵方法。把這一operation加入到layer裡面構成了convolutional layer。rnn裡的r 指recurrent,中文是重複的意思。rnn構造的結構也是recurr...

卷積神經網路和BP神經網路的關係?

乙個維度的BP神經網路就相當於CNN中的全連線了,無非是多幾個全連線,CNN是二維,二維如果搞成全連線就導致運算量巨大,所以有了權重共享,大大減少了運算量,CNN卷積的思想肯定也源於BP神經網路就,在影象上做二維卷積的CNN發出炫目的光芒下,BP神經網路就已經快被人們遺忘了,但是不管CNN再怎麼發展...