全連線層的作用是什麼?

時間 2021-05-09 10:48:41

1樓:有一天我變成蝸牛

個人的理解,不知道準不準確,有問題的話還請大家幫忙指出~卷積層:每個卷積核只關注某一區域性特徵,同時引數共享可以保證一些特徵平移或旋轉的變換不會影響區域性特徵圖的提取結果。

池化層:進一步壓縮區域性特徵圖,避免過擬合。

全連線層:整合區域性特徵圖,得到全域性特徵資訊。

softmax層:根據樣本全域性特徵資訊得到其屬於不同類別的概率。

2樓:dan zheng

因為卷積層的作用只是提取特徵,但是很多物體可能都有同一類特徵,比如貓、狗、鳥都有眼睛。如果只用區域性特徵的話不足與確定具體類別。這時就需要使用組合特徵來判別了。

全連線就是組合這些特徵來最終確定是哪乙個分類,所以全連線就是組合特徵和分類器功能。

3樓:Lovergx

首先要確認的一點是在全連線層之前是已經經過特徵提取的影象特徵,每乙個feature map都是對輸入影象的某些區域性特徵的某乙個角度的描述。

接下來要做的就是通過對這些feature map進行組合,看能得到什麼東西。而在全連線層的每個和feature map同等大小卷積核相當於站在乙個特定的角度對這些feature map進行組合,最後得到乙個結果判斷是不是屬於該角度下所代表的類別。

而多層全連線層就是增加了判斷的步驟而已。舉個例子說明一下自己的理解:

假設我們得到了一些feature map分別代表手,腳,頭部等部位的一些區域性特徵,然後到了全連線層,某乙個卷積核經過運算(將特徵拼在一起)希望得到乙個貓,其他的卷積核可能希望得到其他的東西,但不管運算結果是什麼,它們都會按照自己的角度計算出來,然後將他們計算的結果輸出以供分類。

4樓:運動碼農

可以說所有神經網路都可認為是表示學習

5樓:

你也可以認為全連線層的每一列都是乙個label的表徵,weight的每一列。

詳見:由重新思考全連線層將互動特徵引入分類中的一種方法-看山杯SOTA

6樓:Softmax

簡單的回答,全鏈結層就是linear regression, 加上後面的softmax就是傳統的softmax regression. 如果結果是binary就變成了logistic regression.

全鏈結層之前的所有層可以理解為為了linear regeessuon 準備feature。

7樓:

我是這麼理解的,僅供參考。

(2)卷積神經網路經過pooling之後,尺寸已經大大減少了,偶爾用一兩層全連線,計算量可以接受。

(3)其實如果計算能力允許,你用每層都是全連線的,也許比卷積神經網路效果更好呢(我猜的,未必是真的),不過現實中不太可能。

8樓:徐振華

全連線的輸入是一系列高度抽象後的feature map,全連線就是這些特徵進行投票,1,2,3特徵更像是貓的特徵,2,4,5更像是狗的特徵。。。這樣就能得到每個類別的概率。

9樓:孫逸

為什麼前邊的回答那麼高深,反正我是看不懂。

新手個人理解,從名字出發的:卷積取的是區域性特徵,全連線就是把以前的區域性特徵重新通過權值矩陣組裝成完整的圖。因為用到了所有的區域性特徵,所以叫全連線。

話說各位dalao就不能用通俗點的話解釋問題嗎

10樓:應小興

全連線層,只是一種combine底層網路學習到的特徵to目標的方式。傳統機器學習方法在建模的時候,一般以賦權重的方式表示特徵對最終目標造成的影響,我想全連線層也是這種道理。當然,你也可以不使用全連線層。

譬如在影象定位的時候,當識別影象解析度大於所建立的網路模型的輸入的時候,有一種處理方式就是將最後的全連線層替換成捲基層,只不過是c*1*1的卷積層。

11樓:wangyang

卷積層本來就是全連線的一種簡化形式:不全連線+引數共享,同時還保留了空間位置資訊。這樣大大減少了引數並且使得訓練變得可控。

全連線就是個矩陣乘法,相當於乙個特徵空間變換,可以把有用的資訊提取整合。再加上啟用函式的非線性對映,多層全連線層理論上可以模擬任何非線性變換。但缺點也很明顯:

無法保持空間結構。

全連線的乙個作用是維度變換,尤其是可以把高維變到低維,同時把有用的資訊保留下來。

全連線另乙個作用是隱含語義的表達(embedding),把原始特徵對映到各個隱語義節點(hidden node)。對於最後一層全連線而言,就是分類的顯示表達。

不同channel同一位置上的全連線等價與1x1的卷積。

N個節點的全連線可近似為N個模板卷積後的均值池化(GAP)。

12樓:啦啦啦

科普和代替辦法我就不重複了。

放個經驗。

我和另乙個小夥伴的幾個實驗(分類問題,資料從幾千到幾十萬,synthetic到real都有),發現加不加辣麼多fc好像不太影響最終結果。。。

13樓:田star

假設你是乙隻小螞蟻,你的任務是找小麵包。你的視野還比較窄,只能看到很小一片區域。當你找到一片小麵包之後,你不知道你找到的是不是全部的小麵包,所以你們全部的螞蟻開了個會,把所有的小麵包都拿出來分享了。

全連線層就是這個螞蟻大會~

如果提前告訴你全世界就只有一塊小麵包,你找到之後也就掌握了全部的資訊,這種情況下也就沒必要引入fc層了

14樓:

全連線的核心操作就是矩陣向量乘積

本質就是由乙個特徵空間線性變換到另乙個特徵空間。目標空間的任一維——也就是隱層的乙個 cell——都認為會受到源空間的每一維的影響。不考慮嚴謹,可以說,目標向量是源向量的加權和。

在 CNN 中,全連線常出現在最後幾層,用於對前面設計的特徵做加權和。比如 mnist,前面的卷積和池化相當於做特徵工程,後面的全連線相當於做特徵加權。(卷積相當於全連線的有意弱化,按照區域性視野的啟發,把區域性之外的弱影響直接抹為零影響;還做了一點強制,不同的區域性所使用的引數居然一致。

弱化使引數變少,節省計算量,又專攻區域性不貪多求全;強制進一步減少引數。少即是多)

在 RNN 中,全連線用來把 embedding 空間拉到隱層空間,把隱層空間轉回 label 空間等。

15樓:「已登出」

卷積層模仿人的視覺通路提取特徵,全連線層一般負責分類或者回歸,由於全連線層會丟失一些特徵位置資訊,所以最近FCN火了起來,全部卷積層,不用全連線層。

lstm層和全連線層的本質區別是什麼?

黑火藥 個人淺見,本質的區別在於不同的網路結構適合處理不同結構的資料,網路結構與資料結構越相似,優勢越大。lstm更好的模擬了序列相關的資料生成的過程,也就是今天的資料與昨天有很大關係,昨天的資料與前天又有很大關係,資料間是按順序影響的。因此lstm在處理帶有序列相關性質的資料時,比全連線的網路更有...

embedding層和全連線層的區別是什麼?

空字元 如果單單只是從計算的角度來說的話,兩者沒有任何區別,都是兩個矩陣相乘。只是說從向量表示的角度來說,embedding層的權重有自己獨特的意義,而全連線層沒有。這也類似於注意力機制,在不同的背景下同乙個東西有著不同的解釋 鐵心核桃 前面 Hover 已經說的很清楚了。我也跟著再多說幾句。Emb...

團建作用是什麼?

韓梅梅6772 說到團建的作用,可以從老闆和員工兩個角度出發來看。首先是老闆想要通過團建讓公司得到什麼,一般有這四種 1 為了籠絡員工,讓員工覺得老闆很照顧他們,公司福利好 2 想要通過團建去激發員工的團隊合作能力 3 釋放團隊壓力,提高工作效率,為公司利益達到最高化 4 激發員工們的狼性 從員工個...