神經網路中，bias有什麼用，為什麼要設定bias，當加權和大於某值時，啟用才有意義？

1樓：Zhenqiang Su

直觀的解釋就是任何訊號或資訊都是由直流量和交流量組成的。bias就是用來表徵直流量的。所以bias是必須的。

但在deep learning 中，我們可以不用bias。因為裡面用的batch norm 已經把直流量給過濾了。不需要再考慮他了。

2樓：二兩

權重w與偏置bias主要用於神經網路的前向傳播演算法中，公式為$$ O_i = f(W_ * O_ + b_)$$其中$O_i$為輸出，W為權重，b為偏置，啟用函式f因為權重與偏置都是線性的，所以可以將上面的公式簡單替換為$$ y = ax + b $$

回憶一下神經網路的目的，學習不同的資料分布，擬合各種函式，那麼其中a的作用就是為了實現各種線性變換，但這些線性變換都是基於原點的，所以加上b，讓它可以移動。

但光任意的現象變換無法擬合非線性函式，所以加上了非線性的啟用函式f

3樓：idonotk

@馬超回答的已經非常簡單直觀了。我具體解釋下加上bias是如何讓網路變得更靈活。

簡單考慮乙個只有一輸入一輸出的簡單網路：

假設用Sigmoid 啟用函式，如果沒有bias，則。

先看一下在不同W下的情況：

假如輸入的輸入分布如圖中藍點（A集合）和紅點（B集合）所示（在x軸上的分布），要通過 0.5, or <0.5)" eeimg="1"/>來判斷輸入時在A內還是B內，很顯然，要提高準確性，sigmoid函式中的W係數需要學的很大，才能保證盡可能的判斷準確。

但是如果乙個測試樣本在圖中綠點所在的位置呢，很明顯我們可以將綠點判為紅點所在的B集合，但是通過訓練學到的W是不能正確判斷的。這個時候似乎讓soigmoid函式變得更陡沒法解決了。

但是如果加乙個bias呢。

像這樣，w（sigmoid中x的係數）不用學的很大就可以提高學習的準確率，網路就能夠非常靈活的fit A,B 的分布，可以準確的判斷綠點所屬的集合。

簡單點說，就是加上bias能更靈活的fit輸入的分布。

對deep的網路同樣適用。

4樓：Hengkai Guo

題主看到的關於"意義"的說法要表達的意思應該是：當使用接近於階躍函式的gate函式作為啟用函式時（比如Sigmoid），可以將bias看做是乙個啟用的閾值，用來控制輸出是0還是1。這種說法更多的是一種形象的對神經元的理解。

實際上，bias相當於多了乙個引數。在增加網路少量擬合能力的情況下，bias和其它普通權值相比無論前向還是後向，計算上都要簡單，因為只需要一次加法。同時，bias與其它權值的區別在於，其對於輸出的影響與輸入無關，能夠使網路的輸出進行整體地調整，算是另一維自由度吧。

放在二維上，權值相當於直線的斜率，而bias相當於截距，這二者都是直線引數的一部分，並沒有必要區別對待。

因此，通常網路都會使用bias，但並不是必須，對於網路效能的影響並不是很顯著（除非網路太小導致擬合能力太差）。同時，在有些場合裡，bias的使用也沒有意義，比如在batch normalization層之前的層就沒必要加，因為會被歸一化抵消掉。

5樓：Wheeler

直接用二維情形下就可以理解了啊～如果在二維空間中我們想用一條線把樣本分成兩個類，如果沒有偏置項，這條線就必須過原點，這顯然是不合理的啊，事實上絕大多數情況下這條線肯定不過原點。

6樓：馬超

這裡的回答都沒有用最直觀的方法解釋。我們可以把問題先簡化，為什麼線性模型要加 bias？答案很簡單，不加 bias 你的分類線(面)就必須過原點，這顯然是不靈活的。

有了bias我們就可以上下左右移動我們的線了。神經網路是一樣的道理。

7樓：GD hao

和你差不多的理解，有點像是模電裡面的三極體偏置電流，能夠控制「斬波」的效果。三極體就相當於乙個權重、輸入、輸出都是單一標量的「神經元」。三極體本身的啟動、飽和特性、近線性區域特性就是個S函式，哈哈

8樓：犀利哥的大實話

Bias的好處在於：可以使得神經網路Fit的範圍得到左右的調整。舉個很簡單的例子：

比如網路實際是 y=Sigmoid(w*x) 這個函式。這裡沒有Bias。w是weight，通過調節w，網路可以估計比較陡峭的Sigmoid，也可以估計比較平緩的Sigmoid。

但是乙個w只能對應一種pattern。所以這裡加入Bias，如下：

y=Sigmoid(w*x＋bias）

bias表示x方向上的左右移動，乙個w，如果bias=2，w就多了乙個pattern，bias=-2，w又多了乙個pattern。

所以Bias的好處是使得神經網路通過左右Shift可以適應（Fit）更多的情況。

而啟用是相當於乙個開關，舉個例子，比如你要訓練乙個網路來區別男女，那麼男的來了就開門（啟用）讓進去，女的來了就不開門，這樣就能分開男女了。

啟用函式的功能就是這麼乙個開關而已。