偏差和方差有什麼區別?

時間 2021-05-09 17:45:19

1樓:會飛的鯤

一般情況下,模型的誤差可以拆成偏差(bias)和方差(varaince)兩部分。在傳統的機器學習演算法中,比如KNN,bias一般會隨著模型的複雜度也即K的增加而減小,varaince一般會隨著複雜度的增加而增大,因此一般情況下會對模型的複雜度進行限制。

不過也有一些研究發現,在深度學習的模型中,varaince並不一定會隨著模型的複雜度的增加而增加,比如下邊這張圖,隨著DNN中隱藏層維度的增加varaince並沒有增加。也即在深度學習中不一定需要Bias-Variance Tradeoff

詳細的分析和理解可以參加如下這篇文章:

會飛的鯤:Bias-Variance Tradeoff的新視角

2樓:山溝村

寫過一篇部落格

3樓:張小旭

從模型優化角度回答: 偏差反映模型的擬合程度,通常模型越複雜,擬合程度越好,偏差越小;方差反映模型的泛化能力,通常模型越複雜,泛化能力越差,方差越大。偏差和方差反映了模型的兩個方面的能力,優化的終極目標是對擬合程度足夠的情況下還有著不錯的泛化能力,即在訓練集和測試集都較好的表現。

4樓:深深海海星

分享學習 Machine Learning 時的乙個形象理解。

偏差(Bias)

高偏差:在訓練資料上學得不認真,導致在測試資料上找不准正確答案。

低偏差:在訓練資料上學得很認真,因此在測試資料上往往能找準正確答案。

方差(Variance)

高方差:在訓練資料上學得過於認真,以致於對某些特徵過於敏感,導致在測試資料上常常因為一些特徵值的微小變化,出現較大的擺動。

低方差:在訓練資料上學得較為認真,對特徵值的奇怪變化有良好的包容度,因此在測試資料上不會因過於敏感而產生較大幅度的擺動。

所以我們既要消滅欠擬合(在訓練集上學得不認真),也要消滅過擬合(對訓練集學得太認真),從而既能看清資料背後的規律,又不至於對資料過於敏感(泛化能力強)。

5樓:ZhengLiang

各類回答都說得很清楚了。

雖然都是某差,但是英文中,乙個是bias乙個是variance. 不知道這樣會不會方便區分一些。

6樓:飛翔的豬豬俠

如果沒理解錯的話,Ng老師講的時候說過,大概簡單理解就是,模型引數不夠,導致欠擬合,是偏差;模型引數太多,導致過擬合,則是方差。

7樓:grey orange

簡單理解:high bias 就是欠擬合(underfitting) ; high variance 就是過擬合(overfitting)

8樓:

雖然比較黃,但容易理解

想象你在make love :)

在你快要射的時候,

偏差就是你射不准,離洞口有距離,射歪了。

方差就是你射不穩,波動性大,亂射。

9樓:猩猩點燈

Bias:誤差,物件是單個模型,期望輸出與真實標記的差別

Variance:方差,物件是多個模型

從同乙個資料集中,用科學的取樣方法得到幾個不同的子訓練集,用這些訓練集訓練得到的模型往往並不相同。

以上圖為例:

1. 左上的模型偏差最大,右下的模型偏差最小;

2. 左上的模型方差最小,右下的模型方差最大

為了理解第二點,可以看下圖。藍色和綠色分別是同乙個訓練集上取樣得到的兩個訓練子集,由於採取了複雜的演算法去擬合,兩個模型差異很大。如果是拿直線擬合的話,顯然差異不會這麼大。

一般來說,偏差、方差和模型的複雜度之間的關係是這樣子滴:

實際中,我們需要找到偏差和方差都較小的點。

XGBOOST中,我們選擇盡可能多的樹,盡可能深的層,來減少模型的偏差;

通過cross-validation,通過在驗證集上校驗,通過正則化,來減少模型的方差

從而獲得較低的泛化誤差。

10樓:艾華豐

1、你指的偏差是標準偏差嗎?如果是的話,請看下面的定義:

2、樣本中各資料與樣本平均數的差的平方和的平均數叫做樣本方差;樣本方差的算術平方根叫做樣本標準(偏)差。樣本方差和樣本標準差都是衡量乙個樣本波動大小的量,樣本方差或樣本標準差越大,樣本資料的波動就越大。

3、兩者之間,我沒有看出來太大的區別,如果非要說一點的話,我覺得方差的量綱是隨機變數的量綱的平方,故在使用上有時不方便,此時可改用其算術平方根,與隨機變數保持一致的單位。

和 有什麼區別?

慶悅 異同 相同點 都表示 嘗試 的含義 不同點表示 嘗試了,但是未取得結果 側重目的沒有達到 例子如下我嘗試解決這個問題,但沒有成功 抽菸喝酒不燙頭 嘗試在俄語裡有很多種 1試吃4格也可表達嘗試按時到 2試穿量身 3 努力嘗試 4 竭盡全力try your best in a competitio...

和 有什麼區別?

執筆 用作副助詞,表示 1 聽說,得知 2 表示沒有例外,就連 用作接續詞,表示 1 因為 2 話雖如此,但是 這個句子裡面的 就是表示沒有例外,就連的意思 鍵山怜奈 對於 見 之類表示能力的自發動詞,格主語提示的是東西而不是人,因此在句子中有人作為能力的主體出現時提示助詞是 原句的 馬鹿 和 馬鹿...

和 有什麼區別?

小毛刷 和 有哪些區別呢?的原型是 表示的是一般的規律,日常常規做某事,或者是將來要做的某件事。而 的原型是 表示的是正在做的某事,並帶有持續性。例 明日 散歩 明天去散步 將來做某事 彼 毎日 散歩 他每天在這裡散步 表示常規 A 今何 B 散歩 A 在幹嘛叻?B 在散步呢 正在做的事情 哥布林殺...