1樓:會飛的鯤
一般情況下,模型的誤差可以拆成偏差(bias)和方差(varaince)兩部分。在傳統的機器學習演算法中,比如KNN,bias一般會隨著模型的複雜度也即K的增加而減小,varaince一般會隨著複雜度的增加而增大,因此一般情況下會對模型的複雜度進行限制。
不過也有一些研究發現,在深度學習的模型中,varaince並不一定會隨著模型的複雜度的增加而增加,比如下邊這張圖,隨著DNN中隱藏層維度的增加varaince並沒有增加。也即在深度學習中不一定需要Bias-Variance Tradeoff
詳細的分析和理解可以參加如下這篇文章:
會飛的鯤:Bias-Variance Tradeoff的新視角
2樓:山溝村
寫過一篇部落格
3樓:張小旭
從模型優化角度回答: 偏差反映模型的擬合程度,通常模型越複雜,擬合程度越好,偏差越小;方差反映模型的泛化能力,通常模型越複雜,泛化能力越差,方差越大。偏差和方差反映了模型的兩個方面的能力,優化的終極目標是對擬合程度足夠的情況下還有著不錯的泛化能力,即在訓練集和測試集都較好的表現。
4樓:深深海海星
分享學習 Machine Learning 時的乙個形象理解。
偏差(Bias)
高偏差:在訓練資料上學得不認真,導致在測試資料上找不准正確答案。
低偏差:在訓練資料上學得很認真,因此在測試資料上往往能找準正確答案。
方差(Variance)
高方差:在訓練資料上學得過於認真,以致於對某些特徵過於敏感,導致在測試資料上常常因為一些特徵值的微小變化,出現較大的擺動。
低方差:在訓練資料上學得較為認真,對特徵值的奇怪變化有良好的包容度,因此在測試資料上不會因過於敏感而產生較大幅度的擺動。
所以我們既要消滅欠擬合(在訓練集上學得不認真),也要消滅過擬合(對訓練集學得太認真),從而既能看清資料背後的規律,又不至於對資料過於敏感(泛化能力強)。
5樓:ZhengLiang
各類回答都說得很清楚了。
雖然都是某差,但是英文中,乙個是bias乙個是variance. 不知道這樣會不會方便區分一些。
6樓:飛翔的豬豬俠
如果沒理解錯的話,Ng老師講的時候說過,大概簡單理解就是,模型引數不夠,導致欠擬合,是偏差;模型引數太多,導致過擬合,則是方差。
7樓:grey orange
簡單理解:high bias 就是欠擬合(underfitting) ; high variance 就是過擬合(overfitting)
8樓:
雖然比較黃,但容易理解
想象你在make love :)
在你快要射的時候,
偏差就是你射不准,離洞口有距離,射歪了。
方差就是你射不穩,波動性大,亂射。
9樓:猩猩點燈
Bias:誤差,物件是單個模型,期望輸出與真實標記的差別
Variance:方差,物件是多個模型
從同乙個資料集中,用科學的取樣方法得到幾個不同的子訓練集,用這些訓練集訓練得到的模型往往並不相同。
以上圖為例:
1. 左上的模型偏差最大,右下的模型偏差最小;
2. 左上的模型方差最小,右下的模型方差最大
為了理解第二點,可以看下圖。藍色和綠色分別是同乙個訓練集上取樣得到的兩個訓練子集,由於採取了複雜的演算法去擬合,兩個模型差異很大。如果是拿直線擬合的話,顯然差異不會這麼大。
一般來說,偏差、方差和模型的複雜度之間的關係是這樣子滴:
實際中,我們需要找到偏差和方差都較小的點。
XGBOOST中,我們選擇盡可能多的樹,盡可能深的層,來減少模型的偏差;
通過cross-validation,通過在驗證集上校驗,通過正則化,來減少模型的方差
從而獲得較低的泛化誤差。
10樓:艾華豐
1、你指的偏差是標準偏差嗎?如果是的話,請看下面的定義:
2、樣本中各資料與樣本平均數的差的平方和的平均數叫做樣本方差;樣本方差的算術平方根叫做樣本標準(偏)差。樣本方差和樣本標準差都是衡量乙個樣本波動大小的量,樣本方差或樣本標準差越大,樣本資料的波動就越大。
3、兩者之間,我沒有看出來太大的區別,如果非要說一點的話,我覺得方差的量綱是隨機變數的量綱的平方,故在使用上有時不方便,此時可改用其算術平方根,與隨機變數保持一致的單位。
和 有什麼區別?
慶悅 異同 相同點 都表示 嘗試 的含義 不同點表示 嘗試了,但是未取得結果 側重目的沒有達到 例子如下我嘗試解決這個問題,但沒有成功 抽菸喝酒不燙頭 嘗試在俄語裡有很多種 1試吃4格也可表達嘗試按時到 2試穿量身 3 努力嘗試 4 竭盡全力try your best in a competitio...
和 有什麼區別?
執筆 用作副助詞,表示 1 聽說,得知 2 表示沒有例外,就連 用作接續詞,表示 1 因為 2 話雖如此,但是 這個句子裡面的 就是表示沒有例外,就連的意思 鍵山怜奈 對於 見 之類表示能力的自發動詞,格主語提示的是東西而不是人,因此在句子中有人作為能力的主體出現時提示助詞是 原句的 馬鹿 和 馬鹿...
和 有什麼區別?
小毛刷 和 有哪些區別呢?的原型是 表示的是一般的規律,日常常規做某事,或者是將來要做的某件事。而 的原型是 表示的是正在做的某事,並帶有持續性。例 明日 散歩 明天去散步 將來做某事 彼 毎日 散歩 他每天在這裡散步 表示常規 A 今何 B 散歩 A 在幹嘛叻?B 在散步呢 正在做的事情 哥布林殺...