回歸提公升樹每個基分類器為什麼沒權重?

時間 2021-06-01 04:18:05

1樓:

最主要的原因是,兩個問題的損失函式不同, 都是加法模型+前向分布演算法 , 有沒有權重和是不是樹本身沒有關係。

如果是指數損失,推導出來的每個弱學習器就帶有乙個權重;如果是平方差損失,推導出來的弱學習器就沒有權重。

題主可以按照加法模型+前向分布演算法的邏輯推導一下就知道了。給乙個指數損失的推導,平方損失換一下損失函式推導一下就ok。

2樓:erin

回歸提公升樹是乙個擬合殘差的過程。與Adaboost不同的是:adaboost使用多個基學習器來擬合訓練集資料(可以看成都具有相同的目標函式),而基學習器訓練的結果有好有壞。

基於訓練結果好的給乙個較大比重的設定,來分析各個基學習器的比重。而回歸提公升樹是乙個不斷減少殘差的過程,這是與adaboost最大的不同。按照adaboost權重設定思路,訓練結果好的比重大,那麼在boosting演算法中,第一棵樹一定是比重最大的。

擬合殘差過程中,不斷減少殘差,使得訓練結果逼近訓練資料集,這樣乙個梯度提公升的過程已經可以很好的提公升精度,所以可以不加入權重。當然,非要加入權重也是可以的,有一種權重縮減的策略,即後來的樹的權重非常小。我之前的實驗設定權重稍大的時候,會出現過擬合的現象,當然這個還是根據資料來分析,判斷是否加入權重以及權重的量級。

3樓:雕欄玉砌

cart樹只是單獨的一棵樹而已,不存在基分類器,所以沒有權重。多次迭代,是為了確定決策樹的分支,損失函式是最小平方誤差。

梯度提公升樹採用的是梯度下降法嗎?

雜言 是的,巨集觀來看是這樣的。GBDT的過程有點像神經網路的梯度下降到達最值,只要把神經網路的負梯度更新引數視為函式 基分類器 完成即可。另外,我覺得其實名字很迷惑,我當時還覺得明明是梯度下降的思想,為什麼要用梯度提公升樹這個名字?我感覺梯度提公升樹,應該是指使用梯度的提公升樹,所以梯度提公升樹準...

收到了傲基有棵樹通拓的offer,到底去哪好?

我是在傲基,說實話,我覺得傲基還可以,除了加班,我是在品牌部,上下級關係不那麼明顯,小姐姐們人也不錯,每週一次下午茶,最近改的,然後晚上加班餐免費,9.30上班,我一般9.00多下班,不過我也聽說過,有乙個做ebay的小姐姐,實習了6個月還是不能轉正,然後人事還一付愛幹不幹的樣子,乙個月4000 還...

如何看待搞基和新東方這次回歸(10月10號)正撞?

Miss北城以北 剛剛看了搞基回歸主打預告,怎麼說呢,還是搞基的風格,不是說這次在範的主打不好,只是不夠抓耳 很難吸引路人去點開聽全曲 不過現在才公開十幾秒,全曲到底是什麼樣的還不知道,暫且保留最後的期待 搞基在歌曲上一直不溫不火,舞蹈也缺少容易引發模仿的感染力,但其實自身條件很好,大公司出身,每個...