1樓：雜言
是的，巨集觀來看是這樣的。GBDT的過程有點像神經網路的梯度下降到達最值，只要把神經網路的負梯度更新引數視為函式(基分類器)完成即可。
另外，我覺得其實名字很迷惑，我當時還覺得明明是梯度下降的思想，為什麼要用梯度提公升樹這個名字？我感覺梯度提公升樹，應該是指使用梯度的提公升樹，所以梯度提公升樹準確分割是"梯度|提公升樹"，而不是"梯度提公升|樹"，也就是和梯度上公升可能不是乙個概念(這個觀點只是個人理解，如果不對也請指出)。
而提公升樹中的提公升正是來自於其加法模型的思想。
2樓：圍兜哥哥
你這樣理解吧，如果損失函式是殘差（回歸），就是梯度下降，盡量的找殘差的極小值，如果損失函式是sigmod等（分類），就是梯度提公升，相反的，盡量的找概率的最大值。可以畫一下只有乙個或者兩個入參的損失函式曲線，一目了然。當然本質都一樣，通過求導找值。
3樓：ijnmklpo
個人感覺本質上還是梯度下降。每棵樹擬合梯度差不多可以看做是梯度下降時在引數空間中挪一步（一次迭代）。只是在樹的搜尋空間裡，沒法對目標函式直接進行梯度下降，所以只能這樣做。
梯度下降法的步長到底怎麼確定？
小小何先生 最速下降法是最早的求解多元函式極值的數值方法。它直觀 簡單。它的缺點是，收斂速度較慢 實用性差。在點處，沿什麼方向尋找下乙個迭代點呢？顯然應該沿下降方向。乙個非常直觀的想法就是沿最速下降方向，即負梯度方向 沿方向進行直線搜尋，由此確定下乙個點的位置，我們將稱為步長因子，滿足以下等式 簡單...
梯度下降法是萬能的模型訓練演算法嗎？
螃蟹貓 梯度下降是最優化最基本的方法。機器學習把問題抽象為最優化問題。因此你覺得梯度下降成了機器學習的萬能方法。然而，就像梯度下降的缺點一樣，你這個 覺得 很可能是個區域性最優。 田star 並不是。如果有梯度的資訊，有限記憶體BFGS是更好的辦法！而且所謂的學習率，如果不是凸問題就不能設定為常數，...
R語言中有哪些最優化的包？有隨機梯度下降法的包麼？
R有乙個 sgd package sgd Stochastic gradient descent Description Run stochastic gradient descent in order to optimize the induced loss function given a mo...