1樓：Garden Fai
單純的梯度下降演算法是收斂於部分最優解的，假如要求完成大局最優解的話可以考慮加入退火演算法或許遺傳演算法之類的思維，簡單說就是在查詢過程中不光有根據梯度下降的方向，一起也融入少數的逆向查詢，終究設定乙個收斂域即可。函式的梯度是指它在這一點處增加最快的方向，明顯負梯度方向就是下降最快的方向。梯度下降方向就是和負梯度方向的夾角小於90度的方向，也就是和負梯度方向的內積小於0，沿著梯度下降方向移動，函式的值會減小。
因而最小化乙個函式的通常做法是：從某一點動身，找到該點的梯度下降方向）沿著這個方向移動必定的間隔。不斷迭代，直到滿意停止原則。
目前簡直一切的機器學習求解演算法都是根據梯度下降的，例如OWLQN、SGD、Async-SGD等
2樓：易老師占星
函式的梯度是指它在這一點處增加最快的方向，明顯負梯度方向就是下降最快的方向。梯度下降方向就是和負梯度方向的夾角小於90度的方向，也就是和負梯度方向的內積小於0，沿著梯度下降方向移動，函式的值會減小。因而最小化乙個函式的通常做法是：
從某一點動身，找到該點的梯度下降方向）沿著這個方向移動必定的間隔。不斷迭代，直到滿意停止原則。現在簡直一切的機器學習求解演算法都是基於梯度下降的，例如OWLQN、SGD、Async-SGD等
3樓：奶味維他命
梯度下降演算法是乙個比較廣的概念， 意思是： 你優化乙個函式/分類器時，怎麼減少它的差錯？無妨挑選梯度下降方向，該方向很可能是走向最優點的方向。
然後加上乙個隨機，表明： 既然你知道方向是：梯度方向了，那麼走多長呢？
答案是：隨機。所以，梯度下降演算法包含隨機梯度下降演算法。
函式的梯度是指它在這一點處增加最快的方向，明顯負梯度方向就是下降最快的方向。梯度下降方向就是和負梯度方向的夾角小於90度的方向，也就是和負梯度方向的內積小於0，沿著梯度下降方向移動，函式的值會減小。因此最小化乙個函式的通常做法是：
從某一點動身，找到該點的梯度下降方向）沿著這個方向移動必定的間隔。不斷迭代，直到滿意終止原則。現在簡直一切的機器學習求解演算法都是根據梯度下降的，例如OWLQN、SGD、Async-SGD等
4樓：Lesile
不是的！！！
隨機梯度下降每一次迭代的時候是沿著梯度的方向走的，也就是說每一迭代的時候都會同時更新各個引數的數值(注意與座標下降的區別)。之所以叫隨機梯度下降，在於其對梯度的計算只用到了乙個樣本(不用遍歷所有樣本，因此大大提高了計算速度)。
座標下降在每一次迭代的時候，並不是按照梯度的方向走，而是按照座標的方向走(比如我們要估計的是p維的乙個向量，則座標的方向則是有p個，分別是p維空間上的單位向量ei)。座標下降的每一次迭代過程，會按照一定的順序（比如按照1,2,...p的順序）對每乙個引數進行更新(更新第j個引數的時候，其他p-1個引數保持不變)，直到收斂。
在以上過程中，仍然要遍歷整個樣本。
座標下降方法簡單，迭代速度快，但是因為其只能適用於某些特定的凸優化問題（比如Lasso，Elastic Net等），因此應用受到一定程度的限制。
ps:我猜題主是學統計的吧！
梯度提公升樹採用的是梯度下降法嗎？
雜言 是的，巨集觀來看是這樣的。GBDT的過程有點像神經網路的梯度下降到達最值，只要把神經網路的負梯度更新引數視為函式 基分類器 完成即可。另外，我覺得其實名字很迷惑，我當時還覺得明明是梯度下降的思想，為什麼要用梯度提公升樹這個名字？我感覺梯度提公升樹，應該是指使用梯度的提公升樹，所以梯度提公升樹準...
R語言中有哪些最優化的包？有隨機梯度下降法的包麼？
R有乙個 sgd package sgd Stochastic gradient descent Description Run stochastic gradient descent in order to optimize the induced loss function given a mo...
梯度下降的引數更新公式是如何確定的？
溫浩 正向層層訓練，反向層層傳求導，千辛萬苦求出的偏導數，最終想得到的只是它的正負。就好像我們人生中遇到的每個關口，我們需要的也只是乙個方向 前進還是後退，其實正是這一次次的簡單的正負號，決定了我們自己的損失函式 人生的高度。 老董 這裡我相信題主對梯度下降法的整體理念是認可的，只是不清楚這個更新公...