1樓：
牛頓法這個式子是由將f(x)在 處進行二階泰勒展開然後令 處導數為零得到的，牛頓法的iteration complexity是 ,但問題在於牛頓法每一步迭代所需的開銷太大，即其每一步都需要求Hessian矩陣並對其求逆，其中對矩陣求逆已經需要 的時間複雜度了。
擬牛頓法
擬牛頓法就是為解決上面的執行時間太長的問題而產生的，其直接近似Hessian矩陣的逆，具體方法有很多，比較常用的有BFGS方法(以Broyden,Fletcher,Goldfarb,Shanno四位科學家的首字母命名),L-BFGS（Limited memory BFGS)等等。如何判斷Hessian矩陣近似地好不好呢？乙個常用的criterion是gradient matching,具體來說,設 為 在 的二次泰勒展開(其中Hessian矩陣用近似的 代替。
那麼乙個很自然的想法就是我讓這兩個函式在 和 處一階導相等來約束 的近似的質量。
為什麼深度學習不使用牛頓法或擬牛頓法優化？
荀令留香 牛頓法和擬牛頓法還是太理想化了，基本上停留在理論層面。每次都要算乙個Hessian陣再做乙個矩陣乘法，計算複雜度太高。實際上目前深度神經網路演算法的收斂性本身就是沒有很好的理論保證的，用深度神經網路只是因為它在實際應用上有較好的效果，但在深度神經網路上用梯度下降法是不是能收斂，收斂到的是不...
多元函式的牛頓迭代和高斯牛頓法怎麼推導？
半個馮博士 其實牛頓迭代的推導說簡單也簡單。從題主的提法來看應該是在說牛頓迭代求優化問題，優化問題主要就是考慮二階逼近。先考慮二階展開 這裡 注意這時二階展開式是 的函式。此時希望它的一階導為零。那麼就可以解出 那麼代回去就可以得到迭代式 小結一下 二階逼近 逼近式對增量求一階導 0 求出增量計算格...
計算器牛頓法能用來做什麼？
卡西歐計算器 卡西歐計算器fx 991CN X的SOLVE解方程功能採用的演算法原理是牛頓迭代法，可以高效計算一元方程的數值解，所以對於許多無法手算求解的超越方程，都可以用該功能求解。例如，在弧度制下求解方程0.8x arctan x 按 選單 進入計算模式，再輸入方程，然後按 SHIFT CALC...