1樓：Martin Tan
一般來說，exact line search效果要比backtracking好。但問題在於，exact line search需要解乙個子問題：
在少數情形下，這個子問題是很容易求解的。例如如果目標函式是個二次函式，那麼就有：
所以當和固定時，實際上這就是關於的乙個一元二次函式，初中數學知識就知道這個最優點可以解析的寫出來，所以是容易求解的，計算代價也不高，只需要求少數幾次的向量與矩陣、向量與向量乘積。
但不幸的是，大多數情況下我們的函式並沒有這麼好的形式，關於的子問題沒有解析解，要解它可能需要使用某些優化演算法進行反覆迭代計算，總而言之，可能要耗費很多的計算量才能解決這個子問題。在這種情況下，backtracking就顯得價效比更高，因為backtracking中步長是指數級減小，一般在少數幾輪迴圈後就能找到乙個合適的步長。
此外，糾正乙個問題，exact line search找到的並不是local minimum。一條直線上的最小值點並不意味著這個點的函式值比它領域內所有點都小。
2樓：風清揚
exact line search直接就是求local minimum了啊。
0} f(x + t \Delta x)" eeimg="1"/>backtracking line search其實還是很實用的，一般來講只要有導數就能用。
其實對於後面幾個演算法，更好的對比是fixed step size和line search，但是幸運的是，他們的convergence rate基本是一樣的。
如何理解最優化搜尋中的Wolfe準則？
Wolfe conditions i ii with 講講Wolfe準則是怎麼設計出來的，就很容易理解了。Wolfe 準則主要用於線搜尋line search，由兩個條件組成，i Armijo condition和ii curvature condition。Armijo condition是充分下...
在優化問題裡，強化學習相比啟發式搜尋演算法有什麼好處？
震靈 最大的好處就是神經網路的可塑性非常強，並且號稱具有遷移學習能力。舉乙個最簡單的例子，對於傳統優化問題來說，無論是貝葉斯優化還是啟發式演算法，對於每求解一組新問題，都需要針對每個例項 例如乙個TSP路徑規劃例項 執行一次完整的優化演算法。但是實際上這些問題的最優解可能有某種強關聯，對於這種情況，...
如果對指定PC配置進行優化，能否在相同成本下達到PS4和X1類似的水平
很暴躁 為什麼玻璃心這麼多，拉黑精神勝利？明顯題目針對的是遊戲效能。日常筆記本能上獨顯都厲害了，遊戲上你說1600和1060算高效能，還不知道你是63還是66，好比別人說現在旗艦手機有哪些，你拿個蘋果6出來說你是機皇，合著能把遊戲執行就是高效能了，我自己2700x 1080遊戲性都只敢說中偏上，你這...