1樓：
Wolfe conditions
i) ii)
with .
講講Wolfe準則是怎麼設計出來的，就很容易理解了。Wolfe 準則主要用於線搜尋line search，由兩個條件組成，i) Armijo condition和ii) curvature condition。
Armijo condition是充分下降條件，也是最早的提出來了。對於乙個基於線搜尋的演算法，這個條件保證目標函式值序列 單調下降，如果目標函式有界，那麼序列收斂，然而，只用這個條件，無法保證迭代點序列 收斂以及區域性最優條件。因為對於充分小的步長，Armijo condition都是滿足的。
給定下降方向產生規則，構造這樣乙個概念演算法: 對每次迭次的下降方向都走小步長 ，並使步長序列 快速趨於0。這就導致演算法快速終止，目標函式值序列雖然收斂，但是沒有任何區域性最優保證。
從這個概念演算法可以推斷，只要大步長對於Armijo condition是可以接受的，那麼當前迭代點就必然不是區域性最優點。所以需要乙個條件來得到大步長演算法，保證迭代點序列也是收斂的。curvature condition的作用就是拒絕掉滿足Armijo condition的那些小步長的，當然還有種說法是使斜率也充分下降。
乙個疑問就是，充分下降和大步長這兩個要求不會衝突嗎？Wolfe的貢獻是，他證明對於一大類函式和 ，兩個條件可以同時滿足，也就是Wolfe步長必然存在。
由於保證迭代點序列收斂的關鍵是大步長。在演算法實現時，Wolfe線搜尋挺麻煩，所以經常採用Backtracking Armijo line search來避免小步長問題。
AutoML中的超引數優化，除了隨機搜尋，網格搜尋，貝葉斯優化和強化學習四種方案，還有沒有其他的流派？
網路人工智慧園地 1 Hyperband 一種基於多臂賭博機 Multi armed bandit 的超引數優化演算法 將每一種超引數配置看作乙個arm，進而選擇出最優的超引數配置 採用高效的successive halving技術 Jamieson Talwalkar,2016 對每一種超引數配置...
如何理解佇列優化的Bellman Ford SPFA 演算法的檢測負環的條件？
Drew 個人看法 在SPFA找負環的過程中，記錄乙個點進入佇列的次數。如果超過了n次，那麼這個圖就一定有環 核心條件 這個演算法本身複雜度還是比較優秀的。如果面對更大的資料時可以考慮用堆優化的SPFA。 Raffica 這個理由並不顯然，dfd的證明是錯的。這裡引入乙個推進的概念 n 圖節點數 m...
如何理解帕累託最優是公平與效率的理想王國？
小石頭 講個我認為比帕累託還要合適作為效率與公平trade off 的乙個solution concept，maximizing Nash welfare.首先它一定存在，並且一定可以匯出帕累託最優。其次它maximize 所有人value 的 log 的和，這說明它有效率。再次它公平，在indiv...