1樓：養生的控制人
個人理解：本質上都是求解最優化問題(乙個目標函式在給定區域內的最小值就是約束優化，不考慮給定區域就是無約束優化)。傳統優化演算法可以理解為比較general的優化演算法但是針對不同問題可能並不適用，且考慮的最優只能是區域性最優；凸優化則是優化問題中的一種特殊情況，因為凸性可以保證全域性最優；而智慧型優化演算法很多就是加入一些trick來避免陷入區域性最優。
2樓：Rational
感覺這是乙個很大的問題，我還回答不好，希望做乙個交流，慢慢補充吧。
先說說我眼裡的傳統優化、凸優化、智慧型優化指的是那些吧。
一、傳統優化
1、線性規劃：單純形法
2、無約束優化：最速下降法、牛頓法、共軛梯度法3、約束非線性規劃：罰函式法、可行方向法
二、凸優化三、智慧型優化1、模擬退火、遺傳演算法、禁忌搜尋、神經網路2、Q-learning，可以用於求解組合優化問題作者觀點：
凸優化與傳統優化並非孤立的。在求解乙個非凸的問題的時候，乙個常規思路是將非凸問題轉化成一系列的凸問題，這一步是凸優化教你怎麼辨別哪一類凸問題可以求解。在每一次的迭代過程中，除了內點法之外，我們還可以使用傳統的優化方案，比如說牛頓法具有二次收斂速度去求解。
學習優化演算法需要哪些數學基礎？
一般convex optimization課裡都會提到SGD，momentum，adam等演算法。所以我稍微偏一點點，提點convex optimization的材料。主要還是線代的東西居多，少量的概率和微積分。一學期下來感覺在幹的事情就是不斷迭代，然後考慮boundary能哪些條件下以多快的速度壓...
深度學習中的優化演算法 NAdam 和 Nesterov Adam 有區別麼 區別在哪？
溪亭日暮 Ruder,S.2016 An overview of gradient descent optimization algorithms.arXiv preprint arXiv 1609.04747.Dozat,T.2016 Incorporating nesterov momentum...
智慧型優化演算法能不能每次能找到乙個固定的結果？
每天一罐黑瓶紅牛 看問題和規模。誇張點，乙個二次函式求極值，500次重複試驗肯定返回你同樣的解 只要引數設定正常 乙個10維的問題，20維的問題，乃至50維的問題，如果目標函式友好，例如convex，那多次重複執行極有可能重複相同解。當問題維度增加，或者函式形式複雜，求得同一解的概率不斷下降。其實對...