1樓：北野寺僧人
你說的拉格朗日法是什麼？我就單純解釋一下EM和指數族好了。
EM適用於隱變數模型的最大似然估計。一般隱變數模型寫成 ，其中 為觀測到的，為隱變數， 為模型引數。
舉例：高斯混合模型中，類別為 ，對於任何乙個 , 為高斯分布。
EM演算法為如下迭代：
E: 計算 使其與真正的後驗相近
M:計算 ，並根據結果更新
這個方法的強大之處在於，當 時（重點來了！！！！）：
也就是說，EM中如果能夠找到真實的後驗，那麼M-step中的梯度就是模型似然度的梯度。上述公式可以闡明EM的強大之處。
直接用最大似然度估計 不是不可以，但是問題出在似然度
中的這個求和會很慢！
舉例：如果 為D維伯努利變數，那麼這個求和會展開成 專案，對於大一點的 可能需要等待量子計算……而如果 是連續變數，這個積分可能都沒有解析解，只在最簡單的模型裡可以這麼幹（factor analysis）。
但是，EM演算法中M-step梯度中就沒有了這個求和，也沒有了積分！這個看上去似乎為我們省事兒了，這是因為所有的活兒都在算 時做了。但是！
對於特定的模型來說，真正的後驗可能有比上面求和更方便的解析解(參考共軛先驗)，或者我們用簡單（不用依賴大量求和）的也可以得到近似後驗，節省下大量的計算資源。
我們看到 中有個 ，如果 是指數族，可能會有比較神奇的效果？
假設隱變數模型的每乙個因子都是指數族函式，並在此情況下溫習一下指數族函式（這裡省略base measure），對於隱變數
其中 是把「常用」引數轉化到自然引數的方程， 為對數正則函式， 為充分統計量。下角標 表示是先驗 的引數。
舉例：高斯分布 為指數族分布，其中（省略z的角標）
有個很重要的性質！(在大多數「正常的」指數族函式中）
（省略0的角標）第二行其實是第一行再加chain rule。也就是說，
指數族函式的對數正則函式對自然引數的導數為充分統計量在該分布p下的期望。
這個結果，不熟悉的請多讀幾遍……
指數族函式的對數正則函式對自然引數的導數為充分統計量在該分布下的期望。
對數正則函式對自然引數的導數為充分統計量的期望。
導數為期望。
。。。(想證明的也不難）
對於條件概率 ，我們可以把條件變數當成引數，得到
同樣的，我們也有
雖然我們希望 為指數函式，但現在大家可以驗證，如果 和 為指數族，那麼他們的聯合分布不一定為指數族。
但是這不影響我們使用EM——M-step中的梯度可以被化簡！用的是上面那斷繞口的結論和一系列chain rule。
好吧，我承認可能也沒簡化多少==。注意下角標p和q，別搞混了：前者是模型分布 ，後者是後驗分布 。從上面的梯度表示式發現，M-step需要求的統計量為：
後驗統計量，由E-step算出：
先驗統計量，由在當下引數為的模型告訴我們的：
也就是說，偉大的EM演算法，用在指數族的隱變數模型上時，M-step需要計算的統計量其實就只是上面這些，而計算這些統計量成為E-step的目的。
再直白一點！指數族隱變數模型中，E-step不需要計算整個，只需要如上幾個統計量即可！
怎麼算？當我們用近似的q而不是真正的後驗時，比如用VB，EP，其實都在用各種方式算這些統計量。VB和EP中的具體步驟也都很依賴指數族裡面的性質，關注的人多了我再更新好了……
2樓：及時物語
題主這個問題很有意思我以前怎麼就沒思考過。我的理解是EM演算法是一種特殊的最大似然估計，一種一定程度上「取巧」的方法，變不可能為可能，同時外層函式需要滿足凸（凹）性。拉格朗日法是一種按部就班的套路，主要應用在有限制條件的優化中。
打個比方，用拉格朗日法做高斯混合模型或者因子分析中引數的估計，大家覺得能做出來嗎？我個人感覺是求不出來的，就算能求出來，結果和EM演算法的也不會一樣。我
最大似然估計和EM演算法的關係是什麼？
Paion 期望最大化期望最大化 Expectation maximuzation 演算法在統計中被用於尋找，依賴於不可觀察的隱性變數的概率模型中，引數的最大似然估計。EM是乙個在已知最大期望演算法 Expectation Maximization Algorithm，又譯期望最大化演算法 是一種迭...
物質和意識有什麼關係？
力牧 水，或者說液體，是生命得以生成的基礎。也就是說，沒有水就沒有生命。就像我們所知道的，在人體中，水的比重就佔到了百分之七十。而人正有著我們自稱的所謂的意識。那麼，我們這裡的問題是 物質和意識有什麼關係？我們就拿現代的某一科技產品來說吧，你比如電燈。電燈由幾個硬體構成，其中就有電熱絲。單純的電燈，...
內捲和外包有什麼關係？
西十六奇葩 同為程式設計師，我也好好想了想這個問題。要判斷內捲和外包的關係，還是得按步驟來。首先是要劃分外包的角色。外包的角色有 發包方，掮客，外包方。自由競爭的情況下外包方會慢慢替代發包方和掮客，但現實中政策，法律和文化差異築起的高牆保護著他們，因此外包模型得以維持 其次從各個角色出發分析和內捲的...