1樓：Paion
期望最大化期望最大化（Expectation-maximuzation）演算法在統計中被用於尋找，依賴於不可觀察的隱性變數的概率模型中，引數的最大似然估計。 EM是乙個在已知最大期望演算法（Expectation Maximization Algorithm，又譯期望最大化演算法），是一種迭代演算法，用於含有隱變數（hidden variable）的概率引數模型的最大似然估計或極大後驗概率估計。
2樓：
EM是在存在missing value的情況下，先通過E步寫出likelihood function(missing value用上一步迭代出的值），在求出最大似然估計，再代入E步迴圈。
用比較簡單，證明相對複雜了。
3樓：walter zheng
最大似然估計是設計機器學習模型objective的一種方法
模型中引數為 ，訓練資料為 ，模型的學習目標是
使用貝葉斯公式 ，在最大似然估計中，不考慮 （這是個常數） （如果考慮的話就是最大後驗估計MAP），那麼有 ，其中 就是似然函式，一般使用log-likelyhood
EM演算法是求解最大似然估計的一種演算法
EM演算法使用迭代的方法求解 中的 ，就是說 是第t輪的 ， 是t+1輪的 ，EM演算法保證了 log(P(X|\theta ^ ))" eeimg="1"/>，這樣經過了足夠多的迭代後，能夠算出較好的
EM演算法分為Expectation（E）過程和Maximization（M）過程
EM演算法引入了隱變數
E過程是指函式 在 的條件分布 的期望，
注意條件分布的 是第t輪的
M過程是最大化這個期望，
4樓：若羽
EM演算法是一種資料缺失情況下，通過迭代求極大似然估計的方法。
X是觀測資料
Y是潛在資料
k是迭代次數
似然函式L（theta|x）
求期望之後進行最大化似然估計（我們有X，但沒有Y），使得達到最大化
進行更新：
直到收斂。
5樓：GG DING
MLE就是MLE。
EM是為了求解含有latent variable模型的MLE。想求MLE但是有missing data時候，出門左轉MLE。
6樓：sivan
說一下我的理解： EM演算法就是在求完全資料AB的對數似然函式logP(AB|C)的極大值。
1. 不過，由於隱變數或缺失資料B的存在，無法直接對這個函式求解。
2. 但是，缺失資料B在A和C1確定的情況下的概率分布P(B|AC1)是可求的。
3. 因此，對於所有可能的缺失資料B，我們都可以求得乙個對數似然函式logP(AB|C)。
4. 然後，將這些對數似然函式按照B的概率分布求期望，這就得到了EM演算法的核心：Q函式。
5. 然後，求Q函式的極大值來近似logP(AB|C)的極大值，繼而得到引數C。
6. 注意：Q函式只是logP(AB|C)（完全資料的對數似然函式）的下界，EM演算法就是通過求似然函式下界的極大值來近似似然函式的極大值。
但是Q函式取極大值的時候，logP(AB|C)未必是極大值。
7樓：weald
極大似然估計，是一種概率論在統計學的應用，它是引數估計的方法之一。
已知某個隨機樣本滿足某種概率分布，但是其中具體的引數不清楚，引數估計就是想通過若干次試驗，觀察其結果，利用結果推出引數的大概值。最大似然估計也是建立在這樣的思想上：已知某個引數能使這個樣本出現的概率最大，我們當然不會再去選擇其他小概率的樣本，所以乾脆就把這個引數作為估計的真實值。
說的更直白一點就是已知結果求產生該結果最大可能的條件，即概率分布中的引數。
而EM演算法與上面相似，已知隨機樣本滿足某種概率分布 ，但我們並不知道他們的分布引數，所以乾脆先隨機估計出這些引數，然後用這些估計出的引數得出每個樣本最有可能屬於那個類別（即估計隱變數），分類之後使用最大似然估計出每一類的概率分布引數。（這時就更新了第一步隨機估計的分布引數），利用新得到的引數再次進行分類，以此迴圈迭代。最終優化到滿足某個條件後跳出。
得到最終分類，和各類分布引數結果。所以EM常用於資料聚類中。
E步驟：估計未知引數的期望值（隱變數）。
M步驟：重新估計分布引數，以使得資料的似然性最大。
所以說最大似然其實就是EM演算法在迭代過程中的一步而已，是整個EM演算法的基礎。
8樓：翻翻學姐
關係：我們要估計模型的引數，考慮用最大似然估計的方法，但是有些模型直接用（導函式等於零的方式）去最大似然不好求導，所以用EM演算法來幫助最大化似然。
所以說，就像是 [直接對似然函式求導使導函式為零] 是一種最大化似然的演算法一樣，[EM]也是一種用來最大化似然的演算法.
總的來說：直接用最大似然去估計模型的引數，比如說高斯混合模型的引數（各分支比例，各分支的均值和方差），你先試試直接對最大似然求導，是不是非常得難求！！！很麻煩的求導。
但是我們退而求其次，每次去最大化似然函式的下界，最大化似然函式的下界是比較容易的事情。怎麼取似然函式的下界呢？這就用到了Jensen』s inequality。
雖然最大化似然函式的下界並不等同於最大化似然函式本身，但是多次迭代，迭代很多次後，最大化下界得到的引數估計和最大化似然函式本身得到的下界就很接近了，而且可以證明的是：每次迭代最大化下界得到的引數都比前一次迭代得到的引數更接近最大化似然函式本身得到的引數。
具體參見Andrew Ng 的講義，非常通俗易懂地解釋了EM演算法和最大化似然估計的關係。
這篇是具體推導了如何將EM演算法用在最大化似然估計中（高斯混合模型的引數估計中）。
9樓：揚予
EM演算法是用來求解含有隱變數(未能觀測的變數)模型的極大似然估計。故其本質還是極大似然估計。
EM演算法是在極大化Q函式，而可以證明的是Q函式變大的時候，似然函式也在變大，所以本質還是在做極大似然估計。具體證明可以參看李航的《統計學習方法》第九章——EM演算法及其推廣。
10樓：文兄
EM演算法分E步和M步，在這個迭代的演算法中，每經歷一次M步，實際上就做了一次MLE的估計，而本身EM可以看作是因為存在了隱變數而導致MLE無法直接使用，故而想出來的一種比較聰明演算法，但其本質依然是MLE。
11樓：jasmine JIA
直觀來講，em兩個步驟，是乙個迭代的演算法，由於有些最大似然沒有顯式解，或者計算不方便，引入多乙個隱含引數。如此e步估計引數，m步最大化聯合分布。
12樓：
1 為什麼需要EM演算法
我們遇到的大多數問題是這樣的：
A、已知一堆觀測資料X
B、和資料服從的統計模型
然後利用資料來估計統計模型中的引數
解決這個問題的思路是：最大似然，即模型的引數應該能使我們觀測到的這組資料的可能性最大。而這個似然函式就是：
P(X|Θ)
於是，引數估計的問題變成了最優化問題。而最優化問題求解中，最常用的就是直接求導獲得解析解，或者用梯度下降的方法去迭代。
不過，事情並非總這麼簡單。我們可能會遇到：
A、觀測值有缺失
B、難以得知P(X|Θ)，當引入乙個隱含變數時，才能寫出模型
當然，其實這兩種情況都是一種情況，就是必須引入乙個隱含變數。這種情況下，對P(X|Θ)進行優化是困難的，通過引入隱含變數Z，把問題轉換為優化
P(X|Θ) = ∑P(X,Z|Θ)
是相對容易的。
然而在優化這個問題的時候，通常很難求導；或者導數是乙個互相耦合的方程，這個時候，EM演算法就登場了。不過EM演算法和梯度下降法其實本質上都是不動點迭代法。
2、EM演算法是什麼？為什麼可以work？
EM演算法的思路是巧妙的構造了乙個P(X|Θ)的下界，通過優化這個相對簡單的下界來優化最終目標P(X|Θ)：
當然，也可以從Jensen不等式的角度來進行說明~~
13樓：
EM演算法參見zouxy09大神的部落格，裡面很詳細易懂，最大似然估計參見《概率論與數理統計》第四版第七章，在下才疏學淺，引出大牛了
14樓：Golion
最大似然是一種思想，EM是實現這個思想的一種具體演算法。
最大似然跟EM的關係，可以模擬為深度優先搜尋與八皇后的關係，或者動態規劃與揹包演算法的關係。
15樓：在原佐為
簡單幾句話，極大似然等價於極小化求解的分布p和empirical distribution的KL散度。
但是在包含隱變數的情況下就變成。積掉Z很困難，所以我們去另乙個分布q（不做任何假設，只要保證歸一化就行），然後用q代替軟來，一邊極小化pq的KL散度即E步，一邊極大化用q代替以後的似然即M步。
所以，問極大似然和EM有什麼關係。EM是在因為包含隱變數而無法直接極大似然的情況下，想辦法湊出來乙個q來極大似然的方法，同理可以擴充套件到變分EM，甚至EP等演算法上。
16樓：
EM演算法是解決含有隱變數的最大似然估計的演算法，因為似然函式一般是取對數的，而作為有隱變數的最大似然函式，它是的形式是和的對數，對這樣乙個函式求導無疑是非常麻煩的，所以EM演算法非常巧妙的採用了不斷求下界函式最大值的方法來逼近實際的極大值。
從最大似然 貝葉斯估計到EM演算法淺解
神舟Z7 CT7 GK，配置為i7 9750H 1660Ti，16G記憶體，256 1T，72 色域的ips屏，裸機重1.9Kg，輕薄，A面只有乙個商標，外觀低調，背光鍵盤，四出風口，四銅管，雙風扇。本人正在用 缺點是，打遊戲時C面熱，風扇聲音大，但是並不降頻。不打遊戲，C面微熱。重點優點是，外觀極...
為什麼最大似然估計中是最大化概率密度呢？
查查 所有點的概率為0，但是不同點的相對概率不同 0 0型無窮小 概率密度高的點，對應的相對概率更高，所以最大化概率密度是使得相對概率最大。 澤城太太鐵桿粉 以下為個人粗淺理解，不對輕噴。在連續分布情形，單點的概率為零，這點沒有錯。問題是為什麼單點的概率為0？我們知道在連續分布的支撐集上取一點，記為...
加密演算法裡的加密位數和金鑰直接的關係是？
瓦戈科技 加密位數和金鑰一般是一一對應的，AES 128要求金鑰應該是128位的，有些庫可能會在使用者金鑰基礎上進行一定策略的填充。感興趣可以檢視AES 128的一個演算法實現 Advanced Encryption Standard author Dani Huertas email huerta...