MCMC和Gibbs取樣有什麼區別啊

1樓：Apollo2Mars

先mark下，後答

2樓：演算法崗從零到無窮

本文參考《LDA主題模型詳解》統計模擬中有乙個重要的問題就是給定乙個概率分布p(x)，我們如何在計算機中生成它的樣本。一般來說均勻分布是比較容易生成的，我們程式裡所生成的隨機數就是用線性同餘發生器產生的偽隨機數。

但是很多概率分布我們無法簡單的找到一種演算法來進行取樣，所以就需要一些更加複雜的隨機模擬方法來生成樣本。

常用的取樣方法有MCMC(Markov Chain Monte Carlo 馬爾科夫鏈蒙特卡洛方法)，Gibbs Sampling(Gibbs取樣)

MCMC的核心是馬氏鏈的平穩分布。我們假設現在有【上等馬，中等馬，下等馬】三種馬，它們出現的概率分別是【0.1，0.

7，0.2】，而且有乙個狀態轉移矩陣，告訴我們上等馬的後代有多大的概率繁衍出【上等馬，中等馬，下等馬】。

我們會發現，給定轉態狀態矩陣之後，最後【上等馬，中等馬，下等馬】的概率分布會收斂，不再改變，比如收斂到【0.2，0.6，0.2】，且不受初始概率影響，只於狀態轉移矩陣有關。

那麼我們想到，如果我們能構造乙個狀態轉移矩陣為P的馬氏鏈，使得該馬氏鏈的平穩分布恰好是p(x)，那麼我們從任意乙個初始狀態出發沿著馬氏鏈轉移，得到乙個轉移序列，如果馬氏鏈在第n步已經收斂了，於是我們就得到了樣本，他們是滿足概率分布p(x)的取樣。

細緻平穩條件：如果非週期馬氏鏈的轉移矩陣和分布滿足下式，且對任意都成立，那麼是馬氏鏈的平穩分布，下式被稱為細緻平穩條件。

我們引入乙個接受率，就可以把原來具有轉移矩陣的乙個很普通的馬氏鏈，改造成具有轉移矩陣的馬氏鏈，而恰好滿足細緻平穩條件，由此馬氏鏈的平穩分布就是p(x)。

MCMC取樣的過程：

首先隨機初始化初始狀態（假設是三維）

然後按照狀態轉移矩陣，取樣，~

接著從均勻分布取樣u，若，那麼就接受轉移；否則不接受轉移，原地踏步

收斂之後的取樣就是滿足要求的。

因為可能偏小，所以在取樣過程中馬氏鏈容易原地踏步，所以會用在等式兩邊同時乘以乙個數的方式擴大接受率。這就是M-H取樣。

MCMC取樣和M-H取樣存在兩個問題：

對於高維的情形，由於接受率的存在，所以效率並沒有很高，那是否能找到乙個轉移矩陣Q使接受率為1呢

有可能我們取樣了上百萬次馬爾可夫鏈還沒有收斂，也就是上面這個n1要非常非常的大，這讓人難以接受

Gibbs取樣的過程：

首先隨機初始化初始狀態（假設是三維）

然後按照條件概率，取樣，~

取樣，~

取樣得到的資料就是滿足要求的

我們發現，Gibbs取樣沒有接受率的限制也無需等到馬氏鏈收斂。，它與MCMC在取樣流程上的區別是它是每個維度依次取樣的。

為什麼Gibbs取樣沒有接受率的限制，因為在這條平行於y軸的直線上，如果使用條件分布作為任何兩個點之間的轉移概率，那麼任何兩個點之間的轉移滿足細緻平穩條件。