Metropolis Hasting演算法如何推導出Gibbs Sampling?

時間 2021-06-02 01:46:48

1樓:紐約客

Gibbs sampler和 MH的關係直觀理解是這樣的。MH是乙個很general的方法, 給乙個proposal, 通過構造乙個接受概率, 就可以實現target distribution。這個proposal 越合理(接近目標分布), 接受概率就越大, MH就越efficient(not in the sense of exploring the entire distribution).

Gibbs sampler的proposal是從conditional distribution 來的, 對乙個joint distribution來說, 用它本身的conditional distribution 取樣去propose下一步, 這當然是合理的. 對MCMC來說, 考慮的時候不需要想達到目標之前的過程,只要想假設已經達到目標, 那麼下一步是不是能保持目標分布。證明本身其實是很直接的。

對MH的直觀理解參見 MCMC 演算法和 M-H 演算法裡面的「接受概率」是什麼意思?

2樓:謝澎濤

把MH裡的proposal distribution設定為乙個變數的conditional distribution, conditioned on 其他所有變數,就是Gibbs sampling。所以說gibbs sampling是MH的乙個特例。為什麼Gibbs sampling的accept rate是一,參見 http:

//www.

cs.cmu.edu/~epxing/Class/10708-14/lectures/lecture17-MCMC.pdf

的第46頁

3樓:ET Tang

@程德華的回答使這個問題變得有意思了。我理解的「Gibbs sampling」 is a special case of MH 是指Gibbs update algorithm能從MH中匯出(只要把gibbs update的每一步視為MH中的proposal,接受率為1)。

而systematic sweep(或者fixed scan)是多次Gibbs update的combination,這些combing kernels依賴於每一步的實現,是irreversible,(詳見Robert&Sahu(1997))但這並不能說gibbs sampling不是MH的special case。每一次Gibbs Update都是reversible的,簡略證明詳見(http://www.

mcmchandbook.net/HandbookChapter1.pdf

section 1.12.4)。

combination&mixing的方法很多,能塑造出來各種irreversible和reversible的chain,即便是systematic sweep也有一種子類別叫做「palindromic scan」,恰好它又是reversible的。

4樓:

這是乙個有趣的問題。一般的教材裡都會說Gibbs Sampling的接受率等於1,倒是也沒什麼大問題,不過不夠嚴格。

Systematic Sweep的Gibbs Sampling是無法從MH推出的,因為MH的Chain是reversible的,而Systematic Sweep的Gibbs chain不是reversible的。

但是還有一種random Sweep的Gibbs sampling, 那就可以從MH推出來了。

systematic sweep是固定乙個variable ordering, e.g., ,然後每次都按這個順序update variable.

random sweep是每次從中隨機抽乙個序號,然後update這個variable.

此時可以證明acceptance rate=1,題主你想到了這個問題一定可以自己證出來。

樣本方差公式是如何推導出來的?

佔坑。紀念一下我跟我學心理的室友艱難地講懂了這個n 1的問題。懶惰的我居然現在才回答。事情是這樣的,我室友高中學文科,大學學心理,大一學心理統計知道了這個n 1的公式問我這是為什麼,我當時哼哧哼哧半天也沒想出來,一年後又提起這件事,我這回決定怎麼著也要講明白了,於是乎,我先翻出了課本的公式,方便起見...

2023年IMO第六題是如何想出或推導出構造方式的

只微寒 前幾天剛給學生講過這個題.取 則 為了讓 取不出來,必須有 否則 可以取成 模 的數論倒數.設 如果還能找到 則 再設 想要讓 得矛盾,最簡單的辦法就是讓 於是可以轉到嘗試取可以取成 模 不餘1的因子.1 eeimg 1 為整數,為素數,則 的素因子為 或模 餘1 那後面的步驟就更好想到了....

洛倫茲變換為什麼是線性的,如何推導出它是線性的?

這個線性性是假設出來的。微分幾何的研究表明,決定乙個空間性質的量是度規 度規如果與時空座標無關,推導出的洛倫茲變換就是線性的。閔可夫斯基空間的度規是 所以我們通常看到的洛倫茲變換就是線性的 可以參考 BenderRodriguez 的回答 綜上我認為線性性應當作為推導洛倫茲變換的基本假設之一。並且這...