貝葉斯概率 貝葉斯推斷以及模型之間的關係?

時間 2021-05-10 16:06:04

1樓:wu mm

個人觀點,貝葉斯和頻率派最大的區別應該在於如何看待引數,前者認為引數是隨機的,後者認為引數是固定的。但是相同點在於,似然函式是相同的,資料都是通過似然函式進入模型的。

貝葉斯: 引數是隨機的,所以用乙個分布來表示,看到資料之前,這個分布叫先驗,看到資料之後,這個分布叫後驗。簡單的說,後驗等於先驗乘以似然,具體怎麼算,就得用共軛先驗,MCMC,VI等了。

頻率派: 引數是固定的,似然函式包含了所有資料的資訊,直接優化似然函式,找到的最優點就是對引數的估計,即點估計。

所以,乙個模型最重要的應該是似然函式,然後貝葉斯和頻率派以不同的觀點看待引數,求解出後驗分布和點估計。而後驗分布是漸進趨於以點估計為中心的高斯分布的,所以兩者很多時候在資料上的效果差不多。

當然,有些時候,兩者各有優缺點,貝葉斯說自己可以防止過擬合,頻率派說自己最實用(比如lasso可以產生稀疏解,用來變數選擇,bayesian lasso卻不稀疏)。

以GMM為例,似然函式就是那個混合高斯的density,頻率派用EM解出點估計,貝葉斯用取樣模擬出後驗分布。

PGM用圖的方式來描述資料的結構,因為往往有大量引數,所以一般用貝葉斯的方式求解比較方便。當然也有頻率派的方式求解的,比如EM等。

貝葉斯 貝葉斯網路 貝葉斯統計原理,求解他們的異同和聯絡?

會呼吸的龍龍 貝葉斯 Bayes 是指Bayes理論的創始人 Thomas Bayes,提出了Bayes Theorem.相信Bayes Theorem的人稱為貝葉斯學派 Bayesian 與之對應的是頻率學派 Frequentist 這是統計學中的兩大陣營,沒有對錯,只是看待概率的角度不同。貝葉斯...

貝葉斯統計

入骨痴纏 安 225運送機 英語 Antonov An 225 Mriya 北約代號 哥薩克 Cossack 烏克蘭語225 俄語225 是前蘇聯安東諾夫設計局研發的超大型軍用運送機,該機起飛重量640噸,是至2015年停止全世界載重量最大的運送機與飛機,其翼展寬度僅次於美國休斯力士運送機,是翼展第...

貝葉斯推斷中為什麼不能直接從posterior sampling而是要採用MCMC方法

第乙個問題 因為你不知道這個後驗的分布是什麼樣的形狀和公式你能得到的只有它的結果假設它是乙個很複雜的積分 奇形怪狀或高維 普通的方法是沒有辦法直接求解的然而通過sampling可以近似求解 sampling越多結果越準確 第二個問題 不能不是所有的分布都能sampling出來假設函式是P x P x...