先驗分布 後驗分布 似然估計這幾個概念是什麼意思,它們之間的關係是什麼?

時間 2021-05-05 20:20:24

1樓:Dyn98

說一點自己的理解。先驗分布一般屬於貝葉斯估計裡面的內容。

在引數的貝葉斯估計中,我們用到的公式(1)是下面這個:

左邊的部分p(Θ|x)是後驗分布,右邊分子的前半部分p(x|Θ)是似然函式,g(Θ)是先驗分布

似然估計:用似然函式p(x|Θ)去估計引數的取值,具體是:

若總體X屬離散型,其分布律P=p(x;θ),θ∈Θ的形式為已知,θ為待估引數,Θ是θ可能的取值範圍,設X1,X2,,Xn是來自X的樣本,則X1,X2,,Xn的聯合概率分布為:

設x1,x2,,xn相應的樣本值,易知樣本X1,X2,,Xn取到樣本值x1,x2,,xn的概率,亦即事件發生的概率為:

這一概率隨Θ的取值而變化,它是Θ的函式,在似然估計中出現的這個L(θ)稱為樣本的似然函式(注意這裡x1,x2,,xn都是已知的樣本值,它們都是常數),就是公式(1)中的p(x|Θ)。

先驗分布:在貝葉斯學派對問題(比如說引數估計)的認知中,他們認為我們對於引數Θ在一開始是有乙個先驗分布的,這個先驗分布可以理解為人們對事物的認識,是人們通過自己的認識人為確定的乙個超引數。

結合似然函式,我們把公式(1)右邊分子部分領出來看(假設只有乙個樣本X1):

p(x|Θ)g(Θ)=Pr(X1=x1|Θ=θ)*Pr(Θ=θ),其中X1,Θ是隨機變數,x1,θ是變數的乙個取值。

上面的這個乘積(或者說概率)可以理解為我們認為假設的先驗分布(比如我們可以假設Θ服從正態分佈)裡面Θ=θ的概率乘以X關於Θ的分布(比如可以是乙個引數為Θ的指數分布)裡面樣本值取到x1的概率。先驗概率經過似然分布(或者說實際樣本)的調整後,兩者的乘積越大,那麼引數Θ取到θ的概率也就越大。

補充:公式(1)中等式右邊的分母可以理解為對於分子的歸一化,使得整個等式右邊的結果可以滿足概率的定義。

後驗分布:公式(1)等式左邊就是後驗分布了,跟上面結合起來理解就是先驗分布通過似然分布(實際的抽樣實驗)調整得到的引數Θ取得θ的概率。

上面說的是在引數估計中先驗分布,後驗分布,似然估計(和似然函式、分布)怎麼理解。下面在補充乙個簡單的概率計算中貝葉斯估計的應用,幫助理解:

可以看到先驗分布中,元器件屬於製造廠2的概率最大為0.8,但是經過似然函式(實驗抽到了乙個次品)的調整後,後驗概率中元器件屬於製造廠2的概率下降到了0.64。

這就是貝葉斯估計的過程,先有乙個先驗分布,經過似然分布的調整以後得到後驗分布。

2樓:風鈴貓

太長不看版:

先驗分布是你瞎猜引數服從啥分布

後驗分布是你學習經驗後有根據地瞎猜引數服從啥分布

似然估計是你猜引數是多少,才最能解釋某些實驗結果

原回答:

某硬幣的投擲結果服從分布 。實驗中, 該硬幣被投擲了6次,結果是 =,求引數

該問題下的先驗概率是 ,意義是「你覺得 是多少」;

後驗概率是 ,意義是「學習結果 以後,你覺得 是多少」;

條件概率的意義則是「在引數為 的前提下,實驗結果為 的可能性」。

因為這個問題本質上就是 對 的最大優化問題(why not ?繼續看),所以此處引入似然函式協助優化 :

(1)因為根據貝葉斯定理,先驗概率和後驗概率滿足:

(2)所以(1)代入(2),並且 視作常數的條件下,(2)進一步可以寫成

(3)根據頻率學派的觀點,引數 是固定的,不受影響的,所以 。據此,(3)可以再進一步寫成:

(4)因為似然函式正比於條件概率,所以對似然函式的優化相當於對條件概率的優化。此處似然函式可以展開為:

變成log-likelihood優化即可,不再贅述。

3樓:

直接扔個例子吧~~

先驗分布:P(w1) or P(w2) 就是和光照沒半毛錢關係,是一種事先知道的既定事實。比如塘主說,這魚塘本來沒魚,我剛扔了10條Bass和20條Salman進去。

於是,P(w1)=10/(10+20)=1/3, P(w2)=20/(10+20)=2/3

似然估計:P(x|w1) or P(x|w2) 就是現在假設x=10強度的時候,比如(x=10|w1)=0.01,也就是說在所有bass裡面大部分不適合10強度光照的,但是P(x=10|w2)=0.

9,也就是說所有salman裡面大部分適合10強度光照的,此時根據概率判斷x=10的時候因為P(x|w1)後驗分布:P(w1|x) or P(w2|x)最直觀的表示方式,現在我們已知實在x=10光照強度下抓上來一條魚,問是bass和salman的概率分別是多少呢?

相互之間轉換用貝葉斯公式,P(w1|x)=P(x|w1)*P(w1)/P(x)

4樓:王北

中醫把人分成9種體質,其中一種叫痰溼體質,這種體質的人在所有的人中佔8%,這個是之前統計的結果,可以稱之為先驗,就是先前的經驗的意思。讓後發現痰溼體質的人80%是胖子,這個就是似然。讓後拿80%乘以8%就是6.

4%,也就是說看到乙個胖子,他是中醫痰溼體質的概率是6.4%再乘以乙個係數,這個就是後驗。總結,乙個胖子是痰溼體質的概率是正比於有多少人是痰溼體質,以及痰溼體質的胖子有多少。

這就是中醫的科學性。

5樓:朱子星

翻了好幾篇部落格,感覺只有這位老兄的部落格講得好些。

6樓:

其他答主舉的例子都是離散的。補充乙個連續分布,表述和離散略有不同。

先驗:我打算去酒吧找姑娘談心,給姑娘買多少杯酒我倆能把酒言歡?根據常識,買2杯酒成功的人最多,也有小概率(p<.

025)姑娘主動買給我4杯酒,95%的概率落在[-4,8]區間。

似然估計:我取了一堆樣本(有的妹子給買1杯,有的買6杯)。似然估計是作為個體的「我」買酒平均值的分布。

4杯的時候相談甚歡的妹子最多,2杯以下鮮有成功。

後驗:黑粗線。由貝葉斯定理,後驗 ∝ 先驗(普通人成功買酒的分布)x 似然估計(我成功|酒數量)算出我買單的酒的實際分布平均=3.5,標準差1。

我成功要買的酒比別人多,那勾搭成功大概主要是酒精或者我買單時的豪邁,而不是我的魅力。

7樓:翻翻學姐

P(H|X) is the posterior probability, or posteriori probality, of H conditioned on X. For example, suppose our world data tuples is confined to customers described by the attribute age and income, respectively, and the X is a 35-year-old custumer with an income of $40,000. suppose that H is the hypothesis that our customer will buy a computer.

Then P(H|X) reflects the probability that customer X will buy a computer given that we know the customer's age and income.

In contrast, P(H) is the prior probability, or a priori probability of H. For our example, this is the probability that any given customer will buy a computer, regardless of age, income, or any other information, for the matter. The posterior parobality, P(H|X), is based on more information(e.

g., customer information) than the prior probabilty, P(H), which is independent of X.

Similarly, P(X|H) is the posterior probability of X conditioned on H. That is, it is the probability that a customer, X, is 35 years old and earns $40,000, given that we know the customer will buy a computer.

P(X) is the prior probability of X. Using our example, it is the probability that a person from our set of customers is 35 years old and earns $40,000.

The four probabilities satisfy Bayes' theorem, that is ,

P(H|X)=P(X|H)P(H)/P(X)

8樓:Agenter

這幾個概念可以用「原因的可能性」和「結果的可能性」的「先後順序」及「條件關係」來理解。下面舉例:

隔壁老王要去10公里外的乙個地方辦事,他可以選擇走路,騎自行車或者開車,並花費了一定時間到達目的地。在這個事件中,可以把交通方式(走路、騎車或開車)認為是原因,花費的時間認為是結果。

若老王花了乙個小時的時間完成了10公里的距離,那麼很大可能是騎車過去的,當然也有較小可能老王是個健身達人跑步過去的,或者開車過去但是堵車很嚴重。若老王一共用了兩個小時的時間完成了10公里的距離,那麼很有可能他是走路過去的。若老王只用了二十分鐘,那麼很有可能是開車。

這種先知道結果,然後由結果估計原因的概率分布,p(交通方式|時間),就是後驗概率。

老王早上起床的時候覺得精神不錯,想鍛鍊下身體,決定跑步過去;也可能老王想做個文藝青年試試最近流行的共享單車,決定騎車過去;也可能老王想炫個富,決定開車過去。老王的選擇與到達目的地的時間無關。先於結果,確定原因的概率分布,p(交通方式),就是先驗概率。

老王決定步行過去,那麼很大可能10公里的距離大約需要兩個小時;較小可能是老王平時堅持鍛鍊,跑步過去用了乙個小時;更小可能是老王是個猛人,40分鐘就到了。老王決定騎車過去,很可能乙個小時就能到;較小可能是老王那天精神不錯加上單雙號限行交通很通暢,40分鐘就到了;還有一種較小可能是老王運氣很差,連著壞了好幾輛共享單車,花了乙個半小時才到。老王決定開車過去,很大可能是20分鐘就到了,較小可能是那天堵車很嚴重,磨磨唧唧花了乙個小時才到。

這種先確定原因,根據原因來估計結果的概率分布,p(時間|交通方式),就是似然估計。

老王去那個地方好幾趟,不管是什麼交通方式,得到了一組關於時間的概率分布。這種不考慮原因,只看結果的概率分布,p(時間),也有乙個名詞:evidence(不清楚合適的中文名是什麼)。

最後,甩出著名的貝葉斯公式:

: 觀察得到的資料(結果)

: 決定資料分布的引數(原因)

: posterior

: prior

: likelihood

: evidence

iPad 到手後如何驗機?

OSCC 先檢查包裝上的相關資訊 如IMEI,機型配置,生產年份,序列號 檢查包裝是否完好。如果是全新機或者官方翻新機 檢查包裝的封條是否完好。用手機或相機錄影,拍下相關單據後錄下整個開箱流程,留個證據。開箱後檢查裝置外形是否完好,全新機檢查Lightning介面處是否有明顯插拔痕跡,光滑面是否有劃...

人工授精後多久可以驗孕?

愛糖妞Arya 建議14天以後吧,人工授精是最大程度的模擬自然受孕過程,精子進入子宮腔後,會遊走到輸卵管壺腹部,與排出的卵子結合,然後游回子宮腔進行著床。太早驗孕很可能血值特別低,驗孕試紙顯色不明顯,影響心情。建議可以等到月經期,如果月經還沒有來,可以自行檢驗,或者去醫院直接抽血檢查hcg。 小兔子...

變分自編碼為何迫使p z x 等於標準正態分佈?就是約束項中的kl散度?

MANTIC k L 散度衡量的是兩個函式之間的距離,這個距離指的是相似度,之所以設定標準正態分佈無非是設定為正態分佈比較好取值,模型能夠得到簡化,你設定成別的正態分佈也可以。 接 李斌 的回答,猜測下除了保證方差為1,為什麼要均值為0?正文 僅猜測,其實就是為了共享引數。VAE的本質是,對於乙個樣...