為什麼樸素貝葉斯分類中引入的拉普拉斯修正是正確的?

時間 2021-06-05 14:53:29

1樓:克勞德

知道了貝葉斯估計就比較好懂了

在貝葉斯統計中,如果後驗分布與先驗分布屬於同類,則先驗分布與後驗分布被稱為共軛分布,而先驗分布被稱為似然函式的共軛先驗

共軛先驗的好處主要在於代數上的方便性,可以直接給出後驗分布的封閉形式,否則的話只能數值計算。共軛先驗也有助於獲得關於似然函式如何更新先驗分布的直觀印象。

在原有分布上加入了乙個先驗分布,假設資料是服從某個分布的,而我們拿到的訓練資料是這個分布的乙個後驗,這樣就能用上訓練資料了,多了一條資訊。

貝葉斯公式

問題就是如何選擇π(θ)才能共軛分布。

p(y=cj|x) 中y=cj只有0,1這兩種結果,x&y服從二項分布,二項分布的共軛是beta分布,所以先驗分布是乙個含有引數的beta分布p(x,α,β) , 如果θ的先驗估計是θi,就選取θi是眾數的那個beta分布。beta概率密度函式

beta分布眾數

但是上式有兩個引數,做乙個變換得α = λθ + 1,β = λ(1-θ) + 1,後驗概率分布

θi就是類別的先驗,比如y有k個類,先驗 θi = 1/ k

xj有Sj個值,所以θi = 1/Sj

以上就是貝葉斯估計

當λ=0,就是最大似然估計,λ=1就是拉普拉斯平滑

2樓:

Laplace smoothing 是屬於貝葉斯估計範疇的,具體而言就是加入乙個先驗分布。

但在我們沒有很好的先驗知識的時候,我們一般不要自作主張地加入偏見,因此此時引入無資訊先驗是比較合理的(即均勻分布,對待所有情況一視同仁)

拉普拉斯平滑對應於共軛先驗引數取1的情況,即均勻分布有錯請斧正

貝葉斯推斷中為什麼不能直接從posterior sampling而是要採用MCMC方法

第乙個問題 因為你不知道這個後驗的分布是什麼樣的形狀和公式你能得到的只有它的結果假設它是乙個很複雜的積分 奇形怪狀或高維 普通的方法是沒有辦法直接求解的然而通過sampling可以近似求解 sampling越多結果越準確 第二個問題 不能不是所有的分布都能sampling出來假設函式是P x P x...

為什麼樂隊中貝斯還沒有被鍵盤代替?

lulu 先撇開音源好不好是否真實這個問題,先說模擬的概念,模擬是假定某個樂器是這樣演奏,是如何的配置然後出現的聲音,沒有人規定過貝斯一定是用手指還是撥片,沒有人規定過貝斯不能點弦,slap雖然不是在電貝斯這個樂器剛出現的時候就隨之出現的演奏技巧,但是當今也被廣泛應用 乙個樂器應當被如何應用,那是通...

物理中為什麼要引入位移的概念?

假設你旁邊有顆地雷,如果你只計算路程,有可能繞個圈子又靠近地雷 雖然路程走了很長 如果有位移這個概念,你就可以判斷離地雷有多遠,距離是否足夠安全了。 章魚喵 沒啥,其實就是給出位置資訊。我們描述力學體系,希望知道的是在任意時刻質點的位置資訊嘛,有了任意時刻的位置資訊就可以完備的知道這個質點的所有運動...