怎麼理解相關向量機(RVM)中的相關向量?

時間 2021-06-03 06:03:13

1樓:西貝

Tipping(RVM的作者)說RVM是一種用於回歸和分類的貝葉斯稀疏核算法,和SVM很像,但是避免了SVM的諸多缺點。

例如,SVM無法計算樣本輸出的後驗概率分布,SVM不太適用於多分類問題,SVM的超引數需要通過交叉驗證得到,這就非常耗費時間,而且SVM的核函式必須是正定的。

而RVM卻避免了這些缺點,這就意味著RVM可以計算輸出的概率分布、很自然的適用於多分類問題,超引數不需要通過交叉驗證得到,而且,核函式可以任意指定,不是必須要正定的。最後,RVM得到的解要比更SVM稀疏的解。

那RVM到底是什麼呢?

RVM具有和SVM一樣的模型:

假設模型的殘差符合高斯分布;我們可以得到資料的極大似然估計:

既然是RVM是一種貝葉斯方法,我們需要給其引數乙個先驗分布,讓RVM具有稀疏性而且有別於其它貝葉斯方法的是,我們需要給你RVM乙個零均值不同方差高斯先驗分布,這樣每個引數講對應乙個樣本:

我們可以直接求得引數w的後驗分布:

此處:;;;

當給定乙個新樣本;我們可以求得其輸出的概率分布:

其中,.

上述即為RVM的基本模型,它求得了輸出樣本等於不同值得概率分布,上述模型我們唯一不知道的就是超引數和,第二部分,將講解如何不通過交叉驗證來求得超引數。

第二: RVM的超引數如何求解:

在貝葉斯方法中,有一種求解超引數的方法叫做最大化marginal likelihood;marginal likelihood定義如下:

我們可以通過如最大化上式來求得和,其更新公式為:

這意味著我們可以通過學習演算法獲得超引數和,而不需要通過交叉驗證來確定。

實驗證明,上述超引數求解過程中,大部分的會變得無限大,這意味著與該相關的引數的先驗服從於;因為無限大,則可以證明的後驗分布也服從零均值,零方差的高斯正態分佈,這意味著;

既然大部分的會變得無限大,我們可以得到大部分的,因此我們得到了稀疏的解。

而不為零的所對應的樣本,Tipping起了乙個名字,叫做相關向量。

怎麼理解大學電路原理中的電壓相量?

Herakles 相量是針對正弦穩態電路分析提出來的乙個概念,而我們所謂的求解乙個正弦穩態電路,其實就是求解乙個齊次項為正弦函式的一階線性常微分方程的特解。而這個方程的特解也是正弦函式。這裡就涉及到三角函式乙個很好的性質,三角函式進行加減 微分積分運算後的結果,依然是乙個同頻的正弦函式。也就是說上面...

為什麼相量(不是數學中的向量)還有點乘和叉乘?

袁本初 另一種分析,也許更加好點,如果你三角函式變換好些可以推導出2 29。如果你用點乘和叉乘則2 29是顯然的。因為這就是模擬吧。數理學者當然並不感冒,如同當初鄙視亥維賽運算元法的工作一樣。PS 無功定義很多,留待以後學習深入吧 張桂學 點乘和叉乘是力學中用到的概念,如力矩是叉乘,是向量。做功是點...

怎麼理解招聘中 HR 提到的 每年有多次加薪機會 ?

Mark帶你進外企 HR慣用的壓價手段,一般用於求職者期望薪資高於HR的預期值 注意不是該崗位的預算 他們想把你薪資壓下來時使用的話術。其目的主要是 讓你接受他們給的薪資先過來工作,而大部人一旦被 騙 過去工作後出於各種原因和擔憂短時間內不會再跳槽,這樣招聘的KPI就達成了。為什麼用 騙 這個字?中...