高斯過程回歸能不能新增T分布或者高斯混合分布的雜訊呢?

時間 2021-06-01 06:00:27

1樓:驀風星吟

無論是理論上還是現實中,當然都是可以的啦!

事實上在高斯過程回歸中noise的形式也即likelihood的形式並不是GPR模型的核心,但是這個高斯noise的假設卻可以為GPR模型提供closed-form的的解析解,這是因為原先的模型是

如果我們再assume其中的noise也來自高斯分析即 ,那麼我們可以根據 直接得到

通過對上面這是(log)marginal likelihood使用極大似然估計,即可以得到其各種引數。當然根據高斯分布的conditional性質,立刻也可以得到其predictive的解析解,即

由於積分內第一項是高斯第二項由conditional性質可知也是高斯,自然其最終積分結果也是高斯(這個性質叫做分布的共軛),因而由所謂的「明確」的表達形式,即有解析解。具體的可以參看

驀風星吟:Gaussian process regression的簡潔推導——從Function-space角度看

然而,現在若是其中之一的assumption,不滿足,改成其他分布, 或者其他什麼分布的,上面步驟中的marginal likelihood

以及predictive distribution

這兩個就不那麼好算嘍,即所謂的沒有優美的解析解!但是事實上這也是可以解的哦,利用一些數值演算法也是可以處理這個不優美的marginal likelihood與predictive distribution的哦,其sampling的本質都是對這個兩個積分空間中 進行取樣,因此無論 或者說長什麼樣子,都可以通過sampling計算得出相應的積分。這裡重點的廣泛應用的就是Monte Carlo的一些方法。

當然具體的實際情況也會根據不同的inference方法略加改變,比如現在比較流行的variational inference的時候就會考慮到 這個分布具體取樣的難度,利用相對簡單的分布去近似,從而獲得更小的計算量。

所以,總而言之,言而總之,GPR一定是可以處理任意likelihood的情況,只不過inference方法不能再是exact inference只要likelihood不是Gaussian的話。

相關的文獻很多,比如

Vanhatalo, Jarno, Pasi Jylnki, and Aki Vehtari. "Gaussian process regression with Student-t likelihood."Advances in neural information processing systems.

2009.

Jylnki, Pasi, Jarno Vanhatalo, and Aki Vehtari. "Robust Gaussian process regression with a Student-t likelihood."Journal of Machine Learning Research12.

Nov (2011): 3227-3257.

其實用GP做回歸就是改變了likelihood,用logistic function或者softmax,

Hensman, James, Alexander Matthews, and Zoubin Ghahramani. "Scalable variational Gaussian process classification." (2015).

甚至還有直接考慮black-box的likelihood,

Bonilla, Edwin V., Karl Krauth, and Amir Dezfouli. "Generic inference in latent Gaussian process models.

"arXiv preprint arXiv:1609.00577(2016).

2樓:周瑤

可以的。

給定乙個GP prior, 和 的在給定資料 時的聯合分布是:

可以看出白雜訊進入模型是在 ,可以換成別的。不過也可以看出,實際上只用到雜訊的二階矩,一般沒有必要搞得很複雜。

能不能跳過 JavaScript ,直接學習 TypeScript?

Mr.Hope 可以的,原理上可行,實際操作可能不太行。沒有任何乙個typescript教程,會把js涉及到的東西全都交給你,都是預設你有js基礎的。再乙個,各種內建的方法,你不還是得看js教程去查用法? Innei 首先,JS 是前端的基礎,TS 是 JS 的超集。TS JS 都是服務於前端的。當...

能不能介紹下蘇聯t43與t44和t44產量資料?

Ling T 43 原來是作為T 34的後繼者研發,防護提公升,並且改用扭杆懸掛 而且要求沿用大量T 34的部件以方便生產線轉型 但是並沒有解決T 34上炮塔座圈過小以及視野太差等主要問題,另外火炮從內部安裝導致安裝拆卸非常困難 76mm F 34在當時已經顯得過時,增加的防護沒有太大幫助,而且懸掛...

t能不能真正掰彎乙個直女?

青橘 活了20多年,我都是直的,最近被乙個T生生撩彎了,然後她就跑了。還把我往別人那推,現在甚至不理我了,可是我已經喜歡上她了,但是她卻不喜歡我,我也沒有和她說過我喜歡她。連她的好朋友都看出我已經彎了,她怎麼可能不知道。我現在好難過,既然不喜歡為什麼又要來招惹我。 這個有很多因素的。那得首先看你們所...