Deep Learning第6章中以下這段話怎麼理解?

時間 2021-06-09 19:45:44

1樓:送你一棵石楠花

本章是在講前饋網路,公式(6.12)是對於乙個regression問題目標函式設定的原理性介紹。我們先直接地回答題主的問題,隨後再進行更detailed的解釋。

E_}的意思就是,對Pdata這樣乙個(x,y)的聯合分布,在後邊的對數函式的輸出上進行期望計算。x,y~Pdata表示從Pdata分布中任意地、隨機地取樣出paired (x,y)。而將整個公式聯合起來看,用通俗的話、或者在工程角度上講就是,我在資料集(Pdata)中隨機地採出x(輸入資料)和其對應的y(回歸目標、label等等),希望我建立的模型model,能夠使得P_(y|x)這個條件概率盡可能大。

這種思想就是基於極大似然出發的擬合。

細節解釋:我們在入門機器學習的時候,會針對線性回歸和logistic回歸分別設定不同的loss,比較經典的是:L2 loss和cross-entropy loss。

其實這兩種loss都是從極大似然出發,希望對於任意乙個輸入,模型會給出盡可能逼近目標的輸出;從概率角度上講,就是希望對任意乙個輸入,模型輸出正確結果的概率盡可能的大,於是就有了6.12的表達。而後面的6.

13則表示對這個極大似然目標的實現方法,或具體形式。另外,如6.13的L2 loss並不是唯一的實現方法,它背後是在假設,模型的目標y是以輸出f(x)為均值的高斯分布,即,

這是一種合理的假設。當給出高斯分布假設時,我們通過6.12中Log函式的計算,很自然地就消掉了高斯分布中的e,只剩下平方式的指數項,就得到了6.

13。在一些影象生成的工作中,用L1 loss來約束generations與targets之間的距離,它是假設target是「圍繞」在生成樣本周圍的拉普拉斯分布。但總歸來講都是建立在極大似然下的目標函式。

第30章 姐妹爭男友

LinINA 全國卷對文科生極其不友好,這點是確定的了,有很多理科生說文科有什麼難的?是,文科不難,難的是全國的高校每年對文科生縮招 復讀?不復讀?取決於你自己。那些盲目叫你復讀或者專公升本的真的是害人不淺 OK1.復讀,你要問自己今年你的高考發揮怎麼樣?是正常,失常,還是超常。你復讀的決心重不重,...

既然耶穌是神的獨生子,為什麼《創世紀》第6章說 2 神的兒子們看見人的女子美貌 。?

ck4869 這裡面有三點要注意 1 耶穌出現在新約而問題中所說的情節出現在舊約在聖經中新約和舊約本身以及後世的理解都存在較大差異甚至衍生出了不同教派因此本身不宜拿來做對比 2 我們所看的聖經是從希伯來語翻譯成英語再翻譯成中文的希伯來語單詞量小很多詞都是一詞多義因此舊約裡說的 兒子 和新約裡說得 子...

如何評價龍族5第219章

網築 這是乙個尼伯龍根,死人之國。入口無法找到,要麼被龍類選擇,要麼死後才能進入。所以有黑天鵝港的舊人也不奇怪,路麟城夫婦,要麼是被選中,蒙在鼓裡,要麼就是死了。委員會成員應該是曾經阻擊零號死去的混血種。 水兒醬 是黑天鵝港,很有可能都是轉殖體但也有可能是尼伯龍根,大火讓這座黑天鵝港成為了新的尼伯龍...