I ai log P ai 說明一下為什麼資訊量是事件發生概率倒數的對數 最好用數學方法 ?

時間 2021-06-09 15:27:54

1樓:free_POC

看到Matrix67大神的一篇博文:http://www.

裡面解釋的很清楚。

「資訊熵」是乙個非常神奇的概念,它能夠反映知道乙個事件的結果後平均會給你帶來多大的資訊量。如果某個結果的發生概率為 p ,當你知道它確實發生了,你得到的資訊量就被定義為 - log(p) 。 p 越小,你得到的資訊量就越大。

如果一顆骰子的六個面分別是 1 、 1 、 1 、 2 、 2 、 3 ,那麼你知道了投擲的結果是 1 時可能並不會那麼吃驚,它給你帶來的資訊量是 - log(1/2) ,約為 0.693 。知道投擲結果是 2 ,給你帶來的資訊量則是 - log(1/3) ≈ 1.

0986 。知道投擲結果是 3 ,給你帶來的資訊量則有 - log(1/6) ≈ 1.79 。

但是,你只有 1/2 的機會得到 0.693 的資訊量,只有 1/3 的機會得到 1.0986 的資訊量,只有 1/6 的機會得到 1.

79 的資訊量,因而平均情況下你會得到 0.693/2 + 1.0986/3 + 1.

79/6 ≈ 1.0114 的資訊量。這個 1.

0114 就是那顆骰子的資訊熵。現在,假如某顆骰子有 100 個面,其中 99 個面都是 1 ,只有乙個面上寫的 2 。知道骰子的拋擲結果是 2 會給你帶來乙個巨大無比的資訊量,它等於 - log(1/100) ,約為 4.

605 ;但你只有百分之一的概率獲取到這麼大的資訊量,其他情況下你只能得到 - log(99/100) ≈ 0.01005 的資訊量。平均情況下,你只能獲得 0.

056 的資訊量,這就是這顆骰子的資訊熵。再考慮乙個最極端的情況:如果一顆骰子的六個面都是 1 ,投擲它不會給你帶來任何資訊,它的資訊熵為 - log(1) = 0 。

什麼時候資訊熵會更大呢?換句話說,發生了怎樣的事件之後,你最想問一下它的結果如何?直覺上看,當然就是那些結果最不確定的事件。

沒錯,資訊熵直觀地反映了乙個事件的結果有多麼的隨機。

如何以 你等一下 為開頭寫乙個故事?

汪Simon 你等一下,你說什麼?不想當太子?我父親說道。我說 確實如此,父皇,兒臣昨夜偶得神仙託夢贈予天書,天書之上指示祁鈺可為太子,此便是那天書。天書之上言兒臣當皇帝可能會濫殺忠臣,還望父皇三思而後行。我父親說 容朕稍作思考。 兜兜轉轉 你等一下,我給你看見寶貝 只見她從背後搬出一面鏡子,哐當立...

能不能從程式的角度說明一下為什麼大多數槍戰類遊戲計時結束後還可以用刀殺敵?

頂級吹燙糊塗雞 因為FPS射擊和刀傷造成傷害的邏輯一般是不一樣的。像CF這種傳統FPS遊戲的射擊功能,一般都是利用ray來完成射擊邏輯。具體就是,在你按下滑鼠左鍵的時候,客戶端向服務端傳送了乙個開槍的訊號。然後服務端開始演算,從你的準心中點,會射出一條射線ray 講原理先忽略掉後作力 然後檢測這條射...

哪位經濟學大神能從經濟學角度上分析一下為什麼「孩子總是自己的好,老婆總是別人的好」?

社會觀察者 這句話都是錯的,還有啥好分析的。如果孩子總是自己的好,還會有別人家的孩子出現嗎?如果老婆是別人的好,那當你老婆給你戴頂帽子的時候你應該高興才對啊,可現實並不是。 負電荷搬運攻城獅 邊際效益遞減 你的老婆第一次做蛋炒飯給你吃 哇,真好吃,我老婆真棒!你的老婆第二次做蛋炒飯給你吃 嗯,又吃蛋...