不覺得最大熵原理很奇怪嗎？

1樓：

已知：你看到你女朋友和異性在一起走路

推論：A.普通朋友 B.女朋友出軌了 C.女朋友是綠茶 D.女朋友得了白血病為了不拖累你想和你分手而假裝出軌讓你以為她是綠茶

根據最大熵原理，滿足約束條件(女朋友和異性一起走路)且熵最大(最混亂，即不再強加其他約束)的答案選A.

你希望知道你女朋友和這個異性一起到底是什麼情況(希望不確定性降到最低)

但是沒有其他已知資訊的時候不要選D選項把她拍死(選擇不確定性最大)這樣是不是不矛盾了

2樓：

不要把雞蛋放到同乙個籃子裡。

如果告訴你不知道各個籃子會出問題的可能性，面對未知，追求穩妥的情況下，大家都會選擇把雞蛋平均放到各個籃子裡。

設想，你只有乙個雞蛋，這個時候你會發現你哪個籃子都不想放，所以你選擇B、9磅15便士哈哈哈哈（當然是選擇吃掉啦）

3樓：sxrxinru

兩個方面來理解:

1對於可以確定的部分（已知的部分），要盡可能地確定（貼近）2對於未知的部分，不作任何假設，保留其最大的不確定性（隨機性）滿足這兩個條件，就是我們的最大熵估計。

4樓：公尺牛牛

對於樣本空間中的某些值、我們事先假設它們是等概率的、然後除此之外沒有其他任何附加知識、所以最後它們當然還是等概率的、所以符合最大熵原理！！:):)

5樓：

因為這項「原理」的存在本身就是個錯誤。

任何乙個分布都對應存在乙個約束條件使其恰為最大熵分布，從而不存在什麼最大熵分布類或者最大熵分布的共同特徵，因為那將包含所有的分布（你在教材上看到的最大熵分布列表當然只包括了針對「常用」的約束的）。並且這也導致該命題不具備可證偽性，你總可以將錯誤的推斷歸結於約束條件的問題。

既然這東西根本不具有任何原理性的內容，為什麼它還是能在很多常見場合符合我們的期望呢？因為風險函式被隱藏在了約束裡，最大熵法的所謂成功只能證明相應風險函式較為適宜，而這不是什麼原理，壞的風險函式自然導致實踐上失敗的推斷。

以最大熵推崇者解釋高斯分布的方法為例：高斯分布是給定均值和方差下的最大熵分布，按照他們的說辭，方差確定是因為這是已知條件，最大熵是將不確定性最大化——但方差本身就也可以看做是另一種量度不確定性的工具，何故厚此薄彼？

只要反過來想就恍然大悟了：高斯分布既然是給定方差下的最大熵分布，就也是給定熵值下的最小方差分布。實際起作用的根本不是讓熵代表不確定性而取最大，而是讓方差代表風險而取最小（這種要求當然是因為用了平方損失函式）。

類似的論證適用於大多數的最大熵論斷，它們都能被相應的「恆定熵」論證代替，而在同等不確定性下最小化風險當然是遠比最大熵符合常識的解釋。

有物理背景的讀者可能會誤以為熱力學/統計力學是這一偽原理的基礎（或者反過來，比如E.T.Jaynes就是這樣誤以為的），但熱力學熵只跟平衡態體系微觀態的資訊熵有直接聯絡，與一般的隨機變數毫無關係。

更不要說實際上遠平衡態下相關的極值原理並不成功（乙個顯著的反例）。