資訊的本質是概率分布的不同嗎？

1樓：

資訊本質是對系統狀態的描述。

如果和概率分布相聯絡，則隨機變數的分布其實就是對系統所有可能的狀態的乙個統計描述，資訊熵是對這個系統狀態的不確定度的乙個度量。

如果與物理世界聯絡，著名的口號是 information is physical，資訊就是對世界狀態的描述，同時世界的結構（時空，物質，作用力）也是對我們世界的當前狀態（資訊）的乙個描述，萬物皆資訊。

2樓：life saver

首先肯定你，資訊是和概率有關係，尤其是資訊熵的定義上。

資訊的定義和資料是不一樣的，所以它一定是對某個observer來說定義的。如果採取香濃的熵定義，那就是熵是每單位data裡蘊藏的平均資訊。為什麼是平均的，因為是出於transmission和communication的實際考慮。

這個公式用log是為了傳輸，因為是用bit為單位傳輸的...重點在後面的pi。它基本上是個很intuitive的想法，就是某個event發生的概率越大，實際上就沒有太多新的資訊出現。

夏農的想法基本上這是個離散的事件。但是問題並沒有解決，因為資訊實際上是個非常抽象的概念，而這裡更像是解決問題出來的量化solution。夏農的想法和休謨差不多，就是資訊是為了解決不確定性的。

pi是每個event發生的概率，因此這個函式其實可以用來描述乙個樣本空間。你所說的概率均等或者不均等得看你的實際構造，因為這個資訊熵是一種measurement，可以通過分析特定的函式/數列得到它的性質。

對於兩個unrelated message x和y來說，I（x+y）=I（x）+I（y），也就是這裡的熵和物理的一些複雜系統很不一樣，是線性的。對資訊的二次處理是得不到更多的資訊的。這能被我們的直覺接受也可以從公式上推理出來。

再講一些比較有趣的view吧。資訊這個定義也一直在變，從一些cs的角度說也有從semantic出發的algorithmic information theory，從複雜度上考慮一些資訊的定義。我對這個了解不深就不班門弄斧了，不過目前我查到的資料來看應該是很有用很有力的工具。

這個理論裡也解決了你想知道的individual object、概率、資訊之間的關係並且做到了對object的資訊的量化。你所想的應該某個extent上是正確的。