如何定量度量資訊的多少?

時間 2021-06-06 09:06:32

1樓:李志猛

現代資訊理論的奠定人夏農(Shannon)給出了資訊的定義,並對資訊進行了資訊量的量化度量。「資訊是用來消除隨機不確定性的東西」,香濃將資訊和不確定性聯絡起來,如果能夠度量乙個事情的不確定性,那麼也就能夠度量某一資訊的資訊量。注意,在這裡,我不用概率論上的專業術語隨機變數等等,而是用「事情」表示某一可能包含多種「情況」的巨集觀事物。

比如,拋硬幣是「事情」,正面朝上或者反面朝上是「情況」。再比如,明天天氣情況是事情,而明天具體是晴天、多雲還是下雨是情況。所有可能的「情況」組成了「事情」

最簡單的具有不確定性的事情可以說是拋一次硬幣。拋一次硬幣這個事情的情況有兩種,硬幣正面朝上或是反面朝上,並且這兩種情況發生的概率相等,都是50%。對於這個不確定性的事情,現在我們要消除它的不確定性,只需要給出「正面朝上」或是「反面朝上」這一資訊,就能消除它的不確定性。

既然具有最簡單的不確定性的事情是拋一次硬幣,那麼現在,我們拿拋一次硬幣這件事情,來衡量其他具有不確定性的事情。同樣的道理,我們拿用來消除拋一次硬幣的不確定性的資訊的資訊量,作為資訊量的基本單位,(位元)。

好了,現在我們有,具有 資訊量的資訊可以消除拋一次硬幣這一事情的不確定性

詳細來說。別人向你拋了一枚硬幣,之後這枚硬幣是正面朝上還是反面朝上對你而言是未知的,不確定的。你想知道拋擲的結果,別人告訴你是「正面朝上」或者「反面朝上」時,你就知道了結果,消除了對這一事情的不確定性。

別人告訴你「正面朝上」或者「反面朝上」這一資訊的資訊量,就是 。

到目前為止,我們已經有了用來度量資訊的資訊量的單位,那就是,位元。

有了資訊量的單位 ,那麼怎樣使用 用來度量各種各樣的資訊呢?

首先,我們來看所有情況為等概率的條件下,如何用bit度量資訊。

我們再次回到那句話上,資訊是用來消除事情的不確定性的。最簡單的情況,在等概率的條件下,我們可以理解,不確定性的減少量等於資訊的資訊量。

在等概率的條件下,只要知道不確定性的減少量,我們就能知道資訊的資訊量。

我們已經有了具有不確定性的最簡單的事情,拋一次硬幣。之後我們要做的就是,用拋一次硬幣這一事情的不確定性,來表示其他事情的不確定性。與之邏輯相對應的是,表示其他資訊的資訊量。

下面我來舉例子具體說明。

你和小明在玩乙個「幸運球」遊戲。這裡有四個編號分別為1、2、3、4的小球。你背過身去,小明從四個小球中拿乙個「幸運球」放在口袋裡。

注意,小明選擇球時並沒有數字偏好。之後,你想知道小明選了哪一號球。

顯而易見,小明選球這一事情具有不確定性。這一不確定性具體是指小明可能選擇1、2、3、4號球中的任意乙個,且這四種選擇中的每一種選擇的概率都是25%。那麼,小明選球這一事情的不確定性等價於拋幾次硬幣的不確定性呢?

不難理解,等於拋兩次硬幣的不確定性。下面我們來推理。

小明選球有四種可能的情況,分別是選1號球、選2號球、選3號球和選4號球,且每種選擇的可能性相等,都是四分之一。拋兩次硬幣也有四種可能性,分別是正正、正反、反正和反反,且每種可能性均為四分之一。那麼就有小明選球這一事情的不確定性等於拋兩次硬幣的不確定性。

消除拋一次硬幣不確定性的資訊的資訊量為 ,這裡我們規定,消除拋兩次硬幣不確定性的資訊的資訊量為 。由於小明選球這一事情的不確定性等於拋兩次硬幣的不確定性, 那麼我們就有消除小明選哪個球這一事情的不確定性所需要資訊的資訊量為 。

也就是說,小明告訴你他選的是哪一號球,你知道結果之後,那麼你將獲得資訊。

現在更改遊戲規則,將球的數量增加到八個,小明要從中拿乙個「幸運球」。按同樣的邏輯推理,選完之後小明告訴你他選的球的編號,那麼你將獲得3bit的資訊。

你也許在之前就已經注意到了,拋硬幣的次數與出現的所有情況的個數這兩者之間的關係,且這些情況等概率出現。假設拋了 次硬幣,那麼出現的等概率的情況個數為 個。拋m次硬幣這一事情所帶來的等概率情況的個數為則消除包含個等概率情況的事情的不確定性所需要資訊的資訊量為bit

相應的,消除包含 次等概率情況事情的不確定性所需要資訊的資訊量為 bit。

如果 不恰好是以2為底指數的整數倍,那豈不就不是整數了?沒錯,資訊量的單位 允許有小數,就像測量長度的單位 允許 存在一樣。

下面,我們來看情況為非等概率的條件下,如何用bit度量資訊。

如果一件事情包含情況發生的概率不相等,那麼這時,提供資訊的資訊量又有多少?

一件事情包含的情況發生的概率不相等。這時我們只要稍微轉變一下思維,概率發生不相等情況就變成了概率發生相等的情況。

現在改變一下「幸運球」遊戲的規則。還是四個球,只不過這次是三個黑球和乙個白球。顯然小明拿白球的概率是25%,拿黑球的概率是75%。

小明拿完球之後,告訴你他拿到了白球。這個場景,我們換個方式想一下,拿到白球的概率,也就是乙個包含四個(0.25的倒數)等概率情況的事情發生某一特定情況的概率。

對的,某種情況發生的概率,等價於乙個包含概率倒數種等概率情況的事情發生其中某一特定情況的概率。小明拿到球之後告訴你拿到了白球,那麼這一資訊的資訊量為。同樣的,小明拿到球之後告訴你拿到了黑球,這一資訊的資訊量為。

當然,在整個遊戲過程中,小明始終知道自己選的是哪一號球,這已經確定了,所以不管誰再告訴小明結果,小明所收到資訊的資訊量都為 。所以,資訊消除對某件事情的不確定性,還要取決於資訊的接受者是誰。

現在,你清楚怎樣用 去度量不同資訊的資訊量了嗎?

力量訓練的量度掌握在多少合適?

雪山阿佳 一次以8 14下為乙個標準組,先熱身一組 重量為一般重量的一半 再來在能力範圍內,能用最重再減輕一點最好。一天同一部分肌肉練3 4組為最佳。每組間格一分鐘,一次要練同乙個動作,讓該部位充血,這3 4組要同乙個時間練完,做到最累,效果才會好,不去要練其他的再回來做。比較新的練法 較小重量的多...

曹操的度量究竟如何?

rock chen 也是從 短歌行 來說吧,這詩詞確實大氣,但是三國演義第四十八回是這樣寫的 曹操正笑談間,忽聞鴉聲望南飛鳴而去。操問曰 此鴉緣何夜鳴?左右答曰 鴉見月明,疑是天曉,故離樹而鳴也。操又大笑。時操已醉,乃取槊立於船頭上,以酒 奠於江中,滿飲三爵,橫槊謂諸將曰 我持此槊,破黃巾 擒呂布 ...

如何增加自己的心胸度量?

不想告訴你我是誰 瀉藥,去打王者吧,只打王者10星以下的低端局,必須單排!必須單排!必須單排!在你重複10星到星耀五再到10星這個過程兩到三次之後,你就會發現什麼心胸什麼氣量都是浮雲。這能比得上,四個人都預選好陣容突然一樓秒選乙個法師?讓位置吧,三分鐘送五個頭。不讓位置吧,問候你全家上中下路雨露均沾...