【貝部-資訊論】

吳華敏

【貝部-資訊論】

第1898頁

【資訊論】ㄗ  ㄒㄩㄣˋ  ㄌㄨㄣˋ

（information    theory）通訊的數學理論。

‘美國’數學家‘山弄’（C.    E.    Shannon）於西元1948年創立，首先用於通訊工程。

它的基礎是概率的概念，故有時也被視為概率論的一支。

討論一、資訊量的測度；

二、通訊通道的容量；

三、資訊的編碼；

四、傳訊的準確率（由於受到通訊線路上的噪音的影響）。

資訊的意義不是普通的有意義的資料，而是一連串的符號（例如‘拉丁’字母）。

中心問題時如何使編碼的資訊對通訊通道作最有效的使用。

資訊的度量單位稱為位元。

假設只有兩種可能的訊息，而其可能性相等，即每一訊息出現的概率為1/2，這種狀況下的資訊量定為1位元，表示知道二者之一的出現的資訊值為1。

如果有四種可能性相等的訊息存在，則此情況的資訊量為2位元，亦即獲知其中之一的出現的資訊值為2。

一般而言，2ᴺ可能性相等的訊息的情況的資訊量為N位元。

實際上，訊息的可能性常不相等。

假設有一個資訊來源會一個接一個地產生訊息，可能訊息A₁，A₂，······，Ar的出現概率分別為P₁，P₂，······，Pr。

則此來源的資訊量為H位元，其公式如下：H=─〔P₁logP₁+P₂logP₂+······+PrlogPr〕，此處的基底為2。

H可以想成訊息的平均位元數，亦稱爲資源來源的熵，它可以看成資訊來源在選擇訊息的自由程度。

當所有P值均相等時，H值最大。