【貝部-資訊論】
<div align="center"><font size="5"><b>【<font color="Red">貝部-資訊論</font>】</b></font><br></div><b><br>第1898頁<br><br>【資訊論】ㄗ ㄒㄩㄣˋ ㄌㄨㄣˋ<br><br>（information theory）通訊的數學理論。<br><br>‘美國’數學家‘山弄’（C. E. Shannon）於西元1948年創立，首先用於通訊工程。<br><br>它的基礎是概率的概念，故有時也被視為概率論的一支。<br><br>討論一、資訊量的測度；<br><br>二、通訊通道的容量；<br><br>三、資訊的編碼；<br><br>四、傳訊的準確率（由於受到通訊線路上的噪音的影響）。<br><br>資訊的意義不是普通的有意義的資料，而是一連串的符號（例如‘拉丁’字母）。<br><br>中心問題時如何使編碼的資訊對通訊通道作最有效的使用。<br><br>資訊的度量單位稱為位元。<br><br>假設只有兩種可能的訊息，而其可能性相等，即每一訊息出現的概率為1/2，這種狀況下的資訊量定為1位元，表示知道二者之一的出現的資訊值為1。<br><br>如果有四種可能性相等的訊息存在，則此情況的資訊量為2位元，亦即獲知其中之一的出現的資訊值為2。<br><br>一般而言，2ᴺ可能性相等的訊息的情況的資訊量為N位元。<br><br>實際上，訊息的可能性常不相等。<br><br>假設有一個資訊來源會一個接一個地產生訊息，可能訊息A₁，A₂，······，Ar的出現概率分別為P₁，P₂，······，Pr。<br><br>則此來源的資訊量為H位元，其公式如下：H=─〔P₁logP₁+P₂logP₂+······+PrlogPr〕，此處的基底為2。<br><br>H可以想成訊息的平均位元數，亦稱爲資源來源的熵，它可以看成資訊來源在選擇訊息的自由程度。<br><br>當所有P值均相等時，H值最大。</b><p></p>
頁:
[1]