訊息量
在資訊理論中，訊息量是有確定解釋並可以量化計算的，這裡提到的訊息量是一種資訊數量化，度量的規則。用科學公式性的方法去量化一段文字有多少資訊的想法，最早是由哈萊特(RVL Hartley)在1928年首先提出。他將消息數的對數(log)定義為訊息量。若信源有m種消息，且每個消息是以相等的可能性產生的，該信源的訊息量可表示如下：
上述公式是一個以m為引數的對數函數，舉個具體的例子：
假設中國桌球隊與巴西桌球隊的男子單打比賽，注意它不存在平局的狀況，也就是說要麼中國桌球隊獲勝不然就是巴西桌球隊獲勝，這兩個就是已經所有可能發生的情形。只有兩種情形，在上述公式中即m=2，信源有兩種，即"中國隊獲勝巴西隊失敗"或是"巴西隊獲勝中國隊失敗"。將m=2帶入上述公式：
訊息量為1，單位是bit。
