本文最后更新于 2025-08-20，文章内容可能已经过时。

一、基本概念

1、离散信息源定义

一类信源输出的消息常常以一个个符号的形式，例如文字、字母等，这些符号的取值是有限个的或可数的，这样的信源称为离散信源。

2、离散信息源

\begin{Bmatrix} a_{1},a_{2},\cdots,a_{n} \end{Bmatrix}

3、单符号离散信源数学模型

\begin{Bmatrix} x\\ p(x) \end{Bmatrix}= \begin{Bmatrix} a_{1} & a_{2} & \cdots & a_{n}\\ p(a_{1}) & p(a_{2}) & \cdots & p(a_{n}) \end{Bmatrix}

4、自信息量

若随机事件发生a_{i}的概率为p(a_{i})，那么它的自信息量I(a_{i})为

I(a_{i})=-\log_{2}p(a_{i})

例子
某地二月份天气的概率分布统计如下：

\begin{Bmatrix} X\\ P(X) \end{Bmatrix} =\begin{Bmatrix} a_{1}(晴), &a_{2}(阴), &a_{3}(雨), &a_{4}(雪)\\ 1/2, &1/4, &1/8, &1/8 \end{Bmatrix}

这四种气候的自信息量分别为I(a_{1})=1bit，I(a_{2})=2bit，I(a_{3})=3bit，I(a_{4})=3bit

5、联合自信息量

两个随机事件的离散信息源，其信源模型为

\begin{Bmatrix} XY\\ P(XY) \end{Bmatrix} =\begin{Bmatrix} a_{1}b_{1} & \cdots & a_{1}b_{m} & a_{2}b_{1} & \cdots & a_{2}b_{m} & \cdots & a_{n}b_{1} & \cdots & a_{n}b_{m}\\ p(a_{1}b_{1}) & \cdots & p(a_{1}b_{m}) & p(a_{2}b_{1}) & \cdots & p(a_{2}b_{m}) & \cdots & p(a_{n}b_{1}) & \cdots & p(a_{n}b_{m}) \end{Bmatrix}

联合自信息量

I(a_{i}b_{j})=-\log_{2}p(a_{i}b_{j})

6、条件自信息量

设b_{j}条件下发生a_{i}的条件概率为p(a_{i}|b_{j})，那么它的条件自信息量定义为I(a_{i}|b_{j})

I(a_{i}|b_{j})=-\log_{2}p(a_{i}|b_{j})

7、相关公式

I(a_{i}b_{j})=-\log_{2}p(a_{i})p(b_{j}|a_{i})=I(a_{i})+I(b_{j}|a_{i}) \\ I(a_{i}b_{j})=-\log_{2}p(b_{j})p(a_{i}|b_{j})=I(b_{j})+I(a_{i}|b_{j})

二、信源熵

1、信源熵的定义

(1) 信源熵

已知单符号离散无记忆信源的数学模型

\begin{Bmatrix} x\\ p(x) \end{Bmatrix}= \begin{Bmatrix} a_{1} & a_{2} & \cdots & a_{n}\\ p(a_{1}) & p(a_{2}) & \cdots & p(a_{n}) \end{Bmatrix}

其中0 \leq p(a_{i}) \leq 1 (i=1,2,\cdots,n)，且\sum_{i=1}^{n}p(a_{i})=1。
我们定义信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，简称熵，记为H(X)

H(X)= E[I(a_{i})]=E[\log_{2}{1 \over p(a_{i})}]=-\sum_{i=1}^n{ p(a_{i})\log_{2} p(a_{i})}

例子
再讨论前面的例题，即某地二月份天气的概率分布统计如下：

\begin{Bmatrix} X\\ P(X) \end{Bmatrix} =\begin{Bmatrix} a_{1}(晴), &a_{2}(阴), &a_{3}(雨), &a_{4}(雪)\\ 1/2, &1/4, &1/8, &1/8 \end{Bmatrix}

该信源的熵为H(X) = -{1\over 2} \log_{2}{1 \over 2}-{1\over 4} \log_{2}{1 \over 4}-({1\over8} \log_{2}{1 \over 8})\times2=1.75(bit/sign)

(2) 条件熵

条件熵是在联合符号集合XY上的条件自信息量的数学期望，在已知随机变量Y的条件下，随机变量X的条件熵H(X|Y)定义为

H(X|Y)=E[I(b_{j}|a_{i})]=-\sum_{j=1}^{m}\sum_{i=1}^{n}p(a_{i}b_{j})I(a_{i}b_{j})=\sum_{j=1}^{m}\sum_{i=1}^{n}p(a_{i}b_{j})\log_{2}p(a_{i}|b_{j})