信息量的理解

​ ​ 信息量是对信息的度量，是指某个事件发生时我们所接收到的信息量的多少。信息的大小跟随机事件的概率有关。越小概率的事件发生了产生的信息量越大，越大概率发生事件发生了产生的信息量越小。
​ ​ “太阳从东边升起”，是一个必然事件，其概率为1，当它发生时，我们不能从其中提取出对我们有什么用的信息，所以它的信息量为0。
​ ​ “太阳从西边升起”，是一件几乎不可能事件，其概率接近0，当它发生时，我们便会获得大量的信息，比如是不是地球自转方向改变了哇，或者是太阳开始绕着地球转了哇，可以说给我们带来的信息是无穷无尽的，可以说它的信息量为​+\infty。
​ ​ 又比如“明天会下雨”，这是一个不确定的事件，它的概率为(0, 1)，即非可能又非绝对，因此当它发生的时候，会给我们带来有限的信息，比如明天要带伞，天气可能要变凉了等等。

信息量的定义

​ ​ 由上面的例子可以知道，信息量与事件发生的概率成反比，其区间为[0, ​+\infty],所以我们定义信息量的公式如下

例如某地二月份天气的概率分布统计如下：

\begin{Bmatrix} X\\ P(X) \end{Bmatrix} =\begin{Bmatrix} x_{1}(晴), &x_{2}(阴), &x_{3}(雨), &x_{4}(雪)\\ 1/2, &1/4, &1/8, &1/8 \end{Bmatrix}

这四种气候的信息量分别为​I(x_{1})=1bit，I(x_{2})=2bit，I(x_{3})=3bit，I(a_{4})=3bit
解释:随机变量​x表示天气，​x_{1}表示晴天，​p(x_{1})表示为晴天的概率为​1/2，那么晴天的信息量就为​I(x_{1})=-\log_{2}{(1/2)}=1bit (bit为信息量的单位)，其他的依次类推。

信息熵

​ ​ 信息量度量的是一个具体事件发生所带来的信息，而熵则是在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。即

信息熵是用来衡量事物不确定性的。信息熵越大，事物越具不确定性，事物越复杂。

例如，你抛一枚硬币，便只有正负两个结果，其信息熵​H(x)=-0.5\log_2{0.5}+0.5\log_2{0.5}=1，而如果你抛一个骰子，其有6种结果，其信息熵为​H(x)=-\sum_{1}^{6}{1/6\log_2{(1/6)}}=2.5849，因此抛骰子时的不确定性更大，也更复杂。