学习笔记
未读
【机器学习】信息熵的理解
信息量的理解 信息量是对信息的度量，是指某个事件发生时我们所接收到的信息量的多少。信息的大小跟随机事件的概率有关。越小概率的事件发生了产生的信息量越大，越大概率发生事件发生了产生的信息量越小。 “太阳从东边升起”，是一个必然事件，其概率为1，当它发生时，我们不能从其中提取出对我们有什么用的信
学习笔记
未读
【信息论】离散信息源
一、基本概念 1、离散信息源定义 一类信源输出的消息常常以一个个符号的形式，例如文字、字母等，这些符号的取值是有限个的或可数的，这样的信源称为离散信源。 2、离散信息源 \begin{Bmatrix} a_{1},a_{2},\cdots,a_{n} \end{Bmatrix} 3、单符号离散信源数
