人工智能A7论坛 >> Tensorflow和深度学习笔记_论坛版 >> 10.附录

10.1 熵

熵的提出

1948年,香农在Bell System Technical Journal上发表了《通信的数学原理》(A Mathematical Theory of Communication)一文,将熵的概念引入信息论中。

熵的概念不是香农提出的 他只是引入到信息论中。因为香农以前,物理学里就已经有了热力学熵的概念

物理学上说,熵 Entrophy 就是“混乱” 程度的量度,所以,”系统越有序,熵值越低;系统越混乱或者分散,熵值越高”。

信息理论上说,信息就是负熵Negtrophy。所以,“信息数据”越集中的地方熵值越小“信息数据”越分散的地方熵值越大。两者是没有矛盾的。

 

熵的定义

如果一个随机变量的可能取值为,对应的概率为,则随机变量的熵定义为

      

熵的理解