人工智能A7论坛 >> Tensorflow和深度学习笔记_论坛版 >> 10.附录

10.2 相对熵和交叉熵

相对熵的认识

   相对熵又称互熵,鉴别信息,Kullback熵,Kullback-Leible散度(即KL散度)等。设

   是取值的两个概率概率分布,则的相对熵为          

   在一定程度上,熵可以度量两个随机变量的距离。KL散度是两个概率分布P和Q差别的非对称性的度量。KL散度是用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的位元数。 

      典型情况下,P表示数据的真实分布,Q表示数据的理论分布,模型分布,或P的近似分布。

 

交叉熵的认识

 

至此,我们已经说明了,为什么在训练神经网络时,需要让交叉熵最小。