||
熵就是对不确定性的衡量。信息是有价值的。信息的价值在于减少不确定性。
比如掷筛子,掷一次筛子,猜中的概率是1/6。换个方式问:掷一次筛子,猜几次才能猜中? 让我猜的话,我可以先问“是大于3还是小于3?”这算一问,回答小于3,“是大于2还是小于2?”,这算第2问。就这样不断的减少不确定性。通过获取信息,减少不确定性,才是信息的价值所在。
熵的计算:假设X是一个离散随机变量,即它的取值范围R={x1,x2...}是有限可数的。设pi=P{X=xi},X的熵定义为(单位为比特):
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-9-1 10:19
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社