|||
题目:概率与信息熵
主讲人:李佩璇
时间:2019年4月18号下午5:15-6:45
地点:天津大学新校区32教1楼
提纲:
信息理论建立在概率与信息的基本联系上,早在18世纪中叶,贝叶斯就发现概率建立在我们知道的基础上,我们获得的信息会修正某个事件发生的概率。
信息是概率的函数,它是与概率分布有关的熵。这个结论是玻尔兹曼和他的同事们观察熵的时候得到的。
一、初等概率论
1.有限种结局试验的概率模型
(1)基本事件空间
(2)随机抽样
(3)事件及其关系和运算
(4)概率空间
(5)古典概型
2.条件概率
(1)事件的条件概率
(2)全概率公式和乘法公式
(3)贝叶斯公式
二、熵与信息
1.shannon熵
2.熵的基本属性
(1)二元熵
(2)相对熵
(3)条件熵和互信息
参考文献:
1.俄罗斯数学教材选译-概率,[俄]A.H.施利亚耶夫;
2.Quantum Information, Stephen Barnett;
3.Quantum Computation and Quantum Information, Michael A. Nielsen, Isaac L. Chuang.
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-9-22 21:13
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社