求真分享 http://blog.sciencenet.cn/u/zlyang 求真务实

博文

[请教] 相关系数和互信息之间的解析关系

已有 8093 次阅读 2014-3-4 21:57 |系统分类:科研笔记|关键词:相关系数,,,,互信息,,,解析关系| 相关系数, 互信息, 解析关系

[请教] 相关系数和互信息之间的解析关系

 

文件《第三章:连续信源的信息熵

http://wenku.baidu.com/view/328a5a778e9951e79b8927ff.html

给出了:


 

请教:

(1)上述两个解析公式的可信性怎样?

(2)您能不能通俗地介绍一下其含义?

(3)最重要地:请您提供近期权威的书籍和参考文献,里面有这些公式的详细解释。

感谢您的指教!

 

相关链接:

[1] 2012-07-30,《[请教] 相关系数、n阶相关、互信息

http://blog.sciencenet.cn/blog-107667-597293.html

 

 

¾¾¾¾¾¾¾ 出自¾¾¾¾¾¾¾

Thomas M. Cover, Joy A. Thomas. Elements of InformationTheory (Second Edition) [M]. USA:Hoboken, New  Jersey, John Wiley & Sons, Inc., 2006.

1Page 244

Example 8.1.2 (Normaldistribution)

Then calculating the differential entropyin nats, we obtain

Changing the base of the logarithm, we have

2Page 252

Example 8.5.1 (Mutual information betweencorrelated Gaussian random variables with correlation ρ)

If ρ= 0, X and Y are independent and the mutual information is 0.

If ρ= ±1, X and Y are perfectly correlated and the mutual information is infinite.



http://blog.sciencenet.cn/blog-107667-773091.html

上一篇:[转载][转载自 新华网] 警惕民主陷阱下的治理失灵
下一篇:广东特检院一瞥(1)建筑:卡片机傻拍2013(20)

2 陈小润 dulizhi95

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2018-11-18 15:52

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部