光顾及自己得了杨大侠的书，看着自己爽了，忘了回答问题。

现回答如下：

杨的问题：“If ρ = 0, X and Y are independent and the mutual information is 0.”是什么意思？

回答：

             两个随机变量是独立的，就意味着这两个变量互不相关。比如存在l两个相互独立的随机变量X，Y，就有：

                                        $P(x_{i},y_{j})=P(x_{i})P(y_{j})$

               则由：

                                        $H(X)=-\sum_{i} P(x_{i})log_{2}P(x_{i})$

                                        $H(Y)=-\sum_{j} P(y_{j})log_{2}P(y_{j})$

               在X，Y独立时，有：

                                         $H(X,Y)=-\sum_{i,j} P(x_{i})P(y_{j})log_{2}(P(x_{i})P(y_{j}))$

                                                  $=-\sum_{i}P(x_{i})log_{2}P(x_{i})-\sum_{j}P(y_{j})log_{2}P(y_{j})$

                                                  $=H(X)+H(Y)$

              故：

                                       $I(X;Y)=H(X)+H(Y)- H(X,Y)=0$

而以上证明是关于离散随机变量X，Y的，若是连续随机变量，则方法类同，无非是求和号换成积分，而概率换成概率密度即可。 书上那一节是关于连续随机变量的。      

-------------------------------------------------------------相关系数的计算--------------------------

               R（X，Y）=E（XY）

                             $=\sum_{i,j}x_{i}y_{j}P(x_{i},y{j})$

如果X,Y独立，有$P(x_{i},y_{j})=P(x_{i})P(y_{j})$

                             $R(X,Y)=(\sum_{i}x_{i}P(x_{i})(\sum_{j}y_{j}P(y_{j}))$

                                       $=E(X)E(Y)$

如果X，Y的均值为零，则：

                             $R(X,Y)=0$

书上给出的是相关系数，即协方差，是要去掉均值的：

        $C(X,Y)=E(XY-E(X)E(Y))=0$