问题描述

已知两随机变量$X$和$Y$的联合高斯分布，求解在随机变量$X$的条件下，随机变量$Y$所服从的分布。假设该联合高斯分布为：

$$ \left[\begin{matrix} X\\ Y \end{matrix}\right] \sim \mathcal N \left(\left[ \begin{matrix} 0\\0 \end{matrix} \right], \left[ \begin{matrix} K_{XX} & K_{XY}\\ K_{YX} & K_{YY} \end{matrix} \right] \right) $$

求解$Y|X$所服从的分布

求解过程

我们可以用$\Sigma$表示协方差矩阵，将联合高斯分布写为向量概率密度函数一般形式，假设联合随机变量$S = \left[\begin{matrix} X & Y \end{matrix}\right]^T$，那么可以有：

$$ \begin{align} \mathcal N (S|\mu, \Sigma) & = v \exp \left( -\frac{1}{2} (S-\mu)^T\Sigma^{-1} (S-\mu) \right) \\ & = v \exp \left( -\frac{1}{2}( S^T \Sigma^{-1} S - S^T \Sigma^{-1} \mu - \mu^T \Sigma^{-1} S + \mu^T \Sigma^{-1} \mu) \right) \\ & = v \exp\left( -\frac{1}{2} S^T \Sigma^{-1} S + S^T\Sigma^{-1}\mu + C \right) \end{align} $$

在这个式子中，$C = \mu^T \Sigma^{-1} \mu$是一个常数。

依据条件概率的定义，我们有：

$$ P(Y|X) = \frac{P(X, Y)}{P(X)} $$

我们知道$P(X)$是独立与随机变量$Y$的，无论随机变量$Y$如何变化，只要随机变量$X$确定，那么$Y$将与联合分布一样同服从高斯分布，只不过该分布的均值和方差会随随机变量$X$的改变而改变。确定$Y|X$服从高斯分布后，可以将其写为：

$$ Y|X \sim \mathcal N (\mu_{Y|X}, K_{Y|X}) $$

同样地带入概率密度函数的一般形式，可以有：

$$ \begin{align} \mathcal N (Y|X; \mu, \Sigma) & = z \exp(-\frac{1}{2} Y^T \Sigma_{Y|X}^{-1} Y + Y^T \Sigma_{Y|X}^{-1} \mu_{Y|X} + C)\\ & = z \exp\left(-\frac{1}{2} \left[\begin{matrix}X \\ Y\end{matrix}\right]^T \left[ \begin{matrix} K_{XX} & K_{XY}\\ K_{YX} & K_{YY} \end{matrix} \right] ^{-1} \left[\begin{matrix}X\\ Y\end{matrix}\right] \right)\\ \end{align} $$

假设$\Lambda$矩阵为协方差矩阵的逆，可以表示为：

$$ \Lambda = \left[ \begin{matrix} K_{XX} & K_{XY}\\ K_{YX} & K_{YY} \end{matrix} \right] ^{-1} = \left[ \begin{matrix} \Lambda_{XX} & \Lambda_{XY}\\ \Lambda_{YX} & \Lambda_{YY} \end{matrix} \right] $$

将矩阵$\Lambda$带入到概率密度函数中，我们可以得到：

$$ \begin{align} \mathcal N (Y|X; \mu, \Sigma) & = z \exp(-\frac{1}{2} Y^T \Sigma_{Y|X}^{-1} Y + Y^T \Sigma_{Y|X}^{-1} \mu_{Y|X} + C)\\ & = z \exp\left(-\frac{1}{2} \left[\begin{matrix}X \\ Y\end{matrix}\right]^T \left[ \begin{matrix} \Lambda_{XX} & \Lambda_{XY}\\ \Lambda_{YX} & \Lambda_{YY} \end{matrix} \right] \left[\begin{matrix}X\\ Y\end{matrix}\right] \right)\\ & = z\exp\left( -\frac{1}{2} (Y^T \Lambda_{YY} Y + 2 Y^T \Lambda_{YX} X + X^T\Lambda_{XX} X) \right) \end{align} $$

依据该式可以得到如下的两个方程：

$$ \begin{align} & \Sigma_{Y|X}^{-1} = \Lambda_{YY}\\ & \Sigma_{Y|X}^{-1} \mu_{Y|X} = \Lambda_{YX} X\\ & C = X^T \Lambda_{XX} X \end{align}$$

再依据分块矩阵求逆公式[1]，可以将$\Sigma_{Y|X}$与$\mu_{Y|X}$用已知量表示出来：

$$ \begin{align} & \Sigma_{Y|X} = K_{YY} - K_{YX}K_{XX}^{-1}K_{XY} \\ & \mu_{Y|X} = K_{YX} K_{XX}^{-1} X \end{align} $$

条件高斯分布在高斯过程中最重要的应用之一在于，如果已知协方差矩阵和历史数据X，那么就可以估计出Y的分布！

[1] Formula A.12 http://www.gaussianprocess.org/gpml/chapters/RWA.pdf