作者：Christopher M. Bishop
出处：J.M. Zurada et al. (Eds.): WCCI 2008 Plenary/Invited Lectures, LNCS5050, pp. 1–24, 2008.
Abstract： 过去几年，机器学习以来以下3个方面的发展取得了很多实际应用上的成功，即：1）采用了贝叶斯理论，2）使用图模型表示复杂的概率分布；3）应用了快速的、确定性的推理算法，如变分贝叶斯(variational Bayes)和期望传递(expectation propagation)。
Bayesian Methods：概率提供的是一种不确定性的度量，在机器学习中，这种不确定性来自于观测数据的噪声、不可观测的隐变量(latent variables)和模型的参数。因此，概率理论提供了这些不确定性的求解理论和方法。依据模型是否含有一系列参数，可将机器学习分为有参数的(parametric)和无参数的(non-parametric)两大类(这两类并没有明显的界限)。
如果将模型的参数表示为W，观测数据表示为D，则条件概率$p(D|W)$被称为似然函数(个人认为之所以称为似然，实际上在一定程度上这个函数度量了观测数据D与模型的匹配度)，最大化条件概率
$p(D|W)$ 的方法就成为最大似然估计(MLE)。如果参数过于复杂，则模型可能会将数据中的噪声也拟合很好，使得在后续对未来数据预测出现很大的偏差，这个现象被称为过拟合(over-fitting)。相反，如果参数过于简单，则会出现拟合不足，即模型丢弃了数据中的某些信息，同样会造成对未来数据预测出现很大的偏差，这个现象称为拟合不足(under-fitting)。如下图所示，左上角是拟合不足，右下角是过拟合。
假设模型参数的先验满足p(W)，先验给出了除了观测数据D提供的信息之外，我们对参数的所有可能知识。因此，贝叶斯公式可以表示为
$ p(W|D) = \frac{p(D|W)*p(W)}{p(D)} $ （1）
$ p(D) =\int p(D|W)*p(W) dW $
最大化p(W|D)被称为最大化后验(Maximizea Posterior, MAP).
下面考虑一个多项式拟合的例子，假设多项式函数表示为
$y(x,W) = w_0 + w_1 x + w_2 x^2 + \ldots + w_M x^M$
上图给出了M取不同值时的拟合情况。下面首先给出传统的，非贝叶斯方法的求解过程。 为了得到算法的最优解，通常需要一个损失函数(loss function)，在这里使用误差平方和(sum-of-squares error)，表达式如下：
$E(W) = \frac{1}{2} \sum_{i=1}^n \{y(x_i,W) - t_i\}^2$ （2）
其中，$\{x_i，t_i\}_{i=1}^{n}$为观测数据集及其真值。
取均方根误差(root-mean-square error)为$E_{RMS} = \sqrt{2E(W^{*})/n})，W^{*}$
为当前模型下的最优参数。下图给出了多项式取不同的维数是的均方根误差。
由图可以看到，随着模型复杂度的增加，即M的增大，对观测数据的拟合越来越好，训练误差愈来愈小，但测试误差却越来越大，出现了过拟合现象。
从贝叶斯的观点来看，假设数据集$\{x_i，t_i\}_{i=1}^{n}$独立同分布，不失一般性，假设服从高斯分布
$p(D|W) = \prod_{i=1}^{n} N(t_i|y(x_i,w),\beta^{-1})$ （3）
同时假设参数服从高斯先验，(假设高斯先验是为了满足共轭性，见作者06的书)
$p(W|\alpha) = N(W|0,\alpha^{-1}I)$ （4）
于是，依贝叶斯公式，对新的位置$x$其估计值的表达式为
$p(t|x,D) = \int p(t|x,W) p(W|D) dW = N(t|m(x),s^2(x))$ （5）
上式积分号里面有两项，第二项是后验概率，用于依据当前给定的观测数据估计模型参数，第一项是依据估计出来的参数，预测给定位置的值，$p(t|x,W)$的表达式为$p(t|y(x,W),\beta^{-1})$。下图给出了在4个观测数据的情况下，贝叶斯方法的拟合结果。红线表示拟合结果，绿线表示真实曲线，粉红色区域表示方差。
随着数据点的增多，拟合会越来越接近真实分布，且方差会越来越小。
对后验分布对自然对数之后，我们可以得到
$\ln p(W|D) = -\frac{\beta}{2}\sum_{i=1}^{n} \{t_i - y(x_i,W)\}^2 - \frac{\alpha}{2} W^{T}W + C$ （6）
这实际上就是经典分布中常使用的正则化技术。正则化技术用来限制模型的复杂性，通常要在训练准确度和模型的复杂度之间取折中。贝叶斯方法通过假设先验分布，实际上是依赖先验知识对模型进行了进一步的限定，从而避免模型出现过拟合现象。
同时，贝叶斯方法可以用于机器学习的模型选择。模型选择一直是机器学习领域一个重要的研究问题，通常采用交叉验证技术(cross-validation)。那么，从贝叶斯的观点来看，假设现有一系列模型$\{M_i\}_{i=1}^{L}$，对于给定的观测数据D和模型的先验概率$p(M_i)$，由贝叶斯公式可得
$p(M_i|D) \propto p(M_i)p(D|M_i)$ （7）
先验概率可以是依赖各个模型的性能给出。公式(7)实际上又回到了公式(6)的情形。
那么，自然就会有一个疑问：如何选择合适的模型概率分布和合适的概率先验? 这也正是困扰本人的问题之一。
未完待续。
重要参考文献：Bishop, C.M.: Pattern Recognition and Machine Learning. Springer, Heidelberg(2006)
https://blog.sciencenet.cn/blog-507072-635995.html
上一篇：
自我下一篇：
A New Framework for Machine Learning ---概率图模型
