Brown University CS242 homework 5很有趣，相关链接如下：

http://cs.brown.edu/courses/cs242/assignments/

该Homework给了一个toy 的图片特征数据集，然后让学生把算法填充完整，进而预测每张图片上出现的实物类型（数据集1上一共有13种实物类型，诸如人、马、牛、羊、山峰、飞机等等，数据集2上一共23种实物类型），显然这是一个多标签预测问题，该任务中用到了三种类型的因素：

1. unary potential : 实物类型s是否出现；

2. pairwise potential：实物类型s和实物类型t是否共现；

3. feats potential：实物类型s和第k种特征的关系；

一共使用了6种算法进行多标签预测，分别是：

1. indenpendent

2. logistic

3. Markov Random Field（精确推导版本的SGD）

4. Conditional Random Field（精确推导版本的SGD）

5. Markov Random Field（Mean Field Approximation版本的SGD）

6. Conditional Random Field（Mean Field Approximation版本的SGD）

结果如下

顺便解释一下，上面这张图，横坐标是测试样本中给定出的已经观测到的标签的数量，每个样本总共有13个标签，可以看出：

1. 当给出的标签数量越多的时候，MRF效果有明显提升，CRF效果略有提升，但无论MRF如何提升，距离CRF总还5个百分点的差距，毕竟MRF没有用到观测特征，这是怎么补充可观测标签都无法弥补的损失；

2. logistic仅考虑unary potential和feats potential，不考虑标签之间的共现信息，所以即便给出同一张图片中的其他标签，对它预测剩余标签的准确率仍然没有任何帮助；

3. independent模型只考虑unary potential，这个模型没有使用任何对预测结果有价值的信息，所以结果和随机猜测是一个效果，AUC在0.5左右；

4. CRF/MRF用了两个版本来学习模型参数，分别是精确SGD版本/近似SGD版本，近似版本使用Mean Field Variational Inference，可以看出两个版本下CRF/MRF随标签数量增多，模型表现的变化趋势是一致的，但就同一种模型来说，精确版本和近似版本求参在模型表现上差了约10个百分点。

再说下另外一件事，就是参数学习的迭代过程，在CRF/MRF近似版本的学习过程中，会出现negtive LogLikelihood降低到0以下，然后收敛的现象，虽然从训练出来的模型的表现来说，效果尚可，但negtive LogLikelihood降低到0以下始终觉得很诡异，不知道是否是Mean Field Variational Inference的正常现象，另外值得一提的是，在跑MRF时候，如果在每次更新的theta参数下Mean Field Approximation都跑20次迭代，那么最终学习结束后negtive LogLikelihood降低到0以下，但如果我将Mean Field Approximation的迭代结束条件限制为Evidence Lower bound的改变量小于某阈值，那么negtive LogLikelihood会在0以上收敛，而且收敛时negtive LogLikelihood的值和CRF精确解时negtive LogLikelihood的值类似，好奇怪的现象。

最后还有一个收获，就是从图片中抽取的可观测特征都是用连续值来表示的，其应用这些连续值特征的方式就是将标签类别Xs与该特征Yk用权重r_sk来表示。

 后记：一直以来我都很好奇在CRF中怎么使用连续值，虽然之前知道这种将标签类别Xs与某特征Yk之间关系用权重r_sk来表示，进而在CRF中使用连续特征的做法，但后来在Coursera PGM课程的Assignment 7中，我发现将该连续值的特征离散化，进而将每个离散值与类别Xs之间分配一个r_sk能够取得更好的效果，那有没有比这个还好的应用连续特征的方法呢？现在还没有看到，从这个例子中知道对于连续特征，大家通用的做法就是简单将标签类别Xs与该特征Yk用权重r_sk来表示，虽然这种做法还有很大的提升空间。