duskwaitor的个人博客分享 http://blog.sciencenet.cn/u/duskwaitor

博文

比较6种算法在图片中的实体识别效果

已有 597 次阅读 2019-1-1 19:19 |个人分类:乱评一气|系统分类:科研笔记| 机器学习, 条件随机场, 马尔科夫随机场, 变分推断

Brown University CS242 homework 5很有趣,相关链接如下:

http://cs.brown.edu/courses/cs242/assignments/

该Homework给了一个toy 的图片特征数据集,然后让学生把算法填充完整,进而预测每张图片上出现的实物类型(数据集1上一共有13种实物类型,诸如人、马、牛、羊、山峰、飞机等等,数据集2上一共23种实物类型),显然这是一个多标签预测问题,该任务中用到了三种类型的因素:

1. unary potential : 实物类型s是否出现;

2. pairwise potential:实物类型s和实物类型t是否共现;

3. feats potential:实物类型s和第k种特征的关系;

一共使用了6种算法进行多标签预测,分别是:

1. indenpendent

2. logistic

3. Markov Random Field(精确推导版本的SGD)

4. Conditional Random Field(精确推导版本的SGD)

5. Markov Random Field(Mean Field Approximation版本的SGD)

6. Conditional Random Field(Mean Field Approximation版本的SGD)

结果如下



顺便解释一下,上面这张图,横坐标是测试样本中给定出的已经观测到的标签的数量,每个样本总共有13个标签,可以看出:

1. 当给出的标签数量越多的时候,MRF效果有明显提升,CRF效果略有提升,但无论MRF如何提升,距离CRF总还5个百分点的差距,毕竟MRF没有用到观测特征,这是怎么补充可观测标签都无法弥补的损失;

2. logistic仅考虑unary potential和feats potential,不考虑标签之间的共现信息,所以即便给出同一张图片中的其他标签,对它预测剩余标签的准确率仍然没有任何帮助;

3. independent模型只考虑unary potential,这个模型没有使用任何对预测结果有价值的信息,所以结果和随机猜测是一个效果,AUC在0.5左右;

4. CRF/MRF用了两个版本来学习模型参数,分别是精确SGD版本/近似SGD版本,近似版本使用Mean Field Variational Inference,可以看出两个版本下CRF/MRF随标签数量增多,模型表现的变化趋势是一致的,但就同一种模型来说,精确版本和近似版本求参在模型表现上差了约10个百分点。

再说下另外一件事,就是参数学习的迭代过程,在CRF/MRF近似版本的学习过程中,会出现negtive LogLikelihood降低到0以下,然后收敛的现象,虽然从训练出来的模型的表现来说,效果尚可,但negtive LogLikelihood降低到0以下始终觉得很诡异,不知道是否是Mean Field Variational Inference的正常现象,另外值得一提的是,在跑MRF时候,如果在每次更新的theta参数下Mean Field Approximation都跑20次迭代,那么最终学习结束后negtive LogLikelihood降低到0以下,但如果我将Mean Field Approximation的迭代结束条件限制为Evidence Lower bound的改变量小于某阈值,那么negtive LogLikelihood会在0以上收敛,而且收敛时negtive LogLikelihood的值和CRF精确解时negtive LogLikelihood的值类似,好奇怪的现象。



最后还有一个收获,就是从图片中抽取的可观测特征都是用连续值来表示的,其应用这些连续值特征的方式就是将标签类别Xs与该特征Yk用权重r_sk来表示。

 后记:一直以来我都很好奇在CRF中怎么使用连续值,虽然之前知道这种将标签类别Xs与某特征Yk之间关系用权重r_sk来表示,进而在CRF中使用连续特征的做法,但后来在Coursera PGM课程的Assignment 7中,我发现将该连续值的特征离散化,进而将每个离散值与类别Xs之间分配一个r_sk能够取得更好的效果,那有没有比这个还好的应用连续特征的方法呢?现在还没有看到,从这个例子中知道对于连续特征,大家通用的做法就是简单将标签类别Xs与该特征Yk用权重r_sk来表示,虽然这种做法还有很大的提升空间。




http://blog.sciencenet.cn/blog-724521-1154791.html

上一篇:2017年自科基金青年项目申请总结(二)
下一篇:Mean Field Variational Inference终于在我的大马尔科夫网上work了

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2019-6-19 00:57

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部