dudong的个人博客分享 http://blog.sciencenet.cn/u/dudong

博文

2013-3-9 结构化预测(structured prediction)

已有 9847 次阅读 2013-3-9 21:20 |系统分类:科研笔记| prediction, structured

假期的实验失败之后,还有两个方法可以用:
第一个是继续沿着使用概率图模型(probabilistic graphical models)的方法,多读关于机器学习的论文来寻找近似计算partition function的方法。
第二个是使用结构化预测(structured prediction)的方法。

下面介绍一下结构化预测(structured prediction)的概念以及常见的参数学习方法:
1.概念:
结构化预测(structured prediction)是由SVM发展而来的。SVM是一种最大间隔(max-margin)的方法,最擅长处理二分类问题,后来也被用于处理多分类问题。SVM的优点在于有很好的理论基础,即它的泛化能力很强。它的缺点在于1)训练复杂度高;2)不能用于预测结构化问题。
结构化问题的例子有很多:给定一个句子,找出它对应的依存树(dependency tree);对一个图进行分割(image segmentation)等。
结构化预测(structured prediction)通过修改SVM的约束条件以及目标函数,将SVM从二分类问题扩展到可以预测结构化问题。一种常见的表述方法如下:

约束条件的意思是:对于任何一个学习用例,数据集的标注结果应该比模型预测的结果都要好!


2.参数学习方法
参数学习方法有很多:

structured perceptron(Collins, 2002)
stochastic subgradient(Ratliff, 2007)
extra-gradient(Taskar, 2006)
cutting-plane algorithms(Joachims, 2009)
Dual decomposition(Meshi, 2010)


下边是关于structured prediction的reading list:

[2005 ICML]integer linear programming inference for conditional random fields.pdf

[2005 IJCAI]learning and inference over constrained output.pdf

[2006 EMNLP]competitive generative models with structure learning for NLP classifiction tasks.pdf

[2007]Pegasos-primal estimated subgradient solver for svm.pdf

[2007]subgradient methods for structured prediction.pdf

[2008 ICML]training structural svms when exact inference is intractable.pdf

[2008 NIPS]strctured learning with approximate inference.pdf

[2009 ICML]polyhedral outer approximations with application to natural language parsing.pdf

[2009 machine learning]piecewise training for structured prediction.pdf

[2010 ICML]learning effieicently with approximate inference via dual losses.pdf

[2012 ICML]efficient decomposed learning for structured prediction.pdf


接下来的工作:
1.将结构化预测中参数学习方法总结一下,认真比较分析它们的区别与联系,优缺点
2.将结构化预测运用到dependency parsing中,做一次实验
3.现在关于结构化预测的模型稍微有一点想法,它的约束条件可以稍微改变一点,在第2步的基础上进行实验


https://blog.sciencenet.cn/blog-795431-668770.html

上一篇:2013-3-3 假期实验
下一篇:2013-3-16 结构化预测(structured prediction)
收藏 IP: 210.30.97.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-25 20:36

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部