博文
2013-3-3 假期实验
||
假期在家主要做了几个关于依存句法的实验，用的是条件随机场(CRF)，实验是在CRF++软件包的源码基础上修改的。
https://blog.sciencenet.cn/blog-795431-666635.html
上一篇：依存句法分析
下一篇：2013-3-9 结构化预测(structured prediction)
效果都不太理想
结果分析：
理论方面：用到的是指数家族的表达形式，用来计算P(Y|X)。但是这里涉及到一个分划函数Z的计算，计算Z时需要枚举所有的Y，随着句子长度的增长Y的个数指数爆炸。在实验中我只是用了|Y|^2棵树来近似计算Z，实验效果很不好。
而且在实验时出现了目标函数先减小再增加的情况。最小化目标函数时使用的是L-BFGS算法，正常来讲是不会出现这种情况的。
目测猜测是因为只使用了少量树来近似计算Z造成的。
下一步的计划：
1.继续使用条件随机（CRF）的方法，希望找到其他方法来进行计算。最近读到一些优化方法相关的论文，可以不使用L-BFGS算法来优化，这些或许能避免枚举Z的所有树。
2.使用max-margin方法，也就是结构化SVM方法。这个方法是最近几年才提出来的，传统SVM是用于预测带有标号的数据，但是无法用于预测带有结构的，比如生成树！
https://blog.sciencenet.cn/blog-795431-666635.html
上一篇：依存句法分析
下一篇：2013-3-9 结构化预测(structured prediction)
扫一扫，分享此博文
全部作者的其他最新博文
- • 依存句法分析实验进度
- • 依存句法分析实验进度
- • 依存句法分析实验进度
- • 依存句法实验进度
- • 依存句法实验进度
- • 依存句法分析实验进度