KevinPolly的个人博客分享 http://blog.sciencenet.cn/u/KevinPolly

博文

参加师兄的博士论文开题引发的关于规则方法与统计方法的一点思考

已有 2780 次阅读 2018-1-12 15:10 |个人分类:学习心得|系统分类:科研笔记

对于计算语言学和自然语言处理来说,或从更宏观的信息处理的视角来说,统计方法和规则方法没有本质的区别,是同一个研究过程的两个阶段,没有形成两个流派“文人相轻”的道理。

统计方法和规则方法研究的都是事物之间的关系,只不过规则方法是说“如果A发生,那么B一定发生”,而统计方法则是说“如果A发生,那么B有一定的概率发生”。规则方法处理的是确定性的知识P(B|A)∈{0,1}的问题,而统计方法处理的是不确定的知识P(B|A)∈(0,1)的问题。

为了探索事物的规律(for scientific purposes)或者完成对一个特定的任务(for engineering purposes),采取统计方法还是规则方法,取决于我们对客观事物的理解水平和当前的技术水平。对于不确定的事物,都可以通过引入新的信息来减小不确定性,使其向确定性靠近,最终坍缩或逼近到一个确定的点上。对于适合用统计方法处理的问题,我们之所以不能用规则方法处理,是因为B的发生与否不只由A影响,还由其他信息影响,而其他信息我们用当下的技术手段捕捉不到,或者说不能及时捕捉到,或者说即使及时捕捉到了,也有可能因为算力不足或算法设计不当而不能及时从这些信息中挖掘得到情报,来及时判定B发生还是不发生。如果我们发现和B相关的信息A的存在与否可以100%判定B发生或不发生,而且凭我们的数据收集能力可以及时收集到A的全部信息,那么一个只能由统计方法解决的问题就可以由规则方法解决了。

从这个角度看,规则方法是运用统计方法得出的研究结果,在研究复杂的自然社会现象时,统计方法是通向规则方法的必经之路。



https://blog.sciencenet.cn/blog-3354129-1094509.html


收藏 IP: 124.205.76.*| 热度|

1 彭真明

该博文允许注册用户评论 请点击登录 评论 (1 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-19 20:51

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部