非常折服苹果的技术转化能力,但就自然语言技术本身来说 ...
已有 6668 次阅读
2011-10-8 08:10
|个人分类:立委科普|系统分类:科研笔记|
NLP, 苹果, 自然语言处理, siri, NLU
苹果 iPhone 4S 里面的 Siri,跟我们的工作没法比
它面对的是非常狭窄的语言子集,我面对的是全开放的语言现象。
自然语言处理,领域越单纯,应用越好 。可我没有这个便利,我面对的是跨领域。
自然语言处理,语言越规范(譬如正式新闻),应用越好。可我没有这个便利,我面对的是社会网络的用语:充满了错别字、不合语法的说法,还有稀奇古怪的表达(譬如emoticons)。
自然语言处理,抽取事实的应用比较成熟,而抽取主观评价和情绪性话语比较难,而且现象很模糊。可我没有这个便利,我面对的是 sentiment extraction。
自然语言处理,单纯任务比较好办,譬如好话坏话的两级分类,复杂任务比较难,譬如要抽取好话坏话里面的细节和动机。可我没有这个便利,我们的产品需要这些细节和动机,来挖掘 actionable insights。
最后,自然语言处理,做研究的不少是玩具系统,做得大的大多也只在几个 GB 的量上做文章 。可我没有这个便利,我面对的是大数据 (big data),至少在 billion 文章的量级上。多了,真地就不一样了,从精雕细刻每棵语句之树,转为对语言之林的鸟瞰,与登泰山的感受类似,一览众林小。
总之,从各个方面看,我都是选择了最难的一条路,没走捷径。是在钢板最厚的地方钻眼。严格地说,不是我的选择,是机遇迫使我做这样的选择。
结果呢?曾经沧海。
没有什么可怕了。产品的技术门槛高了,具有竞争优势,开发起来带劲儿。难题经过多了,人也鲁棒、踏实了。未来呢,天生我才必有用,牛刀宰鸡快如麻。
https://blog.sciencenet.cn/blog-362400-494352.html
上一篇:
why hybrid? on machine learning vs. hand-coded rules in NLP下一篇:
需要有“混血”,尤其是从产业界回到学校的血统