《镜子大全》《朝华午拾》分享 http://blog.sciencenet.cn/u/liwei999 曾任红小兵,插队修地球,1991年去国离乡,不知行止。

博文

社会媒体(围脖啦)火了,信息泛滥成灾,技术跟上了么?

已有 4645 次阅读 2011-11-22 14:23 |个人分类:立委科普|系统分类:科普集锦|关键词:社会媒体,语言处理,信息抽取,评价语,客户情报,NLP,sentiment| 信息抽取, 语言处理, 社会媒体, 评价语, 客户情报

“三好”立委要做“三有”系统

面对呈指数增长的海量信息,人类面对信息获取的困境。唯一的出路是依靠电脑,其核心的技术是语言处理(NLP)。这不是王婆卖瓜,而是客观形势。


就说社会媒体对产品和服务的评价吧,每时每刻,无数用户的抱怨和赞美不断出现在网上,这些客户对产品的评价情报对于企业加强产品功能和研发新产品,具有很高的应用价值。可是怎么获取这些淹没在语言海洋中的情报呢?

出路就是:1 自动分析; 2. 自动抽取。这就是我们正在做而且已经取得amazing效果的工作。

社会媒体的特点是什么?概括来说,就是:1. 不断翻新的海量信息源;2. 满是不规范的字词和表达法。这就要求研发的系统,首先必须具有 scalability,其次是分析系统的 robustness,在这两者的基础上,如果再能做到有 depth,则更佳。深度分析的优势在于能够支持应用层面的以不变应万变。因为应用层面的变数大,不同的客户、不同的产品对于信息的关注点不同,所以抽取这些信息应该越简单越好,最好能做到象目前运用搜索引擎或数据库查询那样立等可取。要做到这一点,就需要一定的语言分析深度来支持。Parser 和 Extractor 的简单道理就是:parsing 越深,extraction 则浅;parsing 越浅,则extraction 就不得不繁复。总之,工作量是基本恒定的,分析偷懒了,抽取就要遭罪,反之亦然。问题不仅仅是偷懒的问题,问题往往出在研发者的能力身上。要一个系统既有 scalability,robustness,还要有 depth,不是一件容易的事儿。很多人信息抽取做得很辛苦,那是因为分析深入不下去。

笔者的目标就是,拼命也要做一个这样的 “三有” 系统。英语和欧洲语言的三有可以说已经做到了。现在面对的挑战是中文处理上的“三有”(突然想起当年拼命也要做“三好”学生的劲头来)。

耳边响起了林副主席关于系统开发的谆谆教导:

带着问题做,活做活用,做用结合,急用先做,立竿见影,在‘用’字上狠下功夫。

还是先看看语言数据吧。什么叫社会媒体的语言,它与规范语言(譬如新华社新闻)有什么不同。下面的从网络上摘取的客户评价的 random samples 可以给读者一个初步印象(这是断过词的samples):

strong sentiments on Chinese social media
日期: 11/21/2011 16:53:36
IKEA 宜家 豆瓣小站 做 的 很 有 调性, 尤其 是 近期 的 "电影 里 的 宜家 - 你的 梦想 空间 " 活动 短短 一 周 吸引 了 几千 粉丝 参与, 上传 作品 都 很 精致 有 想法 .
宜家家居 餐厅, 宜家 瑞典 食品屋, 和 宜家 小吃吧 的 各色美食 : 瑞典 肉圆, 烟熏 三文鱼, 中东 小米 三文鱼, 芝士 焗鳕鱼, 烟熏 鸡 胸 意粉, 当然 也 少 不了 " 元甜筒 冰淇淋 " 和 热狗, 丰富 美味 同样 值得 期待!
@宜家家居IKEA 我 等 到 现在 还 没有 拿 到 我的 图纸 哟 ... 测量 的 员工 和 主管 倒是 很 热心 的 帮忙 询问, 倒是 你们 自己的 设计师, 投诉 到 主管 也 没有 一 句 当面 的 道歉 哦 .
宜家家居 意式烟熏 鸭胸饭, 跟 以前 的 奥尔良 鸡腿饭 比较, 虽然 价格 是 鸡腿饭 的 二倍 还 多, 但是 味道 物有所值 .
宜家 的 服务 很 贴心, 购物 清单 和 铅笔 方便 记 住 自己 要 买 的 东西; 深蓝色 的 纸张 是 商场 导航 图; 下面 挂 着 纸 做 的 简易 尺子, 方便 顾客 量 尺寸 .
我 在 这里:#宜家家居# 这里 可 真 热闹, 睡觉 的 画画 的 照相 的 吃饭 的 推 着 婴儿车 的 坐 着 轮椅 的 五花八门 做 什么 都 有 !
我 在 宜家 家居 IKEA ( 四元桥店 ) . 一 来 家居店 就 会 有 想 把 家里 的 东西 全 都 扔 了 重新 装 的 冲动 .
@宜家家居IKEA : 好 有 感染力 的 笑容, 在 电脑 前 看 到 让 人 不禁 一起 微笑 . 希望 以后 你 会 一直 在 宜家 找 到 快乐, 逛 的 开心 .
@宜家家居IKEA / 这个 是 忠实 的 宜家 粉丝 了 / 我们的 宜家 简约 风格 住宅
Surprise !!!! 原来 接到 的 电话 是 真的, 非常 感谢 @宜家家居IKEA, 今天 收到 您们 送 的 幸运 奖品 了, 谢谢 ! :)爱 喔 .
虽然 只是 宜家家居 的 快餐厅, 但是 做 的 东西 真的 很 好吃 !! ! 最 喜欢 牛肉 饭 配 低卡 可乐, 虽然 很多 人 都 不 喜 可乐 .
上海 东方 航空 公司, 我 一共 托运 了 2 件 行李, 你 给 我 丢 了 一 件, 至今 仍然 没有 找到, 在 英国 买 的 东西 都 被 你 给 整 没 了 .
凌晨 1:20 东方 航空 给 我 加拿大 的 手机 打 越洋 电话 说 我 回 南方 的 那趟 飞机 航班 取消 . 我 觉得 国内 的 客户 服务 的 效率 实在是 高, 负责 通知 到底 的 精神 果然 敬业 .
东方 航空 的 飞行员 太 给力 了, 这 一路 各种 转弯 啊, 害 我 替 旁边 的 阿拉伯 大哥 担心 一路, 怕 他 胃里 的 羊肉 和 馕 溢 出来 啊 .
东方 航空 机长 在 飞机 起飞 前 30 分钟, 就 拒绝 乘客 登 机 实在是 没有 道理 . 一 个 小 机场, 乘客 寥寥无几, 岂 能 在 起飞 前 半 小时 关闭 电脑, 这 套 服务 完全 是 毫无道理 .
@东方航空 95530 也 忒 难 打 了, 天亮 打 到 天黑, 累计 n 小时, 愣 是 "对不起, 坐席 正 忙" .
我 在 萧山 机场 被 告知 飞机 要 晚点 半 小时, 不 喜欢 东方 航空
坑爹 的 东方 航空 啊, 上次 是 取消 这次 又 给 我 晚点, 再 上次 又 改签 ... 乃 跟 我 有 仇 吗 ?
为啥 这 东方 航空 公司 网站 经常性 地 打 不 开, 老是 搞 得 黑客 热爱 他们的 航班 似 的 ...
严重 表扬 @东方航空 . 又 一 次 被 早餐 惊喜 到, 竟然 是 荷叶 饼 夹 肉沫 炒鸡蛋 + 黑米粥
我 是 真 不 想 说 联想 电脑 坏 话, 但 确实 太 不 争气 了, 上 周三 刚 买 的 19 寸 一体机, 这才用了几天啊, 就出毛病了 .
联想 电脑 真是 垃圾, 但 更 垃圾 的 是 要 5 年 才能 更换, 这 是 电子 设备 啊, 怎么 跟 铁锹 榔头 一样 折旧 ? ? ? ? ? ?
地球 人 已经 阻挡 不了 中国 人 了, 连 日剧 里 都 用 联想 电脑, 那 是 多么 奢侈 的 事情 啊, 都 不 用 买 东芝 了 .
联想 电脑 很 结实 啊, 上次 看 到 一 只 小强, 没有 称手 的 工具, 我 就 把 手提 扔 了 出去, 小强 死 了, 电脑 完好无损 !
联想 电脑 现在 越 来 越 烂 了, 还 变 得 和 小 日本 一样 狡猾, 一 过 保质 期 就 坏 !
如果 说 我 对 星巴克 有 什么 最 感 骄傲 的 成就, 那 就 是 公司 里 员工 自信 与 互信 的 氛围 .

够乱吧。这样的语言可以自动分析和抽取么?

答案是肯定的。

当然也要看系统。也就是看人。

等有空再接着说怎么对付这样的语言 monster。


【置顶:立委科学网博客NLP博文一览(定期更新版)】



http://blog.sciencenet.cn/blog-362400-510567.html

上一篇:米拉围脖:饶老师又发评论了,一个有趣评论
下一篇:【立委科普:语法结构树之美(之二)】

4 吕喆 赵明 朱新亮 jsj

该博文允许注册用户评论 请点击登录 评论 (1 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2019-3-20 19:13

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部