博文
社会媒体（围脖啦）火了，信息泛滥成灾，技术跟上了么？
|||
“三好”立委要做“三有”系统
面对呈指数增长的海量信息，人类面对信息获取的困境。唯一的出路是依靠电脑，其核心的技术是语言处理（NLP）。这不是王婆卖瓜，而是客观形势。
就说社会媒体对产品和服务的评价吧，每时每刻，无数用户的抱怨和赞美不断出现在网上，这些客户对产品的评价情报对于企业加强产品功能和研发新产品，具有很高的应用价值。可是怎么获取这些淹没在语言海洋中的情报呢？
出路就是：1 自动分析； 2. 自动抽取。这就是我们正在做而且已经取得amazing效果的工作。
社会媒体的特点是什么？概括来说，就是：1. 不断翻新的海量信息源；2. 满是不规范的字词和表达法。这就要求研发的系统，首先必须具有 scalability，其次是分析系统的 robustness，在这两者的基础上，如果再能做到有 depth，则更佳。深度分析的优势在于能够支持应用层面的以不变应万变。因为应用层面的变数大，不同的客户、不同的产品对于信息的关注点不同，所以抽取这些信息应该越简单越好，最好能做到象目前运用搜索引擎或数据库查询那样立等可取。要做到这一点，就需要一定的语言分析深度来支持。Parser 和 Extractor 的简单道理就是：parsing 越深，extraction 则浅；parsing 越浅，则extraction 就不得不繁复。总之，工作量是基本恒定的，分析偷懒了，抽取就要遭罪，反之亦然。问题不仅仅是偷懒的问题，问题往往出在研发者的能力身上。要一个系统既有 scalability，robustness，还要有 depth，不是一件容易的事儿。很多人信息抽取做得很辛苦，那是因为分析深入不下去。
笔者的目标就是，拼命也要做一个这样的 “三有” 系统。英语和欧洲语言的三有可以说已经做到了。现在面对的挑战是中文处理上的“三有”（突然想起当年拼命也要做“三好”学生的劲头来）。
耳边响起了林副主席关于系统开发的谆谆教导：
带着问题做，活做活用，做用结合，急用先做，立竿见影，在‘用’字上狠下功夫。
还是先看看语言数据吧。什么叫社会媒体的语言，它与规范语言（譬如新华社新闻）有什么不同。下面的从网络上摘取的客户评价的 random samples 可以给读者一个初步印象（这是断过词的samples）：
strong sentiments on Chinese social media日期: 11/21/2011 16:53:36IKEA 宜家 豆瓣小站 做 的 很 有 调性, 尤其 是 近期 的 "电影 里 的 宜家 - 你的 梦想 空间 " 活动 短短 一 周 吸引 了 几千 粉丝 参与, 上传 作品 都 很 精致 有 想法 .宜家家居 餐厅, 宜家 瑞典 食品屋, 和 宜家 小吃吧 的 各色美食 : 瑞典 肉圆, 烟熏 三文鱼, 中东 小米 三文鱼, 芝士 焗鳕鱼, 烟熏 鸡 胸 意粉, 当然 也 少 不了 " 元甜筒 冰淇淋 " 和 热狗, 丰富 美味 同样 值得 期待!@宜家家居IKEA 我 等 到 现在 还 没有 拿 到 我的 图纸 哟 ... 测量 的 员工 和 主管 倒是 很 热心 的 帮忙 询问, 倒是 你们 自己的 设计师, 投诉 到 主管 也 没有 一 句 当面 的 道歉 哦 .宜家家居 意式烟熏 鸭胸饭, 跟 以前 的 奥尔良 鸡腿饭 比较, 虽然 价格 是 鸡腿饭 的 二倍 还 多, 但是 味道 物有所值 .宜家 的 服务 很 贴心, 购物 清单 和 铅笔 方便 记 住 自己 要 买 的 东西; 深蓝色 的 纸张 是 商场 导航 图; 下面 挂 着 纸 做 的 简易 尺子, 方便 顾客 量 尺寸 .我 在 这里：#宜家家居# 这里 可 真 热闹, 睡觉 的 画画 的 照相 的 吃饭 的 推 着 婴儿车 的 坐 着 轮椅 的 五花八门 做 什么 都 有 !我 在 宜家 家居 IKEA ( 四元桥店 ) . 一 来 家居店 就 会 有 想 把 家里 的 东西 全 都 扔 了 重新 装 的 冲动 .@宜家家居IKEA : 好 有 感染力 的 笑容, 在 电脑 前 看 到 让 人 不禁 一起 微笑 . 希望 以后 你 会 一直 在 宜家 找 到 快乐, 逛 的 开心 .@宜家家居IKEA / 这个 是 忠实 的 宜家 粉丝 了 / 我们的 宜家 简约 风格 住宅Surprise !!!! 原来 接到 的 电话 是 真的, 非常 感谢 @宜家家居IKEA, 今天 收到 您们 送 的 幸运 奖品 了, 谢谢 ! ：)爱 喔 .虽然 只是 宜家家居 的 快餐厅, 但是 做 的 东西 真的 很 好吃 !! ! 最 喜欢 牛肉 饭 配 低卡 可乐, 虽然 很多 人 都 不 喜 可乐 .上海 东方 航空 公司, 我 一共 托运 了 2 件 行李, 你 给 我 丢 了 一 件, 至今 仍然 没有 找到, 在 英国 买 的 东西 都 被 你 给 整 没 了 .凌晨 1：20 东方 航空 给 我 加拿大 的 手机 打 越洋 电话 说 我 回 南方 的 那趟 飞机 航班 取消 . 我 觉得 国内 的 客户 服务 的 效率 实在是 高, 负责 通知 到底 的 精神 果然 敬业 .东方 航空 的 飞行员 太 给力 了, 这 一路 各种 转弯 啊, 害 我 替 旁边 的 阿拉伯 大哥 担心 一路, 怕 他 胃里 的 羊肉 和 馕 溢 出来 啊 .东方 航空 机长 在 飞机 起飞 前 30 分钟, 就 拒绝 乘客 登 机 实在是 没有 道理 . 一 个 小 机场, 乘客 寥寥无几, 岂 能 在 起飞 前 半 小时 关闭 电脑, 这 套 服务 完全 是 毫无道理 .@东方航空 95530 也 忒 难 打 了, 天亮 打 到 天黑, 累计 n 小时, 愣 是 "对不起, 坐席 正 忙" .我 在 萧山 机场 被 告知 飞机 要 晚点 半 小时, 不 喜欢 东方 航空坑爹 的 东方 航空 啊, 上次 是 取消 这次 又 给 我 晚点, 再 上次 又 改签 ... 乃 跟 我 有 仇 吗 ?为啥 这 东方 航空 公司 网站 经常性 地 打 不 开, 老是 搞 得 黑客 热爱 他们的 航班 似 的 ...严重 表扬 @东方航空 . 又 一 次 被 早餐 惊喜 到, 竟然 是 荷叶 饼 夹 肉沫 炒鸡蛋 + 黑米粥我 是 真 不 想 说 联想 电脑 坏 话, 但 确实 太 不 争气 了, 上 周三 刚 买 的 19 寸 一体机, 这才用了几天啊, 就出毛病了 .联想 电脑 真是 垃圾, 但 更 垃圾 的 是 要 5 年 才能 更换, 这 是 电子 设备 啊, 怎么 跟 铁锹 榔头 一样 折旧 ? ? ? ? ? ?地球 人 已经 阻挡 不了 中国 人 了, 连 日剧 里 都 用 联想 电脑, 那 是 多么 奢侈 的 事情 啊, 都 不 用 买 东芝 了 .联想 电脑 很 结实 啊, 上次 看 到 一 只 小强, 没有 称手 的 工具, 我 就 把 手提 扔 了 出去, 小强 死 了, 电脑 完好无损 !联想 电脑 现在 越 来 越 烂 了, 还 变 得 和 小 日本 一样 狡猾, 一 过 保质 期 就 坏 !如果 说 我 对 星巴克 有 什么 最 感 骄傲 的 成就, 那 就 是 公司 里 员工 自信 与 互信 的 氛围 .
够乱吧。这样的语言可以自动分析和抽取么？
答案是肯定的。
当然也要看系统。也就是看人。
等有空再接着说怎么对付这样的语言 monster。
https://blog.sciencenet.cn/blog-362400-510567.html
上一篇：米拉围脖：饶老师又发评论了，一个有趣评论
下一篇：【立委科普：语法结构树之美（之二）】
