drwuHUST的个人博客分享 http://blog.sciencenet.cn/u/drwuHUST

博文

情感计算数据标注中的多任务主动学习

已有 777 次阅读 2019-8-16 23:11 |个人分类:情感计算|系统分类:论文交流

情感计算(Affective Computing)由麻省理工学院Picard教授于1995年提出,指所有与情感(情绪)相关、来源于情感或能够对情感施加影响的计算,比如情感的建模、识别、表达等。中科院自动化所胡包刚等人指出,情感计算的研究目的是通过赋予计算机识别、理解、表达和适应人类的情感的能力来建立和谐人机环境,并使计算机具有更高的、全面的智能。比如,具备情感计算能力的汽车可以监测驾驶者和乘客的情绪状态,采取相应的安全措施。具备情感计算功能的微软小冰聊天机器人曾经与单人连续聊天7175句,持续29小时33分钟。如果没有情感理解与表达,这是不可能实现的。

1970年,人工智能创始人之一、ACM 图灵奖获得者、麻省理工学院教授明斯基(Minsky) 在《脑智社会》(The Society of Mind)专著中就情感的重要性专门指出“问题不在于智能机器能否有情感,而在于没有情感的机器能否实现智能(The question is not whether intelligent machines can have any emotions, but whether machines can be intelligent without emotions)”。2017年,斯坦福大学李飞飞教授在公开演讲中指出:“我认为下一步人工智能的发展,需要加强对情感,情绪的了解,要走进认知学,心理学。我说的不仅是脑科学,而是认知学。因为我们目前对人的情感理解非常少,而这对于人工智能来说是很重要的。”

中国国家自然科学基金委员会早在1998年就将和谐人机环境中的情感计算理论研究列为当年信息技术高技术探索第6主题。2005年10月中国人工智能学会同意并报国家民政部批准成立了《中国人工智能学会人工心理与人工情感专业委员会》。2018年7月中国科协发布的12个领域60个重大问题中,人机情感交互位列信息科技领域6个问题之一。“无情感不智能”已经成为众多研究者的共识。

AC.png

华中科技大学脑机接口与机器学习实验室主要研究基于语音和生理信号(脑电、心电、皮肤电等)的情感识别,包括分类和回归问题。分类问题中,一般考虑Ekman提出的6种基本情感:高兴,悲伤,愤怒,害怕,吃惊,恶心。回归问题中,一般使用Russell提出的情感的二维连续空间表示:valence(愉快程度)和arousal(清醒程度),或者Mehrabian提出的三维空间表示,增加了dominance(支配程度,比如愤怒支配程度高,害怕支配程度低)。

情感识别的一个重要问题是训练数据很难获得,而训练数据的数量又直接关系到识别模型的性能。因为情感本身很微妙、主观、不确定,对一段语音或视频,需要多人进行评价,然后融合,才能得到比较真实的情感标签。比如,常用的DEAP视频情感数据集,每段视频由14-16个人共同标注;VAM语音数据集,每段语音由6-17个人共同标注。

机器学习经常被用来降低情感计算中对带标注数据的需求。常用的方法有:

1. 半监督学习:使用少量带标注数据和大量不带标注数据来训练情感识别模型。

2. 迁移学习:使用相近或相关的辅助数据来促进新任务的学习,这样新任务可能只需要很少的带标注训练数据。

3. 多任务学习:同时解决多个相关的学习任务,每个任务需要的数据量都可以减少。

4. 主动学习:从大量无标注数据中选择少量最有用的数据来标注(并非所有训练数据都是平等的),从而可以用最少的标注数据训练出一个好的模型。

上述方法并不是互相排斥的,因而可以混合使用来达到更好的效果。我们这里的研究就是结合多任务学习和主动学习来减少情感计算回归问题中的标注数据量。

应用场景:给定一个包含了很多未标注语音片段的情感数据集,我们需要从中选出一部分语音片段,在情感的3个维度都进行标注,然后据此训练一个模型,对剩下的未标注语音片段进行标注。

研究问题:如何最优选择语音片段进行标注,从而通过少量标注,训练得到最佳模型?

主要思路:可以分开考虑3个维度,对每个维度运用主动学习选出最优的n个片段进行标注。单独考虑3个维度,最终需要理解大约3n(并不一定是3n,因为各个维度选出的语音片段可能会有少量重复)段语音,才能使每个维度有n个训练数据。然而,理解一段语音后,只标注其中的一个维度有点浪费。直观上讲,理解一段语音然后同时标注它的3个情感维度,或理解3段不同的语音然后每段只标注一个维度,前者要容易得多。就像是做阅读理解,读一篇文章然后回答3个问题,或读3篇同样长度的文章然后对每个文章只回答一个问题,前者要节省很多时间。所以,我们的思路是,做主动学习时同时考虑选取的语音片段对3个情感维度的影响,而不是一个。这样就把多任务学习(也许叫多目标学习更合适)跟主动学习结合起来了。实验结果也证明多任务主动学习能大大降低标注代价。

 

本工作由华中科技大学人工智能与自动化学院伍冬睿教授和黄剑教授共同完成,发表于IEEE Transactions on Affective Computing (IF=6.288)。全文请见:

D. Wu and J. Huang, "Affect Estimation in 3D Space Using Multi-Task Active Learning for Regression," IEEE Transactions on Affective Computing, 2019, in press.

或arXiv版本:https://arxiv.org/abs/1808.04244




http://blog.sciencenet.cn/blog-3418535-1193933.html

上一篇:基于贪婪采样的回归主动学习方法
下一篇:TSK模糊系统与神经网络、混合专家模型、分类回归树CART、stacking集成学习的等价性

1 伍赛特

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

全部作者的精选博文

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2019-9-22 03:28

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部