Chenfiona的个人博客分享 http://blog.sciencenet.cn/u/Chenfiona

博文

好文 | 纽约石溪大学:机器学习中基于项目反应理论的集成学习

已有 652 次阅读 2020-11-13 15:26 |个人分类:好文推荐|系统分类:论文交流

机器学习中,研究者们对分类集成的关注与日俱增,尤其关注分类精度的提升。IJAC近期发表了来自纽约石溪大学研究者的最新成果,该研究基于项目反应理论,提出一种加权投票方法---基于IRT理论的集成学习算法,该方法可正确处理分类难题。研究还构建三个模型用以评估能力参数,并介绍了模型背后的假设。


全文下载:

Item Response Theory Based Ensemble in Machine Learning

机器学习中基于项目反应理论的集成学习

Ziheng Chen, Hongshik Ahn

https://link.springer.com/article/10.1007/s11633-020-1239-y   

http://www.ijac.net/en/article/doi/10.1007/s11633-020-1239-y  


image.png

机器学习领域,研究者们对分类问题的集成学习(Classification ensembles)的关注与日俱增。集成学习(ensemble learning)区别于其他类型学习最重要的特征是它综合了一组分类器的预测结果,而不仅仅依赖于单个分类器。当前,在多种情况下已证实:在集成学习算法中,聚合性能指标(aggregated performance metrics),如Bagging、Boosting和增量学习(incremental learning)的表现均优于其他同类算法。


集成学习算法中最核心的内容,便是组合判定规则(combination rule)。根据组合的方法,可分类为:简单多数投票(simple majority voting)和加权多数投票(weighted majority voting)。简单多数投票是一种综合了分类器决策的决策规则。由于其简单、适用性强,已经在集成学习中得到广泛应用。加权多数投票则是将每个分类器的决策乘以一个权重,而后把加权决策组合起来完成最终决策。这两种方法基于分类器的性能来训练数据,因此,一旦单个分类器完成训练,就不再需要调节任何参数。


借鉴项目反应理论(Item Response Theory, IRT)中的思想, 本文提出了一种新的加权投票分类集成(weighted voting classification ensemble)算法。IRT广泛应用于心理学或教育学中评价试题难度或者学生能力,我们将之迁移到集成学习策略中来评价不同基础分类器的效果。我们把每个数据点(data point)当作一个问题,把不同的分类器当作在课堂上完成考试的学生。众所周知,一个学生解决问题时的表现取决于两个主要因素:问题的难度及学生的能力。训练数据当中,有些特征显著且易于分类,而有些接近类别边界(class boundaries)的数据却很难分类。因此,与课堂考试类似,我们将分类器的性能定义为可正确分类复杂案例的能力,而不是正确完成分类的案例数量。例如,假设一个分类器正确完成了简单案例的分类,却不能处理复杂案例。另一个分类器正确分类了一些复杂案例,而错误地分类了简单案例。那么,第二个分类器所得的权重就比第一个分类器高。


本文提出一种同时评价分类器能力和分类难度的方法。本研究所采用的项目反应理论(item response theory, IRT)框架已广泛应用于心理和教育研究中,用以评估分类器的潜在能力。在UCI分类数据的实验中,这种集成学习方法有效的提升了分类效果。值得一提的是,该方法有效解释了基础分类器的强弱与训练集中数据点难易的关系。


image.png


image.png

科研小工具 | 基于LaTex轻松制作PPT

10mins微课 | 英语论文写作高频错误: 小冠词の大不同
【名校好课】MIT最新深度学习公开课
一款强大的公式编辑器
如何在不平坦的科研路上狂奔?
提升科研效率的几款小工具


image.png

年度Top10论文 | 人工智能&计算机视觉&大数据领域

2019-2020年度 Top10 综述

【约稿】爱丁堡大学樊文飞 | 有界计算理论: 在有限资源下查询大数据

最新出版 | 机器学习&计算机视觉&机器人...

哈工大高会军团队: 基于强化学习的多速率系统控制器最优化研究

综述:自主式水下机器人的路径规划算法

【程学旗&陈恩红团队】社交网络的传播背景:模拟与建模

高被引Top1团队综述:图像、图形及文本领域的对抗攻击及防御

综述:用于自由曲面加工的新型计算机数控方法

港科大-微众AI杨强团队:用于生成对话系统的迁移多层注意力网络

帝国理工学院:自然语言处理中大数据的智能收集与分析

北大王立威团队: 零样本细粒度图像分析新模型

【综述】美外籍院士Brian Anderson: 社交网络中舆论动力学研究进展


image.png



http://blog.sciencenet.cn/blog-749317-1258227.html

上一篇:科研小工具 | 基于LaTex轻松制作PPT
下一篇:最新 | 2020研究前沿及热点解读

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-10-20 23:46

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部