IEEEJAS的个人博客分享 http://blog.sciencenet.cn/u/IEEEJAS

博文

L2损失大规模线性非平行支持向量顺序回归模型

已有 313 次阅读 2020-10-21 18:37 |系统分类:博客资讯

顺序回归(Ordinal Regression),存在于机器学习中分类和回归任务之间,旨在将标签具有顺序关系的样本尽可能分到与标签类别接近的类别.


近些年随着数据挖掘和机器学习技术的发展, 顺序回归模型在情感分析、产品评论、信用评估、用户画像等领域得到了广泛应用. 在这些领域中,其样本标签包含顺序信息,模型对已分错的样本处理代价往往不同. 如用户画像领域中对年龄的预估, 20岁的青年用户被错分为30岁和50岁形成的用户画像有明显差异. 再如在信用评估领域,一个信用值极低的公司被错分为一般低和较高所影响的决策大相径庭.因此,顺序回归问题受到越来越多的重视.


image001.png


文本提出基于SVM的线性顺序回归模型. Huadong Wang等人首次提出了非线性的非平行支持向量回归机模型(NPSVOR),该模型采用Hinge损失函数建立.实验表明在非线性情况下, NPSVOR优于其他基于SVM的方法, 但能有效处理大规模数据的线性NPSVOR模型尚未得到研究.


另外,基于L2的损失有助于顺序回归模型的构建.在解决顺序回归问题时一方面需要考虑顺序信息,另一方面由于对不同分错样本的处理不同,所以在构建模型时,对损失项特殊处理有助于模型的构建使预测标签与实际标签尽可能接近,提高模型的性能. 如此,为了使与真实标签产生较大偏差的样本得到更大的惩罚, 我们在建模中采用L2 损失(均方Hinge 损失)作为模型损失函数.


综上所述, 本文提出一种基于L2损失的线性非平行支持向量顺序回归模型. 线性模型因求解模型速度快、内存消耗小可处理大规模数据. 从目前研究来看, 这是在顺序回归领域中第一个处理大规模问题的相关工作. L2损失相对L1损失对偏离真实标签的样本惩罚更大故有助于顺序回归模型的构建. 此外,针对该模型,该文设计了两种求解该模型的算法并比较了两种算法的性能表现.


引用格式:

石勇, 李佩佳, 汪华东. L2损失大规模线性非平行支持向量顺序回归模型. 自动化学报, 2019, 45(3): 505-517

本文链接:

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170438


作者简介


石  勇

中国科学院大学教授. 主要研究方向为数据挖掘和多目标决策分析. 

E-mail: yshi@ucas.ac.cn


李佩佳

中国科学院大学教授. 主要研究方向为数据挖掘和多目标决策分析.中国科学院大学计算机与控制学院博士研究生.主要研究方向为数据挖掘,深度学习和自然语言处理. 本文通信作者.  

E-mail: lipeijia13@mails.ucas.ac.cn


汪华东

北京三星通信研究院助理研究员. 2018年在中国科学院大学获博士学位. 主要研究方向为机器学习算法和数据挖掘应用. 

E-mail: wanghuadong14@mails.ucas.ac.cn



http://blog.sciencenet.cn/blog-3291369-1255237.html

上一篇:平行系统方法在自动化集装箱码头中的应用研究
下一篇:2020年第9期目录分享

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2020-11-24 09:06

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部