引用本文

叶俊民, 罗达雄, 陈曙. 基于短文本情感增强的在线学习者成绩预测方法. 自动化学报, 2020, 46(9): 1927−1940 doi: 10.16383/j.aas.c190008

Ye Jun-Min, Luo Da-Xiong, Chen Shu. Short-text sentiment enhanced achievement prediction method for online learners. Acta Automatica Sinica, 2020, 46(9): 1927−1940 doi: 10.16383/j.aas.c190008

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190008

关键词

在线学习社区，短文本情感，学习状态，成绩预测，深度学习 

摘要

当前利用短文本情感信息进行在线学习成绩预测的研究存在以下问题: 1)当前情感分类模型无法有效适应在线学习社区的短文本特征, 分类效果较差; 2)利用短文本情感信息定量预测在线学习成绩的研究在准确性上还有较大的提升空间. 针对以上问题, 本文提出了一种短文本情感增强的成绩预测方法. 首先, 从单词和句子层面建模短文本语义, 并提出基于学习者特征的注意力机制以识别不同学习者的语言表达特点, 得到情感概率分布向量; 其次, 将情感信息与统计、学习行为信息相融合, 并基于长短时记忆网络建模学习者的学习状态; 最后, 基于学习状态预测学习者成绩. 在三种不同类别课程组成的真实数据集上进行了实验, 结果表明本文方法能有效对学习社区短文本进行情感分类, 且能够提升在线学习者成绩预测的准确性. 同时, 结合实例分析说明了情感信息、学习状态与成绩之间的关联.

文章导读

在线开放课程为世界各地的学习者提供了学习先进课程的机会, 同时还为教学管理者收集了各类数据以分析在线学习者的相关行为, 即所谓的学习分析[1]. 面对大规模的学习用户及其所产生的数据, 如何对在线学习者的学业成绩进行预测, 依据预测结果实施学业预警, 并为教学决策提供依据, 是在线教育需要解决的一个重要问题[2-9].

当前针对在线学习者成绩预测的研究主要是利用学习者客观的统计数据和学习行为数据, 对相关研究文献进行归纳后, 本文将这些研究分为三个类别: 1)基于概率的成绩预测研究; 2)基于传统机器学习的成绩预测研究; 3)基于深度学习的成绩预测研究. 下面对这些研究工作进行阐述.

第一, 基于概率的成绩预测研究包括知识追踪(Knowledge tracing)和认知诊断(Cognitive diagnosis), 两者都是使用学习者过去的学习表现数据, 利用概率模型刻画学习者并预测其成绩. 其中, 知识追踪方法有贝叶斯知识追踪(Bayes knowledge tracing, BKT)[10]和深度知识追踪(Deep knowledge tracing, DKT)[11]两类. 此外, 还有学者提出了基于动态记忆网络的方法, 该方法学习知识点之间的关系和学习者对具体知识点的掌握情况, 从而对该学习者的学习表现进行预测[12]. 认知诊断模型分为连续型和离散型两类, 其中连续模型的典型例子为潜在特质理论(Item response theory, IRT)[13], 而离散模型的典型例子为DINA (Deterministic inputs, noisy and gate model)[14]. 此外, 还有学者提出了一种通用的认知诊断框架, 能够实现对主观题和客观题的认知建模, 增强了学习者成绩预测的精度[15].

第二, 基于传统机器学习的方法利用统计理论、聚类、分类、图理论和矩阵因子化等技术预测学习者成绩. Anderson等[16]对学习者的参与类型进行分类, 并研究了学习者的参与度及其成绩之间的关联. Ramesh等[17]提出用于抽象学习者参与类型的潜在表征模型, 以预测辍学率及学习者成绩; Bayer等[18]利用学习者丰富的社交网络数据预测其辍学率和学校课程的错误选择; 矩阵因子化(Matrix factorization, MF)近年来也常被应用于教育领域的成绩预测, Sweeney等[19]利用矩阵因子化等推荐系统的常见方法进行成绩预测研究; Ren等[20]考虑了相关课程和时间因素的影响, 提出了一种时序课程影响的矩阵分解算法以预测学习者成绩; Tang等[21]利用动态图理论预测学习者行为(包括学习成绩), 并取得了好的效果.

第三, 基于深度学习(Deep learning)的成绩预测研究也越来越受到关注. 深度知识追踪(DKT)技术利用递归神经网络模拟学习者练习过程, 以预测其未来表现. 在此基础上, 有多个工作探索了深度模型的层数、特征等因素对最终预测成绩结果的影响[22-24]; Su等[25]结合文本语义信息提出了一种基于测验文本的神经网络方法来预测学习者的测验成绩; Feng等[26]提出了一种基于特征交互的神经网络框架, 通过学习不同类型特征之间的关联来预测学习者能否完成在线课程的学习.

从上述所阐述的内容, 可以发现这些研究忽视了学习者的短文本数据, 而这些数据保留了可用作学习者成绩预测的大量信息, 这为我们的研究提供了新视角.

除研究视角选择之外, 我们还发现短文本数据中的情感因素会对学习者的成绩预测造成影响. 对此, Wen等[27]提出利用论坛中的短文本数据计算学习者的情感比率, 并研究了情感比率与学习者辍学行为之间的关系. 其研究结果表明: 积极的情感倾向预示着较低的辍学率; Tucker等[28]发现论坛短文本数据中蕴含的情感分数与学习者的测验表现和作业投入有较强的相关性; Chaplot等[29]利用情感分析工具计算情感特征, 并与其他多个特征结合训练神经网络模型, 结果表明情感特征能够提升成绩预测的精度. 以上研究均显示有效地利用情感信息将提高成绩预测的准确性.

上述利用情感信息进行成绩预测的研究还存在着如下问题: 1)多数研究工作采用传统方法或是直接迁移其他领域(如商品评论分析)的情感分析方法来处理论坛中的短文本数据, 但这种做法不适应针对学习社区短文本数据的处理: Wen等[27]在研究中发现不同课程的短文本数据有不同语言表达特征, 如在文科性质的课程中, 部分被判定为带有消极情绪的短文本所含有的消极词汇与其评论的客观事实相关, 与学习者情感无关; Wen等[27]还发现不同学习者的表达特征也影响着情感识别的效果, 如存在着某些学习者习惯性使用消极词汇的情况, 所以不能仅依靠词汇的极性判断其情感极性. 这些问题的存在意味着, 如何设计能够有效适应学习社区短文本特征的情感识别模型是一个有待研究的关键问题. 2)当前研究多是定性地说明情感因素的作用(如Wen等[27]和Tucker等[28]的工作), 而部分结合短文本情感信息定量预测学习者成绩的工作所取得的效果也有待进一步提高(如文献[29]的工作). 因此, 结合短文本情感因素, 构建情感增强的成绩预测模型, 以有效地定量预测学习者成绩, 这是本文有待研究的又一个关键问题.

针对上述问题1), 本文在分析在线学习社区短文本数据所具有的特征的基础上, 考虑利用最新的自然语言处理方法[30-34]构建情感分类模型加以解决. 由于在线学习社区的短文本数据通常由多个短句构成, 这些短句具有一般短文本数据所共有的特点, 如表达随意、语病多等. 所以本文的具体思路是: 为了有效地刻画短文本的情感, 本文首先利用短文本数据训练得到词的语义表示, 随后采用分层处理的策略处理这些短文本数据. 在这些分层中, 第1层从词表示中聚合得到句子的语义表示, 而第2层从句子表示聚合得到短文本的语义表示. 在每一层中, 选择广泛用于建模文本语义的双向长短期记忆(Bi-directional long short-term memory, BiLSTM)网络模型作为每一层的处理结构. 同时, 利用注意力机制处理每一层BiLSTM的输出, 以识别出对情绪分类贡献较大的情感词汇和包含情绪表达的句子. 其次, 在线学习社区中, 不同的课程和学习者具有不同的情感表达特征, 这会对情感分类任务产生重要影响. 为此, 本文改进了传统注意力机制, 在注意力权重的计算过程中引入了学习者特征向量, 以实现学习不同学习者情感表达特点的目的. 同时, 在不同课程上, 训练不同的情感分类模型, 以适应课程层面的情感表达特点.

针对上述问题2), 本文考虑到深度知识追踪模(DKT)是一种基于循环神经网络的方法, 在时序上可有效地建模学习者的学习状态, 且由于DKT基于深度学习框架, 这可与短文本的情感表示有效结合, 所以本文选择DKT作为成绩预测模型的扩展基础. 此外, 本文还注意到人口统计数据和学习行为数据对学习者成绩预测的影响, 故将这两者与短文本数据表示相融合, 以得到完整的学习者特征表示. 在此基础上, 利用一种改进的长短期记忆(Long short-term memory, LSTM)循环神经网络建模学习状态, 以此为基础预测学习者的成绩.

本文的贡献主要在于: 1)利用分层模型建模短文本语义, 并改进传统注意力机制以识别不同学习者的语言表达特征; 2)设计了情感增强的学习者特征融合方法, 并利用LSTM网络从时序上建模学习状态, 预测学习成绩.

图 1  基于短文本情感增强的在线学习行为预测方法框架

图 2  在线学习社区短文本表示模型

图 3  学习状态建模与成绩预测过程

本文提出了一种短文本情感增强的在线学习者成绩预测方法. 首先, 基于在线学习社区短文本的特征设计了情感分类模型, 基于此模型得到短文本的情感特征向量; 其次, 将短文情感信息、学习行为信息和统计信息相融合, 并利用LSTM建模学习者的学习状态; 最后, 基于学习状态预测学习者的成绩. 通过在真实数据集上的实验验证了本文提出的短文本分类模型在在线学习社区的文本上有很好的情感分类效果, 利用短文本情感信息能有效提升在线学习成绩预测的精度. 同时, 本文的方法还有一定的提升空间, 具体表现在: 1)继续探索更佳的短文本情感分类模型, 使得短文本情感信息更好地应用于成绩预测任务; 2)本文的方法本质上是一种基于深度学习的方法, 其可解释性较差, 可以将认知诊断和知识追踪结合进本文的框架, 增强在线行为预测的可理解性. 这些方向将在未来的工作中进行研究.

作者简介

叶俊民

华中师范大学计算机学院教授. 主要研究方向为学习分析和教育数据挖掘.E-mail: jmye@mail.ccnu.edu.cn

罗达雄

华中师范大学计算机学院硕士研究生. 主要研究方向为自然语言处理和教育数据挖掘. 本文通信作者.E-mail: 18140663659@163.com

陈曙

华中师范大学计算机学院讲师. 主要研究方向为软件工程和学习分析.E-mail: chenshu@mail.ccnu.edu.cn