Batch-attention：深度学习中一种新的协调过拟合与欠拟合的方法

胡涵清，李政勋，吴竹南

北京信息科技大学经济管理学院，北京100192

摘要 在深度学习网络训练的过程中，现有大多数提升模型效果的方法都集中在网络上，要提升模型的效果与准确率，就须关注数据的特性。提出了一种新的深度学习模型训练框架Batch-attention，从数据层面出发，改变了原有训练方式，经实验证明可以协调深度学习模型的过拟合与欠拟合。通过在Cifar10与Cifar100数据集上分别采用Resnet34、Transformer和effi⁃cientnet-b7进行实验对比，证明了采用Batch-attention的模型相对于基准模型，在测试集上的准确率与F1-score均有一定提升。在测试实验中，进一步分析了Batch-attention的作用机制。

关键词 深度学习；过拟合；注意力机制；有监督学习；机器学习

（责任编辑  王志敏）

http://www.kjdb.org/CN/Y2023/V41/I13/100