王鑫, 宋永红, 张元林. 基于显著性特征提取的图像描述算法. 自动化学报, 2022, 48(3): 735−746. doi: 10.16383/j.aas.c190279

Wang Xin, Song Yong-Hong, Zhang Yuan-Lin. Salient feature extraction mechanism for image captioning. Acta Automatica Sinica, 2022, 48(3): 735−746. doi: 10.16383/j.aas.c190279

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190279?viewType=HTML

图像描述, 显著性特征提取, 语言模型, 编码器, 解码器

图像描述(Image captioning)是一个融合了计算机视觉和自然语言处理这两个领域的研究方向, 本文为图像描述设计了一种新颖的显著性特征提取机制(Salient feature extraction Mechanism, SFEM), 能够在语言模型预测每一个单词之前快速地向语言模型提供最有价值的视觉特征来指导单词预测, 有效解决了现有方法对视觉特征选择不准确以及时间性能不理想的问题. SFEM包含全局显著性特征提取器和即时显著性特征提取器这两个部分: 全局显著性特征提取器能够从多个局部视觉向量中提取出显著性视觉特征, 并整合这些特征到全局显著性视觉向量中; 即时显著性特征提取器能够根据语言模型的需要, 从全局显著性视觉向量中提取出预测每一个单词所需的显著性视觉特征. 本文在MS COCO (Microsoft common objects in context)数据集上对SFEM进行了评估, 实验结果表明SFEM能够显著提升基准模型 (baseline)生成图像描述的准确性, 并且SFEM在生成图像描述的准确性方面明显优于广泛使用的空间注意力模型, 在时间性能上也大幅领先空间注意力模型.

图像描述 (Image captioning) 是涉及到计算机视觉和自然语言处理这两个领域的一个重要的研究方向, 主要工作是实现图像到文本的多模态转换, 需要计算机能够识别图像上的对象, 理解对象的属性、对象之间的关系, 并用人类的语言表达出图像上的内容.

目前常用于图像描述的编码器-解码器 (Encoder-Decoder)框架最早受启发于机器翻译, NIC (Neural image caption)模型作为第一个使用这个框架的图像描述模型, 以卷积神经网络(Convolutional neural network, CNN) 作为编码器来提取图像上的视觉信息, 得到一个包含有整幅图像上视觉信息的全局视觉向量, 以单层的长短期记忆网络(Long-short term memory, LSTM)作为解码器, 在生成图像描述的初始时刻将全局视觉向量输入LSTM网络中, 之后逐步生成图像描述中的每个单词. 文献[11]中提出了g-LSTM (Guiding LSTM)模型, 它与NIC模型最大的不同在于, 不仅将全局视觉向量作为LSTM网络的输入, 也将全局视觉向量用来构建LSTM网络的各个门, 作者尝试以这种方法来引导LSTM生成更加贴合于图像内容的描述. 文献[12]中使用多标签分类的方法, 对图像进行多标签分类, 从而将图像上的多个高层属性编码进一个0-1向量中, 该向量的每一维都对应属性库中的一个属性, 如果图像上具有该属性, 向量对应维度的值取1否则取0, 作者使用该向量代替编码器给出的全局视觉向量, 取得了比较好的效果.

虽然这几种编码器−解码器模型都取得了不错的效果, 但存在两个主要的问题:

1)包含整幅图像视觉信息的全局视觉向量在初始时刻被输入解码器中, 解码器需要自己从中抽取预测单词所需的视觉信息, 造成解码器负担过重.

2)作为解码器的LSTM网络在预测每个单词时都会接收新的输入并遗忘掉现有的部分信息, 这就造成了随着预测的进行一些重要的视觉信息会被遗忘掉, 从而导致语言模型预测出的单词逐渐缺乏图像上视觉信息的指导, 偏离了图像的真实内容.

在编码器−解码器框架的基础上, 相继提出了多种注意力模型. 文献[16]中最早将空间注意力机制引入到图像描述领域, 在预测单词时空间注意力模型能够根据LSTM的隐含层状态来为每个局部视觉向量分配不同的权重, 然后通过加权求和得到当前单词所需的视觉向量. 空间注意力模型与编码器−解码器模型的结合, 一定程度上解决了编码器−解码器模型的上述两个问题. 但是同时也产生了3个新的问题:

1)在空间注意力模型中, 每个局部视觉向量只对应一个标量权重, 所以特征向量的每一维都需要乘以相同的权重, 空间注意力的这种操作相当于认为同一个图像区域中所有视觉特征具有同等重要性, 但实际情况并不是这样, 所以本文认为空间注意力模型对特征的选择是不准确的.

2)空间注意力模型对局部视觉向量上视觉特征的选择是强制性的, 解码器在预测每个单词时, 空间注意模型都要求局部视觉向量权重之和为1, 这就造成了局部视觉向量上没有解码器需要的视觉特征时, 空间注意力模型也会向解码器中输入视觉特征, 这些视觉特征就如同噪声一般, 会干扰解码器对单词的预测.

3)空间注意力模型是一种自顶向下的注意力模型, 对于生成一个长度为nn的句子, 空间注意力模块需要被执行nn次, 并且每次执行空间注意力模块时所有的局部视觉向量都需要参与运算, 这无疑大大限制了模型的时间性能.

针对空间注意力模型存在的第2个问题, 文献[17]提出了自适应注意力机制(Adaptive attention), 这种方法在局部视觉向量集合中添加一个编码有已生成单词序列语义信息的向量, 当局部视觉向量上没有解码器需要的视觉信息时, 该语义向量所对应的权重就会接近于1, 从而可防止空间注意力模型强制向解码器中输入视觉特征. 但是自适应注意力机制没能解决第1个问题和第3个问题, 而且增加了空间注意力模型的参数量和计算复杂度. 文献[18]提出的SCA-CNN (Spatial and channel-wise attention in CNN)一定程度上对空间注意力模型的第1个问题做出了改进, 它的通道级注意力模型能够为编码器输出特征图的每一个通道赋予一个权重, 与空间注意力模型结合在一起既实现了对空间位置的选择也实现了对通道的选择. 但是通道级注意力模型本质上只能为特征图的每个通道计算一个权重, 这种对通道的筛选仍然不灵活、不充分, 并没有完全解决第1个问题. 另外SCA-CNN没有考虑解决第2个问题和第3个问题, 相反的通道级注意力模型同样作为一个自顶向下的注意力模型, 在空间注意力模型的基础上进一步增加了模型的参数量和计算复杂度.

图 1  本文网络模型