一、引言

模式是指存在于时间和空间中可观测性、可度量性和可区分性的信息；模式识别则是对模式进行分析与处理，进而实现描述、辨识、分类与解译。模式分类是模式识别的核心研究内容，相关问题包括模式描述、特征提取和选择、聚类分析、分类器设计等。取决于具体的数据对象，模式识别的研究内容还包括信号/图像/视频理解、视觉目标分类、图像/视频检索、文本分类等，以及各种面向应用的技术研究。

机器学习是一门研究机器获取新知识与新技能，并识别现有知识的学问。从人工智能的角度，机器学习是指从经验中产生模型的一切方法论的总称。学习模型的构建是机器学习的核心研究内容。取决于已有知识表示形式、学习任务与学习环境，机器学习的研究内容十分广泛，涉及规则学习、类比学习、统计学习、强化学习、深度学习、大数据机器学习等多个方面。

模式识别与机器学习紧密关联在一起。模式识别为机器学习提供应用舞台，机器学习则为模式识别提供数据分析与建模技术。本报告围绕模式分类与机器学习基础理论和相关应用等方面介绍近几年国内学者所取得的主要研究进展，分析国际学科发展趋势及国内的研究特色与差距。

二、我国的发展现状

（一）基础理论与方法

聚类和概率密度估计是模式识别的基本问题。近年来，相关研究主要集中于集成聚类、多视图聚类、子空间聚类等研究方向上。比如，中山大学提出了一种基于稀疏图和概率轨迹分析的集成聚类方法［1］，通过随机游走概率轨迹相似性来获得聚类结果；中科院西安光机所提出了一种重赋权判别嵌入 K-均值多视图聚类方法［2］；西北工业大学构建了一个双边 K-均值快速协同聚类模型［3］。在子空间聚类方面，清华大学提出的贝叶斯非参数子空间聚类方法［4］、北京大学提出的基于张量低秩描述的子空间聚类方法［5］等均受到广泛关注。

特征提取与选择是高维模式分析的重要工具，是避免“维数灾”的重要方法。在特征提取方面，浙江大学提出了一种称为A-最优投影［6］，为图像描述提供新视野和新方法； 同时，提出一种可微分散度判别准则，并将其应用于大规模局部特征维数缩减［7］。另外，中科院计算所的多视角判别分析方法［8］、西北工业大学的白化重构二维主成分分析［9］、广东工业大学的广义拉普拉斯低秩描述框架［10］等都是一些亮点工作。在特征选择方面， 中科院自动化所提出了一种可同时实现特征选择与子空间学习的多模态学习模型［11］，并在跨模态检索中取得较好的应用效果。

在分类器构造方面，国内学者取得了一系列研究成果。清华大学提出了一个有关核贝叶斯推断的最优化方法，给出了核贝叶斯推断新见解［12］。南京大学提出建立了一种半监督支持向量机，并设计出相关学习方法来确保未标注数据能够提升分类器性能［13］。南京航空航天大学构建了一个在错误校正输出码框架下的可联合训练多个两类分类器的方法［14］。中科院自动化所提出了一个重定位最小二乘回归方法［15］，采用类别标签竞争机制作来提升多类分类精度。针对支持向量机割平面算法，清华大学提出了一种高效的线搜索策略［16］，降低了模型的计算复杂度。

在稀疏学习方面，浙江大学提出了一种基于随机合成优化的稀疏学习方法，并给出了相应的理论分析［17］；中科院自动化所提出了一种基于半二次最小迭代的鲁棒稀疏表示方法［18］、一种鲁棒的低秩矩阵恢复方法［19］。字典学习与稀疏表示紧密相关，中科院自动化所提出了一种耦合字典学习方法［20］，清华大学提出了一个可同时进行特征学习和字典学习的模型［21］。这些工作丰富了字典学习的方法体系。

在概率图模型与结构模式识别方面也呈现出一些亮点工作。特别是，清华大学提出了一种如何提升贝叶期隐变量学习模型多样性的方法［22］，提出了一种基于并行分布式采样 的大规模隐狄利克莱分派模型学习方法［23］，构建了判别相关主题模型和最大无限隐马尔可夫模型［24］。另外，电子科技大学提出采用马尔可夫网络来获取异质人脸图描述方法［25］，中山大学提出了一种“与—或”图结构［26］，并将其应用于形状检测。

深度学习无疑是模式识别和机器学习领域中的热点研究方向。国内在深度学习的应用方面取得了前所未有的新成果，并在自然图像目标检测与识别、图像分割、语音识别、生物特征识别等方向上尤为显著。在新型网络构建方面，比如，清华大学构建的条件生成矩匹配网络［27］和一种三元（生成器、判别器和分类器）生成式对抗网络［28］、中科院自动化所构建的不规则滤波深度卷积神经网络［29］、浙江大学的深度旋转等变网络［30］等均具有鲜明特点。另外，南京大学提出了深度森林模型［31］，并将其命名为 gcForest。在结构上，gcForest 是一种多粒度级联森林；在学习方法上，该模型是一个决策树集成学习模型。该方法是“向着深度学习以外的方向进军”的标志性工作。

（二）应用研究

最近几年，随着人工智能技术的广泛应用以及相关概念的提出，模式分类与机器学习的应用研究也取得了十分丰富的成果，涉及人工智能的各个方向和各种类型的应用。特别地，在文字识别、语音识别、自然语言处理、生物认证、医学图像分析、遥感图像分析、多媒体分析、信息检索、社会感知数据智能处理、大数据分析等多个任务中取得了重要的研究成果。对上述各方面全面的总结已超出本报告的范围。这里仅列举部分应用研究成果。

在多媒体检索方面，浙江大学提出的密度敏感哈希方法［32］，中科院自动化所的非对称哈希编码［33］、清华大学的非离散哈希学习方法［34］等丰富了哈希学习的方法体系。在跨模态检索方面，中科院自动化所提出了基于特征选择与子空间学习的跨模态检索［27］和端到端跨模态检索双向深度神经网络模型［35］，可以实现以“句子”-“图像”的双向检索。

基于深度学习的视觉计算方法得到空前发展，视觉计算系统的精度和鲁棒性有了很大提高。特别地，公安部第三研究所过去几年连续在世界最具影响力的视觉目标识别竞赛ILSVRC 中取得优异成绩。另外，中山大学在行人分割［36，37］、西北工业大学在视觉显著性目标检测［38］、中国人民大学在图像语义分割［39］等方面均取得了一定的进展。

在文字识别方面，中科院以及华中科技大学、华南理工大学、北京科技大学等相关课题组也取得重要研究进展。比如，中科学自动化所提出并完善了基于过切分框架的多上下文集成中文识别算法，并取得较好的实际应用效果［40］；华南理工大学提出了一个端对端在线文本独立书写人识别框架［41］；华中科技大学提出一种多尺度多水平场景文字深度表示学习方法［42］，等等。这些工作有力地推进了我国文字识别研究与应用水平。

在生物特征识别方面，国内学者也取得了显著成果，部分研究水平达到国际前沿。比如，中科院自动化所提出了基于卷积神经网络的多视角步态识别方法［43］、一种基于归一化像素差异的快速精确无约束人脸识别方法［44］、一种基于层次视觉编码表示的虹膜图像识别方法［45］。中山大学提出了一种开放条件下行人再识别方法［46］，并从机器学习的角度构建了可传递局部距离比较信息的学习模型。 

三、国内外发展比较

在模式识别与机器学习基础理论方面，国内学者发表了大量的学术论文。诸多研究成果受到国际同行的广泛关注。特别地，国内学者在低秩学习、分类器集成、多示例多标签学习等方面仍然处于国际前沿水平。在深度学习应用方面，国内学者也得取了十分可喜的成绩，在多个有重要影响的国际竞赛中均得优异成绩。比如，我国在概率图模型方面的系列研究工作［22-24］、生成式对抗网络、不规则滤波深度卷积神经网络［29］、深度旋转网络［30］、深度森林模型［31］、回归重定多类分类器构造［15］、数据聚类等方面均做出了亮点工作。

另外，中科院及北京、南京、杭州、西安、广州、武汉、天津、成都等院所在计算机视觉、信息检索、自然语言处理等模式识别与机器学习应用研究方面成绩斐然。比如，2016 年在全球最具影响力的视觉目标识别竞赛 ILSVRC（ImageNet Large Scale Visual Recognition Challenge）中商汤科技与香港中文大学、公安部三所、南京信息工程大学、海康威视等国内研究机构分别包揽了全部项目的冠军，在国际学术界和工业界充分展示了我国模式识别与机器学习的应用水平。

总体来说，国内本学科发展势头良好，涌现出一批具有国际影响力的专家，并在国际模式识别与机器学习领域的各个舞台上均有一支十分活跃的中国力量。比如，在此期间， 中科院自动化所谭铁牛院士当选为英国皇家工程院外籍院士和发展中国家科学院院士；南京大学的周志华教授继 2012 年当选为 IEEE Fellow 和 IAPR Fellow 之后，于 2016 年当选AAAI Fellow、ACM Fellow、AAAS Fellow；同时，国内学者在人工智能国际重要学会担任Fellow 的人数逐年增加。但是，相对于国外水平，国内整体上仍处于跟跑阶段。相对于美国、加拿大等国家，在机器学习的重要原始成果创新方面相对较少。在学术界、工业界具有双重影响的原始创新工作（如 AlphaGO）较少。 

四、我国发展趋势与对策

模式识别和机器学习是当前人工智能中最具活力的研究领域。传统的理论难点问题和技术瓶颈问题尚未得到全面充分解决。但是，在基于泛在感知的海量信息智能化处理中却不断地产生新型大数据机器学习问题。

我国当前应用需求主要包括如下几个方面：①公共安全与服务的需要，包含海量庞杂、跨时空、跨区域、跨行业、跨部门、社会—人的物理空间和网络空间大数据处理、挖掘、服务与管理决策；②基于泛在和精密感知的智能环境理解、智能人机交互、智能机器人、智能辅助系统等尤其需要先进的视听觉信息理解技术；③国家安全的需要，包括军事目标图像和军事情报数据的自动分析，互联网态势分析和反恐等、空天情报实时智能化处理，等等。

围绕上述应用需求，在科学研究与技术开发层面，我国互联网、人工智能等技术的普遍应用不断地催生着新的模式识别与机器学习问题。另外，在来自于物理空间、网络空间、社会与人的“多源异构、海量混杂、时空演变”的大数据中产生了诸如物理空间与网络空间的协同感知与建模、多源异构大数据机器学习等新的科学问题，迫切需要我们发展新的模式识别与机器学习理论与方法。

特别地，面向大数据分析这一主战场，在理论与方法层面我国主要呈现出以下一些研究趋势：①研究高效的关联学习方法，充分挖掘蕴含于大数据中的价值；②研究隐含模式发现方法、类不平衡模式分析方法，有效地解决大数据中小模式检测问题，构建面向大数据的价值模式分析方法；③研究海量冗余数据、海量噪声数据中的精准知识激活方法、知识消歧方法，提高海量数据的利用效率；④研究海量非结构化时序数据分析方法，建立高效的事件检测、演化和预测模型，以适应大数据快速演化特点；⑤研究面向大规模数据的模式分类、模式聚类、知识深度推理、非结构化特征学习等方法，拓展现有经典方法的大数据并行处理能力。

近年来，基于深度学习的模式识别方法在语音识别、自然图像分类、自然语言处理等领域取得了巨大的成功，取得的识别精度比其他方法所取得的最高性能都有明显提升。随后，深度学习必将转向一些新的行业，比如，商业大数据挖掘与推荐、智慧城市、交通大数据分析、健康大数据分析、遥感时空大数据分析、车辆受损图像自动保险定损、智能驾驶、空间分析与应用、天气预报、国防与公共安全等。

另外，强化学习也是未来一个主要发展方向。随着 AlphaGO 的成功，强化学习被提升到一个新的高度。实际上，强化学习已经在人机对抗中显示出强大的生命力。同时，强化学习的思想已在传统的模式识别任务中逐步发挥重要作用。

最后，人脑具有多模态信息处理、自主学习、实时更新等特点。发展类脑模式识别理论与方法，充分引入人的感知机理，以脑结构、神经形态学、类脑研究的最新成果为引导，研究高效的跨模态非结构化协同学习方法、小样本主动可增强自学习自演化方法、自主特征学习方法、自动目标感知与识别方法、类脑神经网络结构学习方法等，也是我国机器学习领域正在蓬勃开展的一个新的研究领域。

模式识别、机器学习是提高我国人工智能应用水平的核心技术，构建智能计算系统的核心基石，也是一个难得的机遇期。特别地，随着“创新 2020”“人工智能 2.0”“工业5.0”等国家层面的战略设计的相继启动，对模式识别、机器学习相关人才和技术的需求十分迫切。因此，本学科应力争培养一批既懂理论方法又能掌握核心关键技术的复合型人才，提出原创性的主流方法和核心算法，推动我国人工智能技术的跨越发展。

参照国际模式识别、机器学习的研究水平，在基础理论研究方面，我们在国际上所产生的重大原始创新性成果还不多。因此，尽管国家在经费投入方面有了巨大提高，但仍需着力营造自由、宽松的基础研究氛围。

五、结束语

围绕模式分类和机器学习及其应用，本报告主要介绍国内在模式识别领域的主要研究进展，分析国内的研究特色与差距以及本学科发展趋势。总结起来，国内学者在模式识别与机器学习及其应用的研究上取得了一批具有国际水平的成果。但是，大多为跟踪式、改进式、验证式研究，在基础理论和主流方法上缺乏“零基”原创性的贡献。在以后的工作中需要进一步加强基础研究的力量，凝练研究队伍，拓宽人才培养途径，注重高层次人才引进，营造自由、宽松的学术研究氛围，加强模式识别、机器学习与脑科学、认知科学、社会科学等领域的交叉与融合。

参考文献

［1］ Huang D，Lai J H ，Wang C D. Robust Ensemble Clustering Using Probability Trajectories［J］．IEEE Trans.Knowledge and Data Engineering，2016，28（5）：1312-1326.

［2］ Xu J，Han J，Nie F，Li X. Re-Weighted Discriminatively Embedded K -Means for Multi-View Clustering［J］． IEEE Transactions on Image Processing，2017，26（6）：3016-302.

［3］ Han J，Song K，Nie F，et al. Bilateral k-Means Algorithm for Fast Co-Clustering［C］．AAAI Conference on Artificial Intelligence（AAAI），2017，1969-1975.

［4］Wang Y，Zhu J. DP-space：Bayesian Nonparametric Subspace Clustering with Small-variance Asymptotics［C］// International Conference on Machine Learning，2015：862-870.

［5］ Fu Y，Gao J，Tien D，Lin Z，Hong X. Tensor LRR and Sparse Coding-Based Subspace Clustering［J］．IEEE Trans. Neural Network and Learning Systems，2016，27（10）：2120-2133.

［6］ He X，Zhang C，Zhang L，Li X. A-Optimal Projection for Image Representation［J］．IEEE Trans. Pattern Analysis and Machine Intelligence，2016，38（5）：1009-1015.

［7］ Yu M，Shao L，Zhen X，He X. Local Feature Discriminant Projection［J］．IEEE Trans. Pattern Analysis and Machine Intelligence，2016，38（9）：1908-1914.

［8］ Kan M，Shan S，Zhang H，et al. Multi-View Discriminant Analysis［J］．IEEE Trans. Pattern Analysis and Machine Intelligence，2016，38（1）：188-194.

［9］ Shi X，Guo Z，Nie F，et al. Two-Dimensional Whitening Reconstruction for Enhancing Robustness of Principal Component Analysis［J］．IEEE Trans. Pattern Analysis and Machine Intelligence，2016：38（10）：2130-2136.

［10］ Yin M，Gao J，Lin Z. Laplacian Regularized Low-Rank Representation and Its Applications［J］．IEEE Trans.

Pattern Analysis and Machine Intelligence，2016，38（3）：504-551.

［11］ Wang K，He R，Wang L，et al. Joint Feature Selection and Subspace Learning for Cross-Modal Retrieval［J］． IEEE Trans. Pattern Analysis and Machine Intelligence，2016，38（10）：2010-2023.

［12］ Song Y，Zhu J，Ren Y. Kernel Bayesian Inference with Posterior Regularization［C］// Advances in Neural Information Processing Systems（NIPS），2016，4763-4771.

［13］ Li Y F，Zhou Z H. Towards Making Unlabeled Data Never Hurt［J］．IEEE Trans. Pattern Analysis and Machine Intelligence，2015，37（1）：175-188.

［14］ Liu M，Zhang D，Chen S，et al. Joint Binary Classifier Learning for ECOC-Based Multi-Class Classification［J］． IEEE Trans. Pattern Analysis and Machine Intelligence，2016，38（11）：2335-2341.

［15］ Zhang X Y，Wang L，Xiang S，et al. Retargeted Least Squares Regression Algorithm［J］．IEEE Trans. Neural Network and Learning Systems，2015：26（9）：2206-2213.

［16］ Chu D，Zhang C，Tao Q. A faster cutting plane algorithm with accelerated line search for linear SVM［J］．Pattern Recognition，2017，67：127-138.

［17］ Zhang W，Zhang L，Jin Z，et al. Sparse Learning with Stochastic Composite Optimization［J］．IEEE Trans.

Pattern Analysis and Machine Intelligence，2017，39（6）：1223-1236.

［18］ He R，Zheng W S，Tan T，et al. Half-Quadratic-Based Iterative Minimization for Robust Sparse Representation［J］． IEEE Trans. Pattern Analysis and Machine Intelligence，2014，36（2）：261-275.

［19］ He R，Tan T，Wang L. Robust Recovery of Corrupted Low-Rank Matrix by Implicit Regularizers［J］．IEEE Trans. Pattern Analysis and Machine Intelligence，2014，36（4）：770-783.

［20］ Xiang S，Meng G，Wang Y，et al. Image Deblurring with Coupled Dictionary Learning［J］．International Journal of Computer Vision，2015：114（2-3）：248-271.

［21］ Lu J，Wang G，Zhou J. Simultaneous Feature and Dictionary Learning for Image Set Based Face Recognition［J］， IEEE Transactions on Image Processing，2017，26（8）：4042-4054.

［22］ Xie P，Zhu J，Xing E P. Diversity-Promoting Bayesian Learning of Latent Variable Models［C］//International Conference on Machine Learning（ICML），2016：59-68.

［23］ Yang Y，Chen J，Zhu J：Distributing the Stochastic Gradient Sampler for Large-Scale LDA［C］//ACM SIGKDD Conference on Knowledge Discovery and Data Mining，2016：1975-1198.

［24］ Chen N，Zhu J，Xia F，et al. Discriminative Relational Topic Models.［J］．IEEE Trans. Pattern Analysis and Machine Intelligence，2015，37（5）：973-986.

［25］ Peng C，Gao X，Wang N，et al. Graphical Representation for Heterogeneous Face Recognition［J］．IEEE Trans.

Pattern Analysis and Machine Intelligence，2017，39（2）：301-312.

［26］ Lin L，Wang X，Yang W，et al. Discriminatively Trained And-Or Graph Models for Object Shape Detection［J］． IEEE Trans. Pattern Analysis and Machine Intelligence，2015，37（5）：959-972.

［27］ Ren R，Zhu J，Li J，Luo Y. Conditional Generative Moment-Matching Networks［C］// Advances in Neural Information Processing Systems（NIPS），2016：2928-2936.

［28］ Li C，Xu K，Zhu J，et al. Triple Generative Adversarial Nets［J］．CoRR，abs/1703.02291，2017.

［29］ Ma J，Wang W，Wang L. Irregular Convolutional Neural Networks［J］．arXiv：1706.07966，2017.

［30］ Li J，Yang Z，Liu H，et al. Deep Rotation Equivariant Network［J］．CoRR，abs/1705.08623，2017.

［31］ Zhou Z H，Feng J. Deep Forest：Towards An Alternative to Deep Neural Networks［J］．CoRR，abs/1702.08835， 2017.

［32］ Jin Z，Li C，Lin Y，et al. Density Sensitive Hashing［J］．IEEE Trans. Cybernetics，2014，44（8）：1362- 1371.

［33］ Ding K，Fan B，Huo C，et al. Cross-Modal Hashing via Rank-Order Preserving［J］．IEEE Trans. Multimedia， 2017，19（3）：571-585.

［34］ Chen Z，Lu J，Feng J，et al. Nonlinear Discrete Hashing［J］．IEEE Trans. Multimedia，2017，19（1）：123- 135.

［35］ He Y，Xiang S，Kang C，et al. Cross-Modal Retrieval via Deep and Bidirectional Representation Learning［J］． IEEE Trans. Multimedia，2016，18（7）：1363-1377.

［36］ Liang X，Xu C，Shen X，et al. Human Parsing with Contextualized Convolutional Neural Network［J］．IEEE Trans. Pattern Analysis and Machine Intelligence，2017，39（1）：115-127.

［37］ Liang X，Wei Y，Lin L，et al. Learning to Segment Human by Watching YouTube［J］．IEEE Trans. Pattern Analysis and Machine Intelligence，2017，39（7）：1462-1468.

［38］ Zhang D，Meng D，Han J. Co-Saliency Detection via a Self-Paced Multiple-Instance Learning Framework［J］． IEEE Trans. Pattern Analysis and Machine Intelligence，2017，39（5）：865-878.

［39］ Lu Z，Fu Z，Xiang T，et al. Learning from Weak and Noisy Labels for Semantic Segmentation［J］．IEEE Trans.

Pattern Analysis and Machine Intelligence，2017，39（3）：486-500.

［40］ Wu Y C，Yin F，Liu C L. Improving handwritten Chinese text recognition using neural network language models  and convolutional neural network shape models［J］．Pattern recognition，2017，65：251-264.

［41］ Yang W，Jin W，Liu M. DeepWriterID：An End-to-End Online Text-Independent Writer Identification System［J］． IEEE Intelligent Systems，2016，31（2）：45-53.

［42］ Bai X，Yao C，Liu W. Strokelets：A Learned Multi-Scale Mid-Level Representation for Scene Text Recognition［J］． IEEE Trans. Image Processing，2016，25（6）：2789-2802.

［43］ Wu Z，Huang Y，Wang L，et al. A Comprehensive Study on Cross-View Gait Based Human Identification with Deep CNNs［J］．IEEE Trans. Pattern Analysis and Machine Intelligence，2017，39（2）：209-226.

［44］ Liao S，Jain A K，Li S Z. A Fast and Accurate Unconstrained Face Detector［J］．IEEE Trans. Pattern Analysis and Machine Intelligence，2016，38（2）：211-223.

［45］ Sun Z，Zhang H，Tan T，et al. Iris Image Classification Based on Hierarchical Visual Codebook［J］．IEEE Trans. Pattern Analysis and Machine Intelligence，2014，36（6）：1120-1133.

［46］ Zheng W S，Gong S，Xiang T. Towards Open-World Person Re-Identification by One-Shot Group-Based Verification［J］．IEEE Trans. Pattern Analysis and Machine Intelligence，2016，38（3）：591-606.

来源：中国自动化学会

网站：

http://ieeexplore.ieee.org/xpl/RecentIssue.jsp?punumber=6570654

www.ieee-jas.org

Blog: http://blog.sciencenet.cn/?3291369

Twitter: IEEE/CAA Press

Facebook: Ieee/Caa Press

投稿：https://mc03.manuscriptcentral.com/ieee-jas

Email: jas@ia.ac.cn  

Tel: 010-82544459，010-82544746

微信：JAS自动化学报英文版