今天是双11，是购物的日子，我们又为一个千亿级的生意做出了各自杰出的贡献。

可是如果能出门走走，坐下11路，也许就不用剁手，还能省点钱。

图1   11路与步态

实际上，我们都知道，11路并非是指坐公交车，而是指人走路出行，经济环保。

走路是我们生活中必不可少的。而每个人在一岁左右学走路开始，就在不断地根据自己的身体结构的变化来调整自己走路的姿势，直到形成独有的、稳定的步态。

那么，这些步态，除了帮助我们出行外，还有哪些不被注意的“马尾巴的功能”呢？

一、步态与身份识别

第一个是步态与身份的关系。一般来说，人脸是主要的身份识别技术，因为它的局部特征如眼睛、眉毛、鼻子、脸形等都相对稳定，且相对位置变化较少，因此结合局部特征和脸部结构就能形成有效识别，尤其是深度学习兴起后，这种特征和关系的变化都通过大数据和深度模型有效的学习了，因此在理想环境下基本上能有效识别，即使是双胞胎在一定条件下也可以准确鉴别。所以，近年来，我们在机场、高铁站、甚至商场都看到了刷脸认证的广泛应用。不过，在上个月阳光明媚的一天，我准备乘坐高铁回上海时，却发现高铁站刷脸的设备被强太阳光致盲了，虽然增加了LED灯给旅客补光，依然无法成功识别，以至于我只能通过人工通道进站。即使不存在光照的影响，如果蒙脸的话，人脸也无法得到识别。其实人脸对某些肤色的识别性能也不强，两年前曾出现过谷歌将黑人识别成大猩猩的乌龙事件。随着深度学习性能的不断提升，最终谷歌通过从数据库中去除大猩猩的标签，成功的解决了这一疑似有人种歧视的识别问题。

事实上，人脸识别在复杂环境下、远距离识别上都存在局限性，如最远可识别距离可能不超过7-8米。类似的其他生物认证特征如指纹，则必须有接触设备，因为不可能形成远距离的识别，所以主要能用在手机、电脑等安装了指纹采集的设备上。而另一种生物特征虹膜，则只有1.5米的可识别距离。不过他的识别精度很高，因为虹膜上的血管特征对每个人是唯一且基本不变的。而且在某些特定场所中，也就虹膜是可靠的。想想看，从煤矿里出来的矿工，可能除了两只亮睛睛的眼睛外，其他能识别的特征都已经变得不可鉴别了。

图2  虹膜、指纹、掌纹、声纹、人脸等生物特征

与人脸、虹膜、指纹、掌纹、静脉等生物特征相比，11路的步态也能帮助我们进行识别且有其独特性。一方面它是唯一的，每个人有每个人特有的步态。比如专业舞蹈演员走路的步幅，通常会比普通人要大一些，如图3。再比如重庆抢枪案时，周克华案被成功抓获的主要原因，就是因为他走路时的左右脚步幅有明显差异，而后被作为典型特征，通过公安人员的手工检索海量的监控视频并成功定位和击毙的。除了步态是每个人独有的特征，步态也是唯一可进行远距离识别的特征，理论上他可以做到20米甚至更远。而且步态的识别也不像人脸、虹膜、指纹等那样，它的识别不需要检测者的配合。当然，步态的识别也有它的难点，比如它受外在因素的影响就比其他生物特征更多一些，如穿着的影响、背包的影响、道路的影响，这些都影响了步态识别的实际应用。

 图3  演员刘诗诗的步态，步幅明显较大 （图来自网络）

为了减少这些因素的影响，步态识别领域的研究员提出了很多相应的改进方案。如可增加可识别距离的图像超分辨率研究，它可以将近似马寒克的步态变得清晰从而提高识别率和距离 [1]；比如利用步态序列的时间、空间信息，从而形成多侧面的信息增广；还有考虑步态数据可能处在一个光滑的高维曲面（时髦一点，称为流形）上，从而有利于对不同角度或跨角度的步态进行推演和识别 [2,3]。

图4 步态识别方法示例。从左到右：基于序列、基于模板和基于时间保持模板

        步态识别的早期还有从视频序列角度考虑的，如基于隐马尔可夫模型来实现基于步态视频序列的识别。这类方法的优势是识别精度高，不足在于需要逐帧比较，计算代价大。于是有学者将序列平均得到一张图，来获得步态模板图。模板的好处在于计算代价小，但识别精度相对较低。所以，有很多针对模板的改进方法被提出。比如我们小组曾通过颜色着色的方式来获得的时间保持步态模板 [4]。

          近年来，随着深度学习的流行，多数步态识别的技术都转到这个方向上，借助于深度学习的预测能力强这一特性，步态识别也获得了显著的性能提升。采用的提升技巧要么是通过增广步态数据集的数量，如改成逐对匹配来增加 [5]，要么通过隐空间来变换步态的角度空间来改进跨视角识别性能 [3]。或者利用步态的多尺度性质，将头、躯干、脚进行分阶段处理，要么将不同角度、不同穿着、不同背景的步态看成一个集合 [6]。这些技巧都将步态识别在公用数据集的性能提高了接近实用级的水平（识别率大于95%）。

         值得指出的是，在实际环境中，步态识别的难度要远大于人脸和其他生物认证的识别，原因在于它的识别依赖于比较多的前处理过程，如前背景分离、阴影去除、行人跟踪和轮廓提取，甚至摄像机的角度等等。因此，步态识别要真正进入实用级，是一个系统工程。它可能不是学校科研机构能独立完成的。需要注意的是，在其它生物认证手段失效时，也不见得一定要优先考虑步态这样一个更难的生物特征来追踪行人和实现行人身份的鉴别。有的时候给待鉴别的行人喷上一些不容易擦掉、带荧光的油漆，会更简单，性价比也会更高得一些。

 二、步态的其他功能

除了身份识别，步态还有哪些未被注意的马尾巴的功能呢？这需要我们把步态的定义先做一个拓展，即定义为智能体的外在姿态的变化趋势。事实上，我们研究的步态与身份的关系，本身就不是只关注双脚的走路形态变化，而是全身的运动变化。

基于这一点，步态有许多衍生的功能有待挖掘。首先，从认知的角度来看，人的外在轮廓是熟人之间最容易在远距离情况下就能准确识别的。而这一能力，有可能与智能体的进化有关，即必须优先从远距离识别出危险的捕食者，才可能保证种族的繁衍。试想，一只豹子悄悄从草丛中走过来，如果人类需要先识别其身上的各种细节如皮肤的纹理才能断定是否有危险，可能早就在进化中被淘汰了。因此，只能具备对外在姿态识别能力的物种才能延续。这一点在人以外的智能体中应该不难找到相应的例子。从这个角度来看，研究轮廓或步态的快速识别能力，也许有助于未来智能体的设计。

图5 豹子及纹理

其次，步态能在一定程度上反映人的健康状况。对于我国来说，心血管病引发的死亡率要高于肿瘤及其他疾病，位居首位。但通常来说，心血管病发生时会导致步态的异常。因此，如果能检测出这种步态异常，也许我们就可以赢得更多的抢救时间，比如将国内心脑血管疾病患者的平均死亡人数从30秒一例延迟到40秒一例。考虑到人口基数，这相当于可以挽救为数不少人的生命。除此以外，在马拉松比赛中，偶尔会有跑半程马拉松或10公里出现危险状况的跑步爱好者。而他们在出现危险状况前，事实上步态会提前出现了变形。因此，检测这类步态异常同样可以提高抢救的成功性。

另外，步态分析对运动姿态的纠正也有重要的功能。比如短跑、中长距离的跑姿、脚着地方式都有着很多讲究。专业运动员和业余爱好者由于天赋上的差异，跑姿也并不相同。因此，如果能设计相应的软件帮助专业选手和业余爱好者科学分析步态，提高竞技水平，也是步态研究的重要功能之一。

 不仅如此，步态还能反映智能体的情绪，帮助智能体相互理解情绪。以宠物狗为例，狗在自信的时候，尾巴一般是向上翘的，而当犯了错或见到让它害怕的狗时，则会收起自己的尾巴。这种现象在其他智能体也能见到。比如日本曾经有个综艺节目，讲的是猫头鹰的形态变化 。当其见到比它弱小的动物如小鸟时，它会张开自己的翅膀来变成更大的形状，而看到镜中的自我，则会无动于衷，保持同尺寸。反而当看到有它的捕食者、鹰经过时，它马上会侧身，将脸部和全身都缩成像瘦瘦的树枝。这种放大与缩小的变化反映了智能体的情绪变化，以及保护自己的本能性行为。无独有偶，人类也是如此，比如参加田径比赛的运动员或足球运动员，当取得胜利时，会伸开双臂在跑道和操场上奔跑，这或多或少就是通过放大自己的步态来表达开心的情绪。另外，养狗的应该都有经验，狗能从主人的姿态表现分析出主人是否开心和生所。这表明不同物种的智能体之间能够通过外在形态的分析估计智能体的情绪，也说明外在形态比语言具有更好的跨物种情绪交流能力。这些外在情绪的表达和共享，在Emory大学的灵长类动物学家Frans De Waal所著的《Mama’s Last Hug》一书中有过详细的分析 [7]。

图6 狗的情绪表达与姿态

图7 猫头鹰的情绪表达与姿态

图8 人的情绪表达与姿态 (博尔特)

当然，步态还有很多马尾巴的功能，比如年龄的估计、关节病理及心理疾病引发的步态异常分析等等，这里就不一一赘述了。也许还有更多我们还未知的“马尾巴功能”，需要科研人员们做深度挖掘和发现。

张军平

2019年11月11日

参考文献：

[1]. Junping Zhang, Jian Pu, Changyou Chen, Rudolf Fleischer, "Low-resolution Gait Recognition,"IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, vol. 40, no. 4, pp. 986-996, 2010.

[2]. Changyou Chen, Junping Zhang, Rudolf Fleischer, ''Distance Approximating Dimension Reduction of Riemannian Manifolds'', IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, vol. 40, no. 1, pp. 208-217, 2010.

[3]. Yiwei He, Junping Zhang, Hongming Shan, Liang Wang. "Multi-task GANs for View-Specific Feature Learning in Gait Recognition," IEEE Transactions on Information Forensics and Security, vol.14, no. 1, pp.102-113, 2019.

[4]. Chen Wang, Junping Zhang, Liang Wang, Jian Pu, Xiaoru Yuan, "Human Identification Using Temporal Information Preserving Gait Template," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 34, no. 11, pp. 2164-2176, 2012.

[5]. Yuqi Zhang, Yongzhen Huang, Shiqi Yu, Liang Wang, “Cross-view Gait Recognition by Discriminative Feature Learning,” IEEE Transactions on Image Processing, 2019. 10.1109/TIP.2019.2926208

[6]. Hanqing Chao, Yiwei He, Junping Zhang, Jianfeng Feng, “Gaitset: Regarding gait as a set for cross-view gait recognition,” in Proc. AAAI, 2019. pp. 8126-8133.

[7]. Frans De Waal. Mama's Last Hug: Animal Emotions and What They Tell Us about Ourselves. W. W. Norton & Company, March, 2019.

说明：部分用图来自网络

张军平，复旦大学计算机科学技术学院，教授、博士生导师，中国自动化学会混合智能专委会副主任。主要研究方向包括人工智能、机器学习、图像处理、生物认证及智能交通。至今发表论文近100篇，其中IEEE Transactions系列20篇，包括IEEE TPAMI, TNNLS, ToC, TITS, TAC, TIP等。学术谷歌引用近3400次，ESI高被引一篇，H指数29.

出版科普著作《爱犯错的智能体》，曾连续24次推荐至科学网头条，曾五次进入京东科普读物新书榜前三名。关于人工智能发展趋势的观点曾被《国家治理》周刊、《瞭望》、《科技日报》、《中国科学报》等媒体多次报道。