典型智能博弈系统技术分析及指控系统智能化发展展望

李宪港, 李强

【摘要】 在智能化时代，战场数据海量异构，无人平台被广泛运用，作战空间由物理域、信息域向认知域加速拓展，对指挥控制的精确性、时效性、有效性提出了更高的要求，指挥与控制智能化为大势所趋。在对典型外军智能化指挥控制系统分析的基础上，梳理了机器博弈技术的发展历程，分析了机器博弈技术应用于智能指挥控制系统面临的挑战，提出了未来指挥控制智能化在对抗训练、战法创新以及指控系统架构设计与实现等方面的设想，以期为未来指挥与控制系统的发展提供借鉴与启示。

关键词   机器博弈  ;  指挥与控制  ;  指挥对抗  ;  筹划-准备-执行-评估环  ;  平行智能    

引用格式 李宪港, 李强.典型智能博弈系统技术分析及指控系统智能化发展展望. 智能科学与技术学报[J], 2020, 2(1):  36-42 doi:10.11959/j.issn.2096-6652.202004

Technical analysis of typical intelligent game system and development prospect of intelligent command and control system

LI Xiangang, LI Qiang 

Abstract  In the future era of intelligence,the massive and heterogeneous battlefield data and the widespread use of unmanned platforms will accelerate the expansion of the combat space from the physical and information domains to the cognitive domains,which will put forward higher requirements for the accuracy,timeliness and effectiveness of command and control,and the intelligence of command and control will become the general trend.Based on the analysis of typical foreign intelligent command and control system,the machine game technology development course was clarified,the challenge of applying machine game technology to intelligent command and control system was analyzed,the future intelligent command and control in combat training,operational innovation and prospective of system architecture and implementation was put forward,so as to provide reference and enlightenment for the future development of command and control system.

Keywords：  machine game,command and control ;  command confrontation ;  planning-readiness-execution-assessment loop ;  parallel intelligence  

Citation LI Xiangang.Technical analysis of typical intelligent game system and development prospect of intelligent command and control system. Chinese Journal of Intelligent Science and Technology[J], 2020, 2(1):  36-42 doi:10.11959/j.issn.2096-6652.202004

1 引言

指挥与控制是战争运用的重要手段之一，它随战争的产生而诞生，必将随战争形态的变化而不断变化。在冷兵器、热兵器时代，参战兵力少、战场空间小、作战节奏慢，指挥控制主要依靠人工计算和经验决策。在信息化战争时代，战场环境日益复杂，在军事需求和信息技术双轮驱动下，计算机辅助决策应运而生。在未来智能化时代，战场数据呈现海量形态，无人平台被广泛运用，作战空间由物理域、信息域向认知域加速拓展，对指挥控制的精确性、时效性、实用性提出了更高的要求，指挥与控制智能化成为大势所趋。本文将在分析典型外军智能化指挥控制系统的基础上，通过剖析系统背后可能的支撑技术，分析技术应用面临的挑战，提出指挥与控制智能化的设想与展望，以期为未来指挥与控制的发展提供借鉴与启示。

2 典型外军智能化指挥控制系统

近年来，美国积极推进指挥与控制智能化发展，先后启动了“深绿”、空战模拟系统、指挥官虚拟参谋、自动规划框架等项目，它们通常都以缩短观察-判断-决策-行动（observe-orient-decide-act， OODA）循环时间为发展目标。

（1）“深绿”系统

受计算机软件“深蓝”战胜国际象棋棋王卡斯帕罗夫的启发，美国国防部高级研究计划局（Defense Advanced Research Projects Agency， DARPA）于2007年启动“深绿计划”，旨在开发“从数据到评估再到决策”的自主辅助决策系统，通过计算机模拟仿真，预测战场的瞬息变化，帮助指挥员提前思考，判断是否需要调整计划，并将指挥官注意力集中在决策选择而非方案细节敲定上^[1]。“深绿”系统主体由 3 部分组成，其中，“指挥官助理”提供智能化人机接口，支持用户以草图或语音的方式快速制定方案；“闪电战”是计算推演模块，主要对未来的多种可能进行快速多轨计算推演；“水晶球”是决策生成模块，主要用于收集各种计划方案，更新战场当前态势，向指挥员提出优先选项。从技术实现上来看，“深绿”采取的核心技术类似“深蓝”，主要基于实时态势的动态计算推演，通过辨识未来态势发展的潜在关键节点，预测未来态势发展变化，并对作战方案排序提供建议。虽然“深绿”项目在验收时只保留了成熟的“草图到计划”模块，其他项目均被终止，但其通过智能算法解决战争这一复杂巨系统的实践探索值得高度重视和思考。

（2）指挥官虚拟参谋

指挥官虚拟参谋（commander’s virtual staff， CVS）是美国陆军通信电子研究、开发与工程中心于2015年着手规划，并于2016年启动的项目。该项目借鉴苹果语音助手 Siri、IBM 公司的“沃森（Watson）”、谷歌公司的“即时（Now）”等产品理念，旨在综合运用人工智能技术，应对海量数据源及复杂战场态势，为制定战术决策提供从规划、准备、执行到行动回顾全过程的决策支持，解决营级以下指挥员面临的分析资源和参谋人员短缺问题。该项目主要规划了如下8类能力^[2]。

• 指挥员专用工具：为指挥员提供不受位置限制使用的手持指挥工具。

• 基于工作流的协作：支持指挥员和参谋制定和共享作战数据资源。

• 数据汇聚：面向任务需求获取并融合指挥数据。

• 集成敏捷规划：进行战争设计、方案制定、作战推演，并支持人机协作。

• 评估：基于当前、未来及替代方案等，向指挥员持续提供在线评估。

• 预测：基于态势数据和当前计划，识别和推理态势的演变，生成具有一定置信度的未来态势图。

• 建议：基于特定领域知识自动生成建议、置信度评价及替代方案。

• 机器学习和用户配置持续改进：持续改进系统以更好地支持用户偏好。

CVS 项目的技术实现原理和实际应用效果尚未公布，但其中包括的智能人机交互、数据分析挖掘、方案推演评估、战场态势预判等功能表明：美军在指挥控制智能化上已迈出实质性步伐。

（3）Alpha AI空战模拟系统

2016 年 6 月，美国辛辛那提大学与美国空军研究实验室合作开发的Alpha AI机器飞行员在空战模拟仿真器上完胜著名空军战术教官吉恩•李上校。在这场人机对抗比赛中，Alpha AI作为红队拥有4架战斗机，与之对抗的蓝队由人类飞行员控制的2架战斗机组成。蓝队有预警机支持，且在导弹数量和质量上占优，红方则凭借默契配合和超过人类250倍的战术调整速度获胜。Alpha AI的核心技术是遗传模糊树（genetic fuzzy tree）^[3]，在与人类飞行员的较量中，运用遗传算法学习训练新的战术规则并不断进行优化淘汰，运用模糊推理技术形成类人的模糊逻辑思维能力，可生成在超视距空战中主动攻击、机动规避等攻防状态下的飞机航路规划、导弹攻击、武器选择等战术策略。Alpha AI可同时躲避数十枚导弹并对多目标进行攻击，还能协调队友、观察学习敌人的战术，但其硬件成本只是售价500美元的普通个人计算机。

从应用角度分析，Alpha AI是人工智能在战术级空战指挥领域应用的重要突破，未来不仅可以用于训练人类飞行员，甚至可在极端条件下接管无人机的行动控制。

（4）其他典型项目

2017 年，美国陆军开发了适应性项目框架（adaptive project framework，APF）原型，旨在帮助指挥官和参谋人员分析军事决策过程，评估机动、后勤、火力、情报及其他作战行动，加快作战规划和指令发布速度。APF 是一个自动化工作流系统，在任务规划相关的标准图形和地图中嵌入了实时数据、条令数据，为军事行动提供通用的参照系。

2017年，DARPA启动“终身学习机器（lifelong learning machines，L2M）”项目，旨在发展下一代机器学习技术，使其具备从环境中不断学习并总结出一般性知识的能力。L2M项目主要包括2项内容：一是研究可以持续从以往经验中学习并将所学知识应用于新情况的机器学习机制，不断扩展自身能力并提高可靠性；二是研究生物智能的学习机制，重点关注生物如何学习并获得自适应能力，同时研究生物学习原理能否应用于机器学习系统以及如何应用等问题。

2018 年，DARPA 发布“罗盘（collection and monitoring via planning for active situational scenarios，COMPASS）”项目公告，旨在通过衡量对手对各种刺激手段的反应，帮助战区联合作战司令部指挥官识别对手的真正意图并进行正确高效的决策。罗盘项目有3个技术领域的目标：一是掌握对手长期意图和策略；二是为战术和动态作战环境提供短期态势感知；三是为指挥员建立可视化、智能化工具箱。

纵览典型外军智能化指挥控制系统的发展，无论是“深绿”还是指挥官虚拟参谋，都用到了大量与机器博弈相关的技术与模型算法。为此，笔者从机器博弈技术的发展历程进行审视，为指挥与控制智能化发展探索技术路径。

3 机器博弈技术的发展历程

近代机器博弈的研究始于20世纪50年代，部分机构针对控制论先驱——香农曾提出的象棋博弈的编程方案开展了相关尝试^[4]。随着计算机硬软件性能的不断提升，近年来，机器博弈领域先后取得了一系列重大突破。

（1）围棋：完整信息、高复杂度博弈

围棋的复杂程度远高于国际象棋，用传统极大极小算法难以在有限的时间内穷尽所有的落子状态，因此一度被认为是人类智力游戏的皇冠。2016—2017年，谷歌公司的AlphaGo和AlphaMaster先后横扫人类顶尖围棋选手。2017年10月，AlphaZero更是在无先验知识的情况下，在 40 天内“左右互博”下了490万局棋，以100:0击败AlphaGo，成为第三次人工智能浪潮兴起的标志性事件。AlphaGo的技术突破得益于深度学习算法的应用，决策过程大致可分3步^[5]。一是通过学习专家棋谱，构建有监督学习策略网络（supervised learning policy network），以此为基础，采用强化学习算法进行自我博弈，进化形成增强学习策略网络（reinforcement learning policy network），输出棋盘落子概率，模拟人类的落子棋感。二是采用强化学习的方法进行自我博弈，形成价值网络（value network），输出当前棋面下的赢棋概率，模拟人类胜负棋感。三是采用蒙特•卡洛搜索树进行搜索验证，加权融合有监督学习策略网络、增强学习策略网络和价值网络，确定最后的落子方案，这类似于人类思考的过程。与AlphaGo相比，AlphaZero不需要进行第一步中的有监督学习，将其他步骤合并为基于蒙特•卡洛树搜索的强化学习，改进了搜索方法，降低了算法复杂度。

（2）德州扑克：不完整信息博弈

不同于棋类比赛，德州扑克是一类不完整信息博弈问题，对局各方要在牌面信息不完全公开的情况下进行决策，计算机理解实现更为复杂。2017年1 月，卡耐基梅隆大学 Claudico 的升级版—— Libratus在德州扑克比赛中轮流击败了4名人类高手，同年4月，Libratus又完胜德州扑克“中国龙之队”。学者们总结了Libratus的决策过程，主要包括赛前纳什均衡近似（Nash equilibrium approximation before competition）、残局解算（endgame solving）和持续自我强化（continual self-improvement）这3个步骤，通过综合运用强化学习、蒙特•卡洛反事实遗憾最小化等多种算法^[4]，其能以更快的速度同时在赛前和赛中学习某一手牌的战略及人类的对策。

（3）星际争霸：不完整信息、多智能体博弈

在围棋和德州扑克之后，星际争霸成为机器博弈领域下一个要攻克的堡垒。星际争霸是一款由暴雪娱乐公司发布的多角色即时策略类游戏，游戏玩家需操作兵种在地图上采集资源、生产兵力并进行对战，具有信息不完整、多角色参与等特点，与棋牌类游戏相比，复杂程度更高，技术挑战更大，对军事应用也更有研究借鉴意义。2019 年 1 月， DeepMind 和暴雪娱乐公司举办了一场网络直播，第一次公布了AlphaStar分别以2个5:0击败人类职业选手的比赛过程。AlphaStar 的成功得益于DeepMind和暴雪娱乐公司在2017年联合推出的基于星际争霸2的人工智能学习环境SC2LE，世界范围内的众多科研团队均参与了该平台和算法的研究。AlphaStar应用多智能体学习算法，在有监督条件下进行对战训练，从而模仿高水平玩家的微观操控和宏观战术，使其一开始就击败了95%的精英电脑玩家。在对决中，AlphaStar的行为由深度神经网络生成，借助能与游戏引擎直接通信的原始界面观察态势，运用多种算法综合进行局势评估，输出构成游戏内动作的一系列指令。AlphaStar采用的神经网络架构为不完整信息下、长时间序列中的行为建模提供了有价值的参考。

机器博弈具有天然对抗特质，与战争本质类似，将机器博弈技术的最新成果迁移至作战指挥领域，应充分考量其面临的现实挑战，以期更好地为指挥与控制智能化发展提供预判。

4 机器博弈技术应用于智能指挥与控制面临的挑战

相比人工智能曾经击败的国际象棋和围棋项目，星际争霸涉及战法谋划、摆兵布阵、资源采集、视角移动等更多的小型任务，致胜机理与现实战争更为相近。但将现有机器博弈技术应用于军事领域指挥和控制，仍然具有很多技术上的挑战，主要原因是与游戏相比，战争指挥在智能算法实现条件上具有以下突出特点。

（1）战场环境具有不透明性

国际象棋、围棋是典型的完整信息条件下的博弈游戏，对垒双方全部掌握局面状态；德州扑克属于不完整信息对弈游戏，但未公开的牌面信息只可能发生在一定概率区间内，多轮博弈后可根据概率判断。星际争霸游戏虽然设置了“战场迷雾”，双方位置部署及发展策略初期均不可见，但一旦己方有一个单位运动到指定地域，那么该地区敌方的所有部署均一目了然。而在实际作战中，受战场环境、构工伪装和侦察能力等因素的制约，“战场迷雾”在物理作战域仍客观而广泛存在，在网络空间等新型作战域甚至有愈演愈烈的趋势。这种战争信息的不确定性，给基于先验知识推理未知领域构建类似 AlphaGo 的深度策略网络，带来了极大的困难。

（2）局面状态具有高复杂性

围棋、国际象棋和德州扑克等棋牌类游戏的局面复杂度虽有不同，但均是一个有限集合。星际争霸游戏中，作战单元数量有上限，每个单元都存在一些复杂的内在状态，且可能存在于地图上的任何像素点上，这使得星际争霸游戏需要处理的状态空间和动作序列非常大，但使用现有算法和算力仍可解决。而在军事行动中，战场空间多维、参战兵力多元、作战方式多样、对抗关系动态，呈现出开放的复杂巨系统特征，这不仅在算法层面上对如何进行更优颗粒度的战争抽象建模提出了挑战，而且对现有人工智能芯片的运算能力提出了更高的要求。

（3）对抗目标呈现非零和性

机器博弈所攻克的棋牌类乃至电子竞技类游戏，都是一种典型的零和博弈游戏，即对于参与博弈的各方，在严格竞争下，一方的收益必然意味着另一方的损失，博弈各方的收益和损失相加永远为零，双方不存在合作的可能。随着全球一体化的发展和战争毁伤度的提高，在现代战场上，必须要根据战略总体目标、地缘政治环境和国际国内大局等因素，综合研判作战目标和结束时间点，以达成收益最大化。作战活动既有可能在政治、民生、经济等某一个层面达成“双赢”，也有可能在双方均无力开展下一阶段行动时出现“双输”的局面。这种结束条件的复杂性和非零和特征，使得无法使用一个单一的类似于AlphaGo的“赢棋概率”指标来评价行为选择，价值网络的构建必须综合考虑政治、经济、民生等多项指标。

（4）行动进程具有强动态性

传统棋牌类游戏是一种轮次博弈，在对手做出决策前己方不能有任何动作，此时局面状态是静态的，这就为使用人工智能算法构建策略网络，输出当前局面下的棋盘落子概率提供了数据基础和时间保障。星际争霸游戏类似于战争，局面状态连续演进，双方可以同时进行操作，从本质上来说， AlphaStar 将局面状态根据时间片段进行了细化分割，再使用类似围棋的解决方法。战争与星际争霸都具有非轮次博弈的属性，从实现原理上来说，使用时间离散的方法对局面进行分段静态化是可行的，但与此同时，“战场是一个不确定性王国”，战场上每时每刻都充斥着兵力兵器的此消彼长，发生各类应急突发情况，使用时间离散序列的方式进行战场抽象建模和策略网络构建，必将面临“时间太细则复杂度剧增、时间太粗则抽象模拟不够真实”的问题。

（5）行为规则具有不确定性

棋牌类游戏的规则是一致、清晰且公平的，落子或出牌策略遵循共同的游戏规则。星际争霸游戏双方前期经济总量一致，所处生存环境非常公平。而在现实战争中，敌对双方经济总量、科技发展水平和军事力量总有强弱之别，战争进程和战局变化很大程度上取决于经济耐受程度和国民经济动员能力。出奇制胜的作战样式和另辟蹊径的作战思维不仅为各方所允许，甚至是各方推崇追寻的目标。这种规则不对等、动态变化的特征，使得建立一个通用的算法来解决战争问题具有了更大的不确定性。

5 指挥与控制智能化发展展望

2019年9月，美军提出了重塑竞争力的“马赛克战”概念^[6]。试图打造一个由先进计算传感器、多样化集群、作战人员和决策者等组成的具有高度适应能力的弹性杀伤网络，将观察、判断、决策、行动等阶段分解为不同力量结构要素，以要素的自我聚合和快速分解的无限多种可能性来降低己方脆弱性，并使对手面临的问题复杂化，从而制造新的“战争迷雾”。这一理念汇集了作战云基础设施、多域指挥与控制、忠诚僚机等多个概念，体现了美军应对大国博弈的最新作战理念与思想。指挥与控制系统的智能化发展可充分借鉴美军作战理念思想、智能化指控系统发展和机器博弈技术应用，从对抗训练、战法创新、指控系统架构设计与实现等方面抢占人工智能军事应用新高地。

（1）通过人机博弈对抗提高作战训练水平

从人工智能的发展历程可见，计算机只能学习人类知识，而人类无需向机器学习的情况已然发生改变。一方面，可通过建立类似于星际争霸、魔兽世界等军事即时战略游戏的方式，训练指挥员的思维能力。由人类提出我方战法、机器基于预先建立的战法规则库设计敌方战法，进行人机博弈式推演，同一战法可推演多个轮次，不断优化完善行动方案，以持续的人机博弈对抗提升指挥员战场大局观。另一方面，可通过虚拟现实（virtual reality， VR）、增强现实（augmented reality，AR）、混合现实（mixed reality，MR）等技术，训练士兵的战术素养。让士兵沉浸式融入作战场景，不断面对战场中可能发生的爆炸、社情、武器操控等情况，以期增强士兵的战场经验知识和操控技能体验，从而不断提高实际临战反应。

（2）通过自我博弈对抗生成创新战法

作战谋略与战法运用自古以来都是指挥员智慧和经验的集中展现。AlphaZero 在没有先验知识的情况下进行自我博弈，进而下出令人类棋手无法想象的一招。Alpha AI战胜空军著名教官，既得益于其指挥速度（从感知到决策不到1 ms），更受益于机器学习生成的新式战术策略。借鉴此类技术，指挥员可在局部感知战场态势的不完整信息条件下，综合运用模糊推理、生成对抗网络等让机器进行自我博弈对打，对所有可能战法开展计算推演与价值评判，从中寻找稳中求胜的“好招”、险中求胜的“奇招”和意料之外的“妙招”，克服了传统思维定势导致的战法运用局限性问题，大大提高了战场想象力。

（3）通过平行智能构建未来指控架构体系

将机器博弈相关技术应用于平台级指挥控制已得到初步实验验证，应用于体系层级还需要研究指挥对抗活动的机理改变。参考文献[7]分析了指挥对抗活动从作战平台上升到体系层可能面临的物理域上的规模尺度变化、信息域上的障碍与“迷雾”以及认知域上的理解偏差和决策冲突等深层机理变化，提出了体系层指挥对抗的筹划-准备-执行-评估（planning readiness execution assessment，PREA）环对策思路，其核心思想是以平行智能为基础，以决策为核心，以各层级PREA环的嵌套稳定运行推动每个任务周期内执行效果持续正向累积，最终达到塑造态势的任务目标^[8]。这种思路为经典OODA环的“以快制胜”机理在体系层级赋予了新的内涵，也为日益复杂、多样、不确定的战场指挥与控制系统的发展提供了体系架构层面的借鉴，在对抗机理上与美军的“马赛克战”概念一致，即接受不那么完美的解决方案、强调各个环节和要素的协调高效运行、突出效果的累积等。同时，在此体系架构下，可持续开展态势认知、辅助决策、协同控制等具体阶段的任务设计与实现。

（4）通过计算推演提高战场态势认知水平

态势认知是指挥控制活动从信息域向认知域跨越的重要标志，也是后续智能决策或自主控制的重要前提。从字面理解，态势可分为“态”（即当前状态）和“势”（即未来形势）2个方面。一方面，可运用模式识别技术和深度学习算法为机器建立视觉的智能，处理从战场传感器中获取的声音、视频和文本等传感数据，从中抽取隐藏的有用特征，并将其进行特征分类和可视化呈现，生成敌我战场态势图。另一方面，基于战场环境多元和信息不完整等情况，可综合AlphaStar和Libratus的优势，借鉴应用并改进多智能体学习和增强学习等算法，根据当前态势计算推演并预测未来态势，为指挥决策提供参考。

（5）通过人机混合智能提升辅助决策分析能力

现代战争多元参与、多域展开等特点愈发明显，而决策是指挥控制和克敌制胜的关键，使用人机混合智能提升决策水平已成大势所趋。一方面可优先生成行动方案。借鉴AlphaGo模式，构建策略网络和价值网络，分别输出后续行动方案的概率分布和价值估值，运用搜索树算法进行搜索验证，实现多种作战计划的优选优化和滚动迭代，辅助指挥员定下战斗发起时机，选择重要作战方向，进行任务编组分配等。另一方面可提出临机处置建议。AlphaGo 的快速走子模型将 13 层卷积神经网络简化为2层神经网络，走子速度比有监督的学习策略网络模式快出1 000多倍^[9]，因此较适用于解决战争这类不确定性大的复杂系统问题，可借鉴类似思路在战场环境突然改变时为指挥员临机决策处置提供优选方案建议。

（6）通过有人/无人协同强化武器平台智能控制

当前，随着武器装备自主智能水平的提高，蜂群、鱼群、蚁群等无人集群系统逐渐进入战场，有人/无人集群系统的协同行动控制问题日益成为关注重点。一方面，对于小规模有人/无人平台来说，可参考类似AlphaStar多智能体建模方法，基于战场态势、交战规则和业务逻辑等，对无人平台进行分布式行动规划与调度，通过对行为控制的反馈调节，实现人机功能的动态分配和控制权限的动态调节；另一方面，对于大规模有人/无人集群控制来说，可考虑通过Petri网信息流图智能生成各行动单元的具体任务及规则，采用战场语义解析与一体化智能动态编排，实现人-人、人-机的行为理解和自适应动态规划控制。

6 结束语

本文对典型外军智能化指挥控制系统进行了分析，梳理了机器博弈技术的发展历程，分析了机器博弈技术应用于智能指挥控制面临的挑战，提出了指挥控制智能化在对抗训练、战法创新以及指控系统架构设计与实现等方面的发展设想，尤其在体系层指挥控制系统架构设计上与美军“马赛克战”概念进行了分析比对，为后续发展提供了借鉴与启示。

作者简介

李宪港（1983-），陆军研究院科技创新中心工程师，主要研究方向为科技信息、指挥与控制等 。

李强（1979-），在站博士后，陆军研究院科技创新中心高级工程师，主要研究方向为平行指挥与控制、平行情报、未来网络信息与电子技术等  E-mail：dr_liqiang1979@163.com。