综述荐读 | 机器学习的验证和确认以及汽车行业的挑战和启发

小编导读

机器学习在自动驾驶中扮演着越来越重要的角色，然而，它是否足够安全仍然存在争议。ISO 26262道路车辆功能安全标准为确保安全提供了一套全面的要求，但是ISO 26262的设计并没有考虑到机器学习这样的技术，这就造成了创新和提高安全性之间的矛盾。

来自瑞典RISE研究院的Markus Borg教授团队以及来自瑞典Blekinge理工大学的Krzysztof Wnuk教授等人在期刊Journal of Automotive Software Engineering（JASE）上发表了题为“Safely Entering the Deep: A Review of Verification and Validation for Machine Learning and a Challenge Elicitation in the Automotive Industry”的文章，回顾了依赖机器学习的安全关键系统的验证和确认的最新技术。 此外，还从有关DNN的研讨会系列中向瑞典的汽车专家报告了这一观点，证实了ISO 26262在很大程度上违背了DNN的本质。 并且建议从航空航天到汽车行业的知识转移和基于系统的安全方法，例如安全笼架构和模拟系统测试用例。

内容提要

1. 引言

ISO 26262 是规范道路车辆功能安全的标准。它建议使用危害分析和风险评估(HARA)方法来识别系统中的危险事件，并指定减轻危害的安全目标。

机器学习（ML）是指对数据基本规则的自动学习，包括对样本输入数据的训练算法，以优化其在特定任务上的性能，从而使机器获得新的能力。M在汽车行业，L是不可避免的趋势。由于神经网络类的应用结构与人脑类似，即从不同层次提取抽象特征并做出最佳图像识别，因此，在汽车行业ML是不可避免的趋势。深度学习（DL）是ML的一个分支，主要处理多层次神经网络，直到通过计算能力的提升和大数据的出现开启其潜力。

作为自动驾驶的一项使能技术，深度学习神经网络（DNN）将成为汽车软件工程的基石。使用DNN的汽车软件解决方案是一个热门话题，几乎每周都有新的研究进展报告。同样，在学术领域，一些研究团体也从各种角度研究了汽车领域的DNN，例如，应用机器学习（ML）、软件工程、安全工程、以及验证与确认（V＆V）。

DNN可被用于车辆环境感知，即感知周围交通中的元素。成功的感知包括车道偏离检测、路径/轨迹规划、车辆跟踪、行为分析和场景理解之类的自主功能。各种各样的传感器已经被用来从环境中收集输入数据，但是最常见的方法是依靠前置摄像头。近年来，DNN已经证明了其在对此类摄像机数据进行分类中的有效性。

但是，从ISO 26262安全保证的角度来看，与传统系统相比，基于DNN的开发系统构成了主要的范式转变。特斯拉AI主管Andrej Karpathy大胆地将新时代称为“软件2.0”。人类工程师不再用源代码明确描述所有系统行为，而是使用大量的历史数据来训练DNN。

据报道，DNN可为特定任务提供超越人类水平的分类准确性，当然不可避免地是它们有时也会无法概括。不幸的是，从安全的角度来看，由于DNN的黑盒特性，目前尚无法分析何时可能发生这种情况。最新的DNN可能包含数亿个参数权重，因此DNN组件的V＆V方法必须与人类可读源代码的方法不同。此时ISO 26262强制执行的技术（例如源代码审阅和详尽的覆盖率测试）标准就不再适用了。

这篇综述论文的贡献包括两个层面。首先，文章描述了依赖ML的安全关键系统的V＆V最新技术。通过对学术文献进行调查，部分是通过可复制的Snowballing评论进行的，也就是说，通过跟踪参考文献和被引用的文献来建立文学体系。其次，在汽车领域中设计对安全至关重要的DNN组件时，我们提出了最紧迫的挑战。我们在与汽车专家的研讨会中进行了汇报，并通过行业调查验证了文献调研的结果。

文章的第二部分介绍了汽车领域内的安全工程概念，并介绍了DNN的基础；第三部分介绍了建议的研究方法，包括四个经验证据来源；第部分报告了我们的一些发现；第五部分介绍了针对我们两个目标的综合，并讨论了对研究和实践的启示。最后，第六部分总结了论文并概述了未来最有希望的研究方向。

2. 研究背景

本节首先介绍了根据ISO 26262标准开发的安全关键软件。其次，我们介绍了DNN的基础知识，并且了解DNN如何使车辆感知。在本文的其余部分，我们遵循了对系统安全性至关重要的以下三个定义：

• 安全性是“免于遭受不可接受的人身伤害或损害人身健康的风险”；

• 稳健性是“在无效输入或压力环境条件下，组件可以正常运行的程度”；

• 可靠性是“组件在指定的环境中以期望的置信度在期望的时间段内执行其所需功能而不发生故障的概率”。

汽车领域的安全工程标准：ISO 26262

安全不是可以在设计结束时添加的属性。相反，它必须是整个工程过程的组成部分。为了成功设计安全系统，需要系统的安全分析和方法论方法来管理风险。安全分析包括危险识别、消除危险或减轻其后果的方法的开发，以及验证方法已在系统中使用。风险评估用于确定系统的安全性，并分析替代方法以降低系统中的风险。

  感知的深度学习：方法和挑战

毫无疑问，该技术通过在过去十年中巧妙地利用增加的处理能力，已在各个领域取得了突破性的成果，如今结合GPU中不断增长的数据处理能力，各种智能化的汽车功能都将依赖于深度学习。

 最后，DNN的成功应用依赖于可从中学习特征的大型标记数据集的可用性。在许多情况下，此类标签是受限制的或根本不存在。为了最大化标记数据的实用性，这对于任何基于ML的工程系统来说都是真正的硬通货，诸如转移学习之类的技术可用于使从一个数据集学习到的知识适应于另一领域。

3. 研究方法

SMILE项目的总体目标是开发基于ML的系统的V＆V方法，尤其是依赖DNN的汽车应用程序。

我们当前的论文以两个研究问题为指导：

  RQ1基于ML的安全关键系统的V＆V最新技术是什么？

  RQ2在汽车领域使用DNN组件设计安全关键型系统时，主要挑战是什么？

图1 SMILE项目及其三个里程碑的概述。该图说明了SMILE的联合行业/学术性质，由学术界驱动的任务以浅灰色背景表示，而从业者进行的任务以深灰色表示。

图1显示了研究概况，分为三个连续部分（P1-P3），每个部分均以Milestone（I–III）结尾。在图1中，由学术界（或研究机构）驱动的任务显示在浅灰色区域中——主要针对RQ1。上面较暗的灰色区域中的任务主要用于根据RQ2收集数据，并且主要涉及行业从业人员。最暗的灰色区域表示积极从事安全关键型开发但不是SMILE项目一部分的从业人员。

在项目的第一部分（图1中的P1），我们启动了对学术文献的系统性Snowballing评论，以绘制最新技术。同时，我们与行业领域的专家组织了一个研讨会系列以评估瑞典汽车行业的现状。从项目定义阶段（a）的讨论中获得了文学评论。后来，我们在＃4（b）研讨会上分享了文学评论的中间发现，最后的结果在＃6（c）研讨会上进行了讨论。该项目的第一部分总结为Milestone I：行业观点的集合。

SMILE项目的第二部分（图1中的P2）涉及对已识别文献的分析（d）。我们从文献中提取了挑战和解决方案的建议，并根据过程中归纳出的结构对它们进行了分类（请参阅第3.1节）。随后，我们创建了一个基于问卷的调查，以验证我们的发现并从SMILE（e）之外的行业从业人员获得意见。第二阶段以分析Milestone II的调查数据结束。

在项目的第三部分（图1中的P3），我们收集了所有结果（f），并进行了综合（g）。最后，撰写这篇文章总结了Milestone III的研究成果。

图2从证据的角度看SMILE项目概述。我们将证据分为四个不同的组：A.相关工作和C.Snowballing文献代表次要证据，而B.研讨会发现和D.调查答复构成主要证据。

1. 系统评价

受循证医学的启发，系统的文献综述已经成为一种常用的软件工程研究方法，可以集中研究领域内的工作。Snowballing文献评论是依赖于经过精心开发的搜索字符串的传统数据库搜素的替代方法，尤其适用于该地区使用术语多种多样的情况，例如在新研究主题的早期阶段。本节介绍了文献综述的两个阶段：论文选择；数据提取和分析。

2. 问卷调查

为了验证Snowballing文献的发现（参见图2中的C.），我们设计了一个基于Web的调查表，以调查安全关键领域的从业人员。此外，在SMILE项目之外，与其他从业人员进行接触，使我们能够在其他对安全至关重要的环境中收集与基于ML的系统有关的挑战的更多见解（参见图2中的D.）。此外，我们通过调查使从业人员对学术文献中报告的挑战的重要性以及已发布的解决方案建议的可行性进行了评估。

4. 结果与讨论

本部分根据图2中提供的证据透视图进行组织：A.相关工作，B.研讨会发现，C.Snowballing文献，和D. 调查答复。如第3节所述，A.和B.着重于产业相关性，而C.和D.着重于学术上的严格性。

（1）相关工作

相关工作部分（参见图2中的A.）提供了在SMILE项目期间确定的文献的概述。尽早选择了十四篇论文作为第3.1节中所述（独立的）Snowballing文献综述的种子。在本节中，我们首先描述开始集[P1] – [P14]，然后描述由SMILE成员或手稿的匿名审阅者随后识别的论文，但不通过Snowballing的过程（因为它们是分别报告的）在第4.3节中）。

（2）Workshop 系列

在与行业合作伙伴进行的六次研讨会中（参见图1中的＃1至＃6），我们讨论了必须探索的关键问题，以实现具有DNN的安全关键型汽车系统的工程设计。研讨会期间出现了三个子区域：1）稳健性； 2）DNN组件与常规软件之间的相互作用； 3）DNN组件的V＆V方法。

（3）系统性的Snowballing

图4显示了解决方案建议类别和挑战类别之间的映射。一些论文提出了解决特定类别挑战的方案。对于每个这样的实例，我们将解决方案建议（左侧）与挑战（右侧）相连接，也就是说，连接的宽度说明了实例的数量。请注意，我们确实将解决方案提案放在其自己的“其他”类别中的（在实际操作环境中进行部署）。所提出的解决方案均未解决与“需求规范”或“系统工程”类别相关的挑战，表明存在研究空白。

图4 解决方案（左）与挑战（右）之间的映射

5. 重新思考RQs

本节首先在较大的范围内讨论RQ，然后汇总图2中显示的四个证据来源；接着我们会讨论对研究和实践的影响，包括汽车制造商和监管机构；最后总结主要威胁。表4总结了我们的发现。

表4 与研究问题有关的发现以及对研究和实践的启示。

6. 结论与未来展望

DNN是实现自动驾驶所需的车辆感知的关键。但是，DNN组件的行为传统的软件和系统工程方法无法保证。最重要的是，汽车安全标准ISO 26262的关键部分没有很好地定义来认证自治系统——某些过程要求阻碍了开发基于ML的系统的性质，尤其是与V＆V相关的性质。

如今自动驾驶时代来临，我们建议汽车工业从基于航空器系统DO-178B软件安全标准开发的基于ANN的组件的V＆V中学习指南和经验教训。特别是汽车软件开发人员需要发展配置管理和体系结构规范的实践，以涵盖基本的DNN设计元素。另外，必须增加需求规范和相应的软件测试，以解决DNN的自适应行为。最后，DNN的高度迭代开发生命周期应与用于系统开发的传统汽车V模型保持一致。NASA最近关于自适应航空系统安全认证的报告证实了需求规范和软件测试的挑战。

与我们的研究最相似的工作也起源于航空领域，即美国空军发起的一个项目，描述与自治系统安全认证有关的持久性问题（以及未来的可能性）。该项目强调了四个主要挑战：1）状态空间爆炸；2）不可预测的环境；3）紧急行为；4）人机通信。尽管没有明确讨论ML，但前两个发现满足了我们工作中提出的最紧迫的需求——学术文献强调的状态空间爆炸（结合有限的透明度）和稳健性。

在回顾了最新技术和实践之后，SMILE项目现在将着眼于解决方案。在研讨会的基础上，我们得出结论，寻求基于包含DNN组件的安全笼架构的解决方案是一个有希望的方向。我们设想的安全笼架构将连续监视来自操作环境的输入数据，以在不确定性变得太大时将执行重定向到非ML安全轨道。因此，我们提倡使用基于系统的方法而不是侧重于内部结构的技术的DNN安全策略。

最后，受研讨会和调查受访者的激励，我们提出了一种V＆V的方法，该方法大量使用了模拟——与其他研究人员先前的建议一致。

未来的工作还将研究如何使用转移学习将来自不同环境或制造商的训练数据，甚至包括来自模拟器的综合数据整合到DNN中，以实现真实的汽车感知。到目前为止，我们主要将讨论限制在基于固定DNN的系统上，即仅在部署之前进行过培训的系统。未来工作的一个明显方向是探索动态DNN将如何影响我们的发现，也就是说，DNN通过批量学习或通过在线学习持续学习来适应。此外，基于ML的系统的V＆V的研究比单纯的隔离技术要复杂得多。因此，我们认识到有必要探索与基于ML的系统的安全认证有关的道德和法律方面。最后，正在开发解决自动驾驶安全性的新汽车标准：ISO / PAS 21448道路车辆-预期功能的安全性。

原文信息

M. Borg, C. Englund, K. Wnuk, B. Duran, C. Levandowski, S. Gao, Y. Tan, H. Kaijser, H. Lönn,  J. Törnqvist，“Safely Entering the Deep: A Review of Verification and Validation for Machine Learning and a Challenge Elicitation in the Automotive Industry”, Journal of Automotive Software Engineering, 2019, 1(1), DOI: 10.2991/jase.d.190131.001.

扫描二维码，获取英文原文 

https://www.atlantis-press.com/journals/jase/125905766

作者简介

Markus Borg

Markus Borg, 瑞典RISE研究所的高级研究员、隆德大学兼职高级讲师，Swedsoft董事会成员。攻读博士学位之前，曾与ABB合作进行800xA自动化系统中IEC 61131-3语言的编辑器和编译器开发。博士毕业于隆德大学软件工程研究院。

主要研究方向是支持软件密集型系统的成功工程。研究贡献涉及挖掘历史项目数据的智慧，以促进机器学习为缺陷管理提供可行的决策支持，例如错误分配和变更影响分析。目前，Markus Borg 教授正处于从“用于软件工程的机器学习”到“用于机器学习的软件工程”的过渡，即发展软件工程实践以适应未来开发数据驱动系统时的需求。

关于期刊

Journal Automotive Software Engineering

《汽车软件工程》（Journal Automotive Software Engineering，ISSN (Online)：2589-2258）是一本国际同行评议的金色开放获取期刊，期刊由来自埃因霍芬理工大学的Yanja Dajsuren教授和Mark van den Brand教授担任共同主编。

JASE 致力于发表与传播汽车系统和软件工程领域的研究成果和综述文章。主题涵盖了该领域学术和产业等相关的重要方面，如汽车系统/软件体系结构、软件过程与质量、安全与保障、自主与协作驾驶车辆技术以及智能交通系统。此外，期刊也关注关于未来车辆（如全电动汽车、氢动力汽车和太阳能汽车）的发展和所面临的挑战。

JASE 采用金色开放获取出版模式，作者保留版权，读者可以免费下载和阅读。凡2021.12. 31前提交的文章免收文章处理费用（article processing charge），欢迎各位专家学者来稿！