由于人工智能发展过程中与日俱增的复杂性和不透明性，人类对人工智能(AI)技术的应用在很大程度上受到了阻碍。为了搭建起高性能黑盒AI模型与人类理解之间的桥梁，人们利用各种方法和工具开发出可解释的人工智能(XAI)技术。然而，目前XAI技术的应用仍然缺乏"以人为本"理念的指导，难以在实践应用中准确地设计满足不同利益相关者需求的解决方案。

浙江大学孔祥维教授团队首先通过回顾现有研究，总结出一个以人为本的需求框架，将不同利益相关者群体分为五种具备特定需求的关键角色，并总结了六种常用的以人为中心的XAI评估方法，用以评估XAI对于满足不同角色利益相关者需求的效果。此外，文章还针对视觉计算领域现有的XAI方法做了分类，对不同类方法的特性进行了分析和梳理。文章以更明确的人类需求和XAI方法特性为出发点，以医学图像诊断场景为例，概述了如何更好地应用视觉计算领域XAI方法在实践中满足利益相关者以人为中心的具体需求。文章还对开源XAI工具供利益相关者使用的可行性进行了检验。该综述为在具体应用中将不同人类需求与恰当的XAI方法或工具相匹配提供了进一步指导，并总结了在实践中实现以人为本的XAI所面临的主要挑战和未来工作。

图片来自Springer

全文下载：

Toward Human-centered XAI in Practice: A survey

Xiangwei Kong, Shujie Liu & Luhao Zhu

https://link.springer.com/article/10.1007/s11633-022-1407-3

https://www.mi-research.net/article/doi/10.1007/s11633-022-1407-3

人们对人工智能(AI)和神经网络技术的关注与日俱增，并已将AI技术应用于诸如医疗诊断、金融贷款申请、汽车自动驾驶和司法判决等多个领域。但是，使用高性能的AI技术时难以规避其模糊复杂的端到端架构带来的"黑盒"问题，无法阐明模型预测背后的基本原理。这逐渐演变成人们信任并应用AI技术的主要障碍，尤其是借助AI做出高风险决策的场景。

为了增强用户信任、促进人机协作、减少算法偏见，人们开发出可解释的人工智能(XAI)。欧盟《通用数据保护条例》(GDPR)进一步声明了用户的"解释权"，强调AI系统应满足用户的解释需求。目前，已有各种可解释方法成为填补AI模型与人类理解之间鸿沟的桥梁，还有许多可解释工具可供公众使用。从技术角度来看，现有许多研究对XAI进行了广泛总结和探讨，将XAI方法分为了不同的类别，并在各种应用领域进行了探究。

然而，此前研究者们关于XAI的研究更倾向于以技术为中心的角度来探讨可解释的方法，而对人类用户对AI解释的多样化需求关注不足。这无法满足大多数非AI专家用户的体验，大大阻碍了XAI的实际应用。与AI系统相关的人们，也称为AI利益相关者，在使用XAI系统时，绝非是一个统一的群体。他们对可解释性的诉求因目标、背景和决策场景的不同而存在很大差异。一个有效的解决方案是，在XAI技术的实际设计和选择上，以利益相关者的需求为驱动，从而以更加"以人为本"的方式指引XAI的研究和应用。

在这种思想的指导下，以人为本的XAI取得了很大进展。越来越多的研究人员聚焦于从多学科理论的角度研究以人为本的XAI和人们对解释的需求，以提升人们对AI的理解。该领域的主流研究试图挖掘不同利益相关群体的多样化用户需求，所采取的方法更加以用户为中心，重点关注用户需求，但这却可能在技术上无法找到解决方案，或在实践中受限于AI性能或数据可用性而无法操作。

因此，开始涌现更多研究探索XAI技术方法与用户对AI解释需求之间的差距，从而为设计出可落地实施的、以人为本的XAI方法提供指导。例如，Vermeire 等人为数据科学家提供了一套针对不同利益相关者的需求选择适当的解释的方法论。同样，为了给利益相关者选择更好的方法，Langer等人进一步讨论了如何满足利益相关者对解释的需求。这些最新研究为缩小可解释技术设计与用户非技术驱动的主观需求之间的差距提供了一般性理论指导，但在一些问题上关注不够，如这种理论指导在某些具体应用中是否有用。

虽然人们已经设计了针对不同应用领域的XAI方法，也研究了以人为本的需求，但对其在各个应用领域的匹配度研究，以及针对不同需求人群的XAI可用性评估仍然有限。大多数研究仍然倾向于以经验为导向来选择AI实践中的利益相关者，未能很好地将利益相关者类型和需求的理论指导应用于以人为本的XAI的研究和应用中。那些关注用户友好型XAI界面和具体应用中设计模式的研究，往往只分析其最直接的用户需求，如临床决策支持系统中的临床医生和车险审计中的保险客户。如，Dey等人探讨不同XAI方法如何满足利益相关者需求时，就仅考虑了有限的利益相关者：数据科学家、医学研究人员和临床医生。

大多数的研究结构较为分散，或提出理论上的总体指导，或讨论具体的应用经验。因此，本研究试图在具体应用场景中，将实践为导向的利益相关者分类法应用于XAI需求分析中，并为实践场景提供如何合理利用现有的XAI方法或工具满足多样化利益相关者需求的指导。

本研究试图通过综述现有文献(整个研究框架结构如图1所示)来回答以下研究问题，以填补这些研究空白，并提供更多以应用为导向、以人为本的 XAI落地应用思考。

研究问题1: 以人为本的XAI给谁解释，他们的诉求是什么？(给谁解释？) 

研究问题2: 如何评估XAI满足人类多样化需求所达到的程度？(如何评估？) 

研究问题3: 现有的XAI提供了哪些解释？(已经提供了哪些解释？) 

研究问题4: 在具体实践中，如何为利益相关者选择合适的XAI方法和工具？(在具体实践中如何选择解释内容？)

 图1 研究框架

给谁解释？如何评估？本文首先回顾了有关AI利益相关者及其对XAI需求的现有文章，发现大多数研究将利益相关者按其AI知识背景或与AI系统交互的角色进行了分类。基于知识的分类强调的是不同知识背景的用户在处理AI解释时所表现出的理解力和信任上的显著差异，而基于角色的分类框架则更适合在应用中分析人类需求，它主要源自对不同AI系统应用场景中具有不同交互方式和目标的角色识别。

本文总结了一个可应用的基于角色的需求框架，并结合每个角色的知识背景讨论，让实践者能够在AI实践中全面考虑所有利益相关者，并为研究更详细的现实需求提供进一步指导。此外，为确保XAI系统的设计能满足不同利益相关者的真实需求，研究人员需要采用以人为本的评估方法。本文从利益相关者的需求框架中提取他们的预期解释目标，使之与评估目标相一致，然后从现有的综述和研究中总结出适用于以人为本的XAI的评估方法。

已经提供了哪些解释？本文分析了视觉计算领域的不同XAI方法。视觉计算是通过计算机获取、分析并合成视觉数据的综合领域，包括计算机图形学、图像处理、3D、图像表征、可视化和用户界面等任务。考虑到当前大多数XAI方法都源于视觉计算任务，如显著性地图、梯度加权类激活热图(Grad-CAM)和概念激活向量测试(TCAV)，而且视觉计算是AI的一个重要应用领域，因此本研究重点关注视觉计算这一特定领域。

本文系统探讨了该领域现有的XAI方法和工具，根据其特点和解释形式将其分为视觉解释、知识解释、因果解释和实例解释。通过探讨不同XAI方法的特性和可理解性，本文提供了清晰、详细的XAI技术方法和工具箱的实践指南，以供参考。

在具体实践中如何选择人工智能解释方法？在获得全面的利益相关者需求"订单"和现有方法"菜单"后，本文旨在将所提出的利益相关者需求框架实例化，为特定利益相关者有效推荐合适的方法和工具，提高他们的满意度。本研究以典型的XAI医学图像分析实践为例，首先识别利益相关者，借助所提出的以人为本的需求框架，厘清其对于AI可解释的目标及需求。在回顾现有为临床诊断场景中的利益相关者设计或使用的可解释方法的研究基础上，引用研究中的支持性实例，为实践场景下合适AI解释方法类别选择提供了建设性的意见。本文还仔细研究了现有的XAI工具箱，从"以人为本"的角度根据其与不同利益相关者需求的适配性进行分类，并分析了每种工具的优缺点。

本文分为六个部分。第2节详细介绍了XAI实践中以人为本的利益相关者需求框架，并建立了针对不同需求的利益相关者的XAI评估指南。第3节介绍了视觉计算文献中的XAI方法分类，并根据分类总结了现有方法的特性。第4节进一步将利益相关者需求框架应用于临床影像诊断场景，并为不同的利益相关者提供采用XAI方法的适用建议。第5节总结了当前的XAI工具，并根据利益相关者的需求，为未来XAI工具开发和设计提供了可操作性的建议。

全文下载：

Toward Human-centered XAI in Practice: A survey

Xiangwei Kong, Shujie Liu & Luhao Zhu

https://link.springer.com/article/10.1007/s11633-022-1407-3

https://www.mi-research.net/article/doi/10.1007/s11633-022-1407-3

BibTex:

@Article {MIR-2022-08-251,

author={Xiangwei Kong, Shujie Liu, Luhao Zhu},

journal={Machine Intelligence Research},

title={Toward Human-centered XAI in Practice: A survey},

year={2024},

volume={21},

issue={4},

pages={740-770},

doi={10.1007/s11633-022-1407-3}}

关于Machine Intelligence Research

Machine Intelligence Research（简称MIR，原刊名International Journal of Automation and Computing）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选"中国科技期刊卓越行动计划"，已被ESCI、EI、Scopus、中国科技核心期刊、CSCD等20余家国际数据库收录，入选图像图形领域期刊分级目录-T2级知名期刊。2022年首个CiteScore分值在计算机科学、工程、数学三大领域的八个子方向排名均跻身Q1区，最佳排名挺进Top 4%，2023年CiteScore分值继续跻身Q1区。2024年获得首个影响因子(IF) 6.4，位列人工智能及自动化&控制系统两个领域JCR Q1区。