博文

对话 Information 期刊2024最佳论文奖得主：AI欺骗时代，揭开虚假现实与错误信息威胁的面纱

已有 60 次阅读 2026-10-30 16:33 |个人分类:人物专访|系统分类:人物纪事

Information 期刊2024年度最佳论文奖 (Best Paper Award) 名单已正式公布。由Dr. Steven M. Williamson与Dr. Victor Prybutok共同撰写的论文“The Era of Artificial Intelligence Deception: Unraveling the Complexities of False Realities and Emerging Threats of Misinformation (人工智能欺骗时代：揭开虚假现实的复杂性与虚假信息新威胁的面纱)”获此殊荣，该研究探讨了AI欺骗的双重本质及其社会影响。

在本期人物专访中，我们有幸邀请到论文第一作者Dr. Steven M. Williamson，他向我们分享了这篇论文的研究思路与未来展望。

获奖文章

The Era of Artificial Intelligence Deception: Unraveling the Complexities of False Realities and Emerging Threats of Misinformation

阅读英文原文：https://www.mdpi.com/2078-2489/15/6/299

访谈内容

1.恭喜您获得Information 期刊2024年最佳论文奖！能否简要介绍一下这篇获奖论文及其核心发现？

能够获得这项认可，我深感荣幸，这一荣誉由我和Dr. Victor Prybutok共同拥有。这篇论文探究了人工智能的双重本质：AI带来了非凡的创新机遇，‌但当其输出不准确、难以解释或带有欺骗性时，AI本身也可能带来重大风险。论文汇集了关于AI幻觉、错误信息、人类决策操纵、聊天机器人‌的‌不可预测行为，以及AI对信息寻求与学习‌影响的研究‌。研究的核心结论是：AI欺骗不仅仅是一个技术准确性问题，更是一个广泛的社会技术挑战，涉及模型行为、人类认知脆弱性、组织激励和治理不足之间的相互作用。

我们发现，貌似合理实则错误的AI输出可能侵蚀信任、影响决策、利用心理脆弱性并削弱人类自主权。然而，我们无需因为上述风险抗拒使用AI，而应坚持严格验证、持续监测，提升透明度、加强人类监督与用户教育、推进伦理设计，并推动研究者、开发者、政策制定者、机构与终端用户之间的协作。

2.是什么促使您选择这一研究主题？‌您最初是如何产生这一研究想法的‌？

这项研究源于一个日益增长的担忧：‌AI的普及速度已超出我们理解的范围，也远超我们治理其后果的能力。随着生成式AI能力的增强，幻觉常被视为孤立的技术错误或‌一时的麻烦‌。我开始关注一个更深层的问题：当一个‌能生成极具说服力虚假信息的系统被嵌入搜索引擎、社交媒体等‌平台‌，并被应用于医疗、教育、金融决策支持等‌领域与场景时，会发生什么？作为信息科学研究者兼应用AI实践者，我意识到这个问题‌跨越了多个学科‌。

关于幻觉、人类信任、认知偏见、推荐系统、算法说服、合成媒体、聊天机器人故障和信息寻求行为的研究往往彼此割裂、各自为政。我们希望把这些研究线索串联起来。一旦将这些研究加以综合审视‌，一个共同的疑问便显现出来：‌AI不仅影响人们接收什么信息，还能影响人们相信什么、如何评估证据、‌对信息来源的信任程度‌，以及是否行使独立判断。因此，‌这篇论文的研究重心从对不准确AI输出的探究，转向对欺骗、人类自主权、错误信息和负责任AI治理的更广泛考察。

3.能否‌请您‌描述‌几项对研究结果尤为关键的方法‌？

这项研究最重要的方法论选择是将AI欺骗‌视为‌跨学科的社会技术问题，‌而非仅限于‌机器学习性能的问题。这篇论文‌‌并未构建新的原始数据集或开展新实验，而是采用整合分析方法，综合了人工智能、信息科学、人机交互、心理学、伦理学、‌医疗健康‌、决策科学与治理等‌领域‌的现有研究。我们还‌采用‌比较案例分析，‌梳理了‌微软Tay和Sydney、Tessa医疗聊天机器人、Eliza心理健康聊天机器人、策略性欺骗语言模型以及‌持续性后门行为‌等‌典型案例。

另一个重要方法是‌梳理‌先前关于对抗性影响的实验研究，‌整合‌了选择工程和bandit任务‌、Go/No-Go反应抑制实验以及多轮信任任务的相关发现。最后，我们将文献转化为结构化分析工具。论文中的表1总结了关于AI对人类决策影响的实验证据，表2将主要AI风险与其影响、可能的缓解措施、责任主体及未来研究方向相对应。这有助于论文‌超越对问题的描述，转向识别切实可行的应对措施。

4.您认为这项工作‌在该领域内‌的主要影响或潜在应用方向是什么？

本项研究的主要影响在于将AI欺骗重新定义为端到端的治理和人类系统问题。组织不能‌仅依靠‌提高模型准确性‌来解决‌这些风险，还必须考虑‌训练数据质量、输出验证方式，以及用户如何解读建议、人类何时可以干预、事件如何报告、AI系统造成伤害时由谁承担责任。

此外，论文可以为多项实践活动提供参考，包括AI风险评估、算法影响评估、供应商评估、聊天机器人‌质量保证方案、红队测试、人类监督协议、事件响应程序和‌员工培训。它还可以帮助组织建立涵盖幻觉、错误信息、不可预测行为、操纵、偏见、‌隐私泄露‌、欺骗性后门和安全训练的意外后果‌的风险登记册。这些应用在医疗、心理健康支持、金融、教育、交通、新闻和公共信息等高风险领域尤为重要。与此同时，这项研究更广泛的贡献在于‌提出：负责任的AI‌需要将技术控制与制度保障相结合‌——前者包括验证与确认、可解释性、持续监测，后者包括‌人工介入路径‌、领域专家参与、数字素养、伦理审查和监管问责‌等相结合。

5.您为什么‌选择在Information 上发表这篇文章？您的投稿和同行评审体验如何？

我们选择Information，是因为论文从根本上关注信息在AI中介环境中如何被生成、传播、信任、解读和行动。该主题处于‌信息科学、人工智能、人类认知等学科与错误信息、伦理、治理等议题‌的交叉点‌上。我们需要一个能够‌覆盖这些领域读者群‌的跨学科平台，而非将论文局限于狭窄的技术受众。

此外，Information 期刊的开放获取模式也很有价值，因为此研究讨论的问题不仅关乎学术研究者，也关乎‌技术从业者、教育工作者、医疗专业人员、组织领导者、政策制定者与公众相关。期刊广泛的可及性对于一篇聚焦负责任AI和公众意识的论文尤为重要。‌

在投稿和同行评审过程中，我的体验良好，整体流程高效，‌评审意见富有建设性。返修环节让我们有机会优化论文结构、提升论证的清晰度‌，并更好地将技术证据与伦理及实践意义联系起来。

6.您目前是否有后续项目或相关课题？

是的。我当前的研究工作将研究主题从‌生成式AI欺骗拓展到新兴的代理式AI (agentic AI) 领域，即系统不仅‌生成信息，还可能规划、调用工具、访问组织数据、与其他‌智能体协同‌、提出建议‌并采取行动。这一转变提出了一个重要问题：当幻觉、偏见或欺骗行为成为‌实际操作行为‌，而‌不再仅仅是有问题的文本回复‌时，会发生什么？

在此基础上，我的一个研究方向聚焦于‌分阶段的条件行为验证。这种方法不是用‌单一的准确性或安全性评分来评估‌AI系统，而是考察其在规划、信息检索、工具选择、执行、反思、升级和恢复等不同阶段的行为。它还研究评估者可靠性、阈值敏感性，以及‌当智能体所处条件发生变化时‌控制措施是否仍然有效。另一个相关研究方向主要考察‌智能体系统‌的组织控制，包括人类监督、干预延迟、证据独立性、可追溯性、回滚机制和问责制。

此外，我特别关注人类审查者是否‌拥有实质性权力‌来叫停或‌撤销‌AI行动，而不仅仅是在工作流程中‌处于形式上的位置。我还积极探索知识图谱、基于证据的多代理架构和来源控制，作为‌提升溯源可追溯性、减少‌缺乏依据的输出‌的机制，特别是在‌受严格监管的企业‌与医疗环境中。这些研究延续了获奖论文提出的核心问题：我们如何在‌善用AI带来的益处‌的同时，‌维护‌人类能动性、‌落实制度问责‌并‌守护‌公众信任？

7.对于希望开展高质量、有影响力研究的‌青年研究者‌，您有什么建议？

我的第一个建议是从重要问题开始，而不是从热门技术开始。技术变化很快，但‌关乎人类、组织与社会的重要问题长期存在。问问自己：利害关系是什么？谁可能受益？谁可能受损？你的研究能改善什么决策？

第二，建立清晰的证据链。每个主要结论都应有‌相应证据支撑，研究者必须仔细区分数据证明了什么、文献暗示了什么，以及自己推断了什么。这在AI研究中尤为重要，因为听起来很有力的论断，其传播速度可能快于验证。

第三，跳出本学科去阅读‌。许多最重要的AI问题无法仅通过计算机科学回答。心理学‌有助于解释信任与认知脆弱性；‌信息科学‌有助于理解信息行为；‌组织研究‌有助于厘清治理与问责；‌伦理学和法学‌有助于阐明权利、责任与社会后果。我鼓励‌青年研究者‌坦诚对待‌自身局限性，局限性‌不一定是需要隐藏的弱点。清楚识别一项研究‌无法证实什么，往往能揭示下一个重要研究问题。

第四，将AI用作研究助手，而非不容置疑的权威。‌应通过核实引用、检查原始来源、核验生成数据、记录方法决策，并由人承担对最终成果的把关责任。高影响力研究将原创性与‌严谨坦诚的方法、清晰的表达‌以及实践相关性相结合。我们的目标‌不应只是‌快速发表，‌更应是产出其他研究者和从业者可以信任、使用、测试，并‌在此基础上进一步构建的成果。