第2届世界人工意识大会热身-媒体与顶刊速递系列

The 2nd World Conference on Artificial Consciousness

第二届世界人工意识大会(AC2024)

Artificial Consciousness: The Confluence of Intelligence and Consciousness in the Interdisciplinary Domain

226 | Nature | Vol 625 | 11 January 2024

人工智能意识：科学家说我们需要答案

Mariana Lenharo

研究人员敦促增加资金来研究有意识和无意识系统之间的界限。

人工智能系统会有意识吗？三位意识科学家表示，目前没有人知道，他们担心缺乏对这个问题的调查。

在提交给联合国的评论中，数学意识科学协会（AMCS）的三位领导人呼吁提供更多资金来支持意识和人工智能的研究。他们表示，迫切需要对意识和无意识系统之间的界限进行科学研究，他们还列举了伦理和其他问题，这些问题使理解人工智能意识变得至关重要。例如，如果人工智能发展出意识，是否应该允许人们在使用后简单地关闭它？

AMCS董事会成员乔纳森·梅森是英国牛津的数学专家，也是评论的作者之一，他表示，近几个月来，在关于人工智能安全的讨论中，比如在英国备受瞩目的人工智能安全峰会上，这种担忧大多没有出现。梅森指出，美国总统乔·拜登寻求负责任地开发人工智能技术的行政命令并没有解决有意识的人工智能系统提出的问题。

不是科幻小说

梅森说：“随着人工智能的发展，不可避免地会有其他邻近的科学领域需要迎头赶上。”。意识就是其中之一。

评论的其他作者是AMCS主席Lenore Blum，他是宾夕法尼亚州匹兹堡卡内基梅隆大学的理论计算机科学家，以及董事会主席Johannes Kleiner，他是德国慕尼黑路德维希·马克西米利安大学研究意识的数学家。

科学界还不知道是否存在或将永远存在有意识的人工智能系统。梅森说，即使知道是否已经开发出一种方法也将是一个挑战，因为研究人员还没有创造出科学验证的方法来评估机器中的意识。位于加利福尼亚州旧金山的非营利人工智能安全中心的哲学家罗伯特·龙说：“考虑到进步的速度，我们对人工智能意识的不确定性是人工智能应该让我们担心的许多事情之一。”

我们没有很好的记录将道德考虑扩展到与我们外表和行为不同的实体。

这样的担忧不再只是科幻小说。包括总部位于旧金山的OpenAI（创建聊天机器人ChatGPT的公司）在内的公司正致力于开发通用人工智能，这是一种经过训练的深度学习系统，可以执行与人类类似的各种智能任务。一些研究人员预测，这将在5到20年内实现。梅森说，即便如此，意识研究领域还是“支持不足”。他指出，据他所知，2023年没有一笔赠款用于研究这一主题。

AMCS领导人向联合国人工智能高级别咨询机构提交的报告概述了由此产生的信息差距。该机构于10月启动，计划于2024年年中发布一份关于世界应如何管理人工智能技术的报告。AMCS负责人的意见书尚未公开发布，但该机构向作者证实，该组织的评论将成为其“基础材料”的一部分，这些文件为其关于人工智能系统全球监督的建议提供了信息。

AMCS的研究人员表示，了解什么会使人工智能有意识，对于评估有意识的人工智能系统对社会的影响，包括其可能的危险，是必要的。人类需要评估这些系统是否具有人类的价值观和利益；否则，它们可能会给人们带来风险。

机器需要什么

但研究人员表示，人类也应该考虑有意识的人工智能系统的可能需求。这样的系统会受到影响吗？Long说：“如果我们没有意识到人工智能系统已经变得有意识，我们可能会给有意识的实体带来痛苦：我们在将道德考虑扩展到与我们长相和行为不同的实体方面并没有很好的记录。”，因为人类不应该花费资源来保护那些不需要保护的系统。

AMCS评论提出的一些问题是合法的：一个有意识的人工智能系统是否应该为故意的不当行为负责？它是否应该被赋予与人民相同的权利？该联盟写道，答案可能需要对法规和法律进行修改。

此外，科学家还需要教育其他人。梅森说，随着公司设计出越来越强大的人工智能系统，公众将决定这些系统是否有意识，科学家需要有足够的知识来提供指导。

其他研究人员对此表示赞同。位于博卡拉顿的佛罗里达大西洋大学未来思维中心主任Philos opher Susan Schneider表示，像ChatGPT这样的聊天机器人在行为上看起来如此人性化，以至于人们有理由被它们弄糊涂。如果没有科学家的深入分析，一些人可能会得出结论，认为这些系统是有意识的，而其他公众可能会忽视甚至嘲笑对人工智能意识的担忧。

为了减轻风险，AMCS领导人呼吁政府和私营部门资助更多关于人工智能意识的研究。推进这一领域不需要太多资金：尽管迄今为止提供的支持有限，但相关工作已经在进行中。例如，Long和其他18名研究人员开发了一份标准清单，以评估一个系统是否有很高的意识。这篇论文于8月发表在arXiv预印本库中，尚未经过同行评审，其标准来源于解释意识生物学基础的六个主要理论（P.Butlin等人，预印本https://arxiv.org/abs/2308.08708; 2023).

梅森说：“进步的潜力很大。”

翻译：弓世明  

段玉聪 教授

l DIKWP-AC人工意识（全球）团队发起人

l AGI-AIGC-GPT评测DIKWP（全球）实验室创办者

l 世界人工意识大会发起人（Artificial Consciousness 2023, AC2023, AC2024)

l 国际数据、信息、知识、智慧大会发起人（IEEE DIKW 2021、2022、2023）

l 斯坦福全球顶尖科学家“终身科学影响力排行榜”（海南信息技术）唯一入选

l 海南人工智能技术发明领域唯一全国奖（吴文俊人工智能奖）获得者

l 中国创新方法大赛总决赛（海南代表队）最好记录保持者

l 海南省发明专利（信息技术领域）授权量最多者

l 全国企业创新增效大赛海南最好成绩保持者

l 全国人工智能应用场景创新挑战赛总决赛海南最好成绩保持者

l 海南唯一入选“首届科技期刊高质量发展大会100篇”

l 海南省最美科技工作者（并入选全国候选人）