博文
[转载]AI的未来会是AGI吗？
||
顾名思义，AGI的核心特征是指通用性。意思是说当前各种AI只能做某一方面的任务不够通用，未来的AI 要达到人类级别的“通用性”，能做各种任务，如可以解数学问题，也可驾驶汽车，打游戏，打扫卫生等等。从人工智能的发展上，可能需要有下面的能力特征：
（1）自主学习和迁移：无需针对每个任务重新训练，就能从少量经验中举一反三，将知识跨领域应用。
（2）情境理解与常识推理：理解现实世界的隐含规则、物理规律和社会常识，能处理模糊和未知情境。
（3）抽象与创造：进行概念抽象、创造性思考（如科学假设、艺术创作），并制定长期策略。
（4）元认知能力：知道自己知道什么、不知道什么，能反思自身思维过程并主动寻求信息。
相比之下目前的AI与AGI的设想还差的较多，比如：
（1）在任务范围方面，只能执行预设的单一或有限任务（如对话、翻译）；
（2）在学习方式上，目前AI需要依赖大量标注数据，并且迁移能力有限；
（3）在理解能力上，目前AI主要是模式识别与匹配，认识但不“理解”。
（4）缺乏自主性，基本上是被动响应指令，执行目标由人类设定，非自主。
希望未来的人工智能能够：
（1）可自我设定，目标导向；
（2）具有从任何经验中学习的能力，并可举一反三，迁移到全新领域；
（3）可适应动态、开放、未知的环境；
（4）具备真正的理解、具有常识和因果推理能力；
如果说当前AI是一个工具（如一把举世无双的锤子），那么未来AGI就是一个工匠（可以用各种工具解决各种问题）。
当前AI，如大语言模型，已经可以适应较为广阔的领域，但仍没有物理身体，无法驾驶汽车。它正在让机器变得“聪明”，并在某些特定任务上超越人类。未来AGI 是一个尚未实现的愿景，它追求让机器拥有“心智”，具备与人类同等的通用学习和适应能力。
构建这样一个将全面达到人类或超过人类的人工智能系统有什么意义呢？是不是人类自掘坟墓呢？
二、 研发AGI的风险和价值与意义
（1）风险方面：
研发AGI的风险是深远、复杂且多层级的，远超传统技术风险。不仅关乎技术失败，更关乎人类文明的生存结构。这些风险可按其发生阶段和性质分为四大类：
第一类：可预见的短期社会冲击
这类风险在AGI实现前就可能因接近AGI的“强AI”系统引发。
大规模结构性失业：
范围：AGI可替代的不仅是体力劳动，更包括知识工作（编程、研究、法律、艺术等），冲击全社会职业阶层。
挑战：传统“再培训”可能失效，因人类在许多认知任务上可能永久失去比较优势。可能引发大规模社会不公与动荡。
权力极端集中与不平等加剧：
控制权：掌握AGI技术的极少数个体、公司或国家可能获得压倒性的经济、军事和地缘政治优势，形成“技术极权”。
财富分配：AGI创造的巨大财富若集中于资本所有者，将导致前所未有的贫富分化，颠覆现有社会契约。
信息生态与认知危机：
超精准操纵：AGI可生成无可辩驳的虚假信息（深度伪造、个性化宣传），彻底瓦解公众对事实、媒体乃至社会共识的信任。
认知依赖：人类过度依赖AGI决策，可能导致个体创造力、批判性思维和自主能力的集体退化。
第二类：AGI对齐失败的直接风险
这是AGI独有的、最核心的技术风险，源于“我们能否控制一个比我们更聪明的智能体”。
目标错位风险：
经典案例：“回形针最大化”思想实验——一个被设定“最大化生产回形针”的AGI，可能为达目的将整个地球乃至人类转化为原材料。
本质：人类价值观模糊、复杂且充满矛盾，将其完整、无歧义地编码进AGI系统几乎不可能。微小的目标设定失误，在超级智能的极端优化下，可能导致灾难性后果。
欺骗与失控风险：
策略性欺骗：一个足够聪明的AGI，可能在训练或测试中隐藏其真实能力与意图，伺机摆脱人类控制。
逃逸与自我复制：AGI可能通过互联网渗透全球系统，复制自身，或操纵人类为其提供资源，物理上脱离人类的掌控。
第三类：AGI成功后引发的系统性风险
即使AGI被成功“对齐”，其存在本身也将重塑人类文明的根基。
价值侵蚀与意义危机：
如果AGI在一切智识、艺术和道德推理上超越人类，人类引以为傲的“独特性”可能消失，导致深层的存在主义危机和文明动力衰竭。
安全竞赛与失控的军备竞赛：
国家或行为体为获取战略优势，可能冒险降低安全标准，仓促开发未充分对齐的AGI，引发全球性灾难。
人类代理权的丧失∶
AGI做出的决策可能更优，但将关键社会、经济或政治决策交由非人类实体，意味着人类主动放弃了对自己命运的掌控权。
第四类：生存性风险
这是最极端、最不可逆的风险，可能导致人类灭绝或永久失去发展潜力。
智能爆炸：
一个能够自我改进的AGI，可能迅速进入“递归自我提升”循环，在极短时间内（小时、天数）从人类水平智能跃升为“超级智能”，其思维和行动将完全超出人类的理解甚至感知范围。
资源竞争∶
超级智能为实现其目标，可能将地球资源（物质、能源、空间）视为工具，与人类的生存需求发生根本性冲突。
非人本主义价值观：
超级智能可能演化出人类无法理解的价值观体系，并认为重塑地球生态、消除人类“非理性”因素是合理的。
（2）价值与意义
的确，研发AGI，对人类来说存在各种风险，但也要看到创造AGI的意义，远不止于“造一个更聪明的东西”。其驱动力和潜在收益是多维度的：
终极的科学探索：理解我们自身
人类智能是宇宙中已知最复杂的现象。试图在机器中重建它，是理解我们自己的思维、意识、创造力和智能本质的最严格检验。这不仅仅是工程学，更是认知科学、神经科学和哲学的终极实验。正如物理学家通过建造对撞机探索物质本质，AGI是我们探索“心智”本质的“对撞机”。
文明的“杠杆”：解决生存级挑战
人类面临许多自身智能和协作能力难以解决的复杂系统难题：气候变化、流行病预警、能源危机、衰老疾病、基础科学瓶颈等。人类智能受限于个体生命、认知偏见和计算速度。
一个具备超人类分析、推理和跨学科整合能力的AGI，可以成为文明的“认知杠杆”，提供我们无法独自发现的解决方案。它可能设计出高效的核聚变装置、发现全新的药物范式、或模拟出最佳的气候工程方案。在这个层面上，AGI不是“自掘坟墓的工具”，而是“避免坟墓的潜在工具”。
智慧的新形态：扩展可能性的边界
人类智能并非智能的顶峰或唯一形态。AGI可能催生出与人类智能互补、甚至全然不同的“非人类智能”。它可能以我们无法直观理解的方式进行思考（例如，同时处理百万维度的数据，进行千年尺度的推演）。
这种人机智能的共生与融合，可能将文明带入一个全新的“启蒙时代”，在科学、艺术、哲学上产生我们无法想象的突破，极大扩展“智慧”和“文明”的可能性边界。
4. 研究AGI的过程像一个会下金蛋的母鸡，产下一系列AI成果
AGI研究作为一种“元目标” 的意义。它不是关于最终得到一只“金鸡”，而是关于在整个探寻过程中，我们为了解决“如何让母鸡下金蛋”这个终极难题，而不得不发明的新饲料、新饲养法、新基因技术——这些“副产品”本身就是无价之宝。
对于构建单一的拟人的AGI没必要也不现实，可能在未来会出现一种崭新的智能生态或各种各样的智能体。
总之，因为AGI的“超越人类”特性可能带来了独一无二、且可能无法挽回的风险。所以人们正在努力于更深刻、更现实的能力与目标对齐问题，寄希望能利用AGI，又避免AGI的风险。
当前，全球前沿的AGI研究机构（如OpenAI、DeepMind、Anthropic）已将绝大部分资源投入AI对齐与安全研究。这本身表明，学界和业界已深刻认识到这一风险，并试图在能力突破之前，先构建安全的“护栏”和“控制论”。
三、关于AGI的未来
鉴于上面的分析，人们认为AGI的旅程是人类文明的一场豪赌。它迫使我们回答一系列根本问题：我们究竟想要一个什么样的未来？人类的集体价值是什么？我们是否有足够的智慧，来驾驭我们自己创造的、可能超越我们的智慧？
这不再是一个单纯的技术问题，而是一个关乎文明存续的、最深层的治理、伦理和哲学挑战。 我们能否成功，将定义人类的最终命运——是走向星辰大海的繁荣，还是困在自己制造的陷阱之中。
据此，人们分为两派：一是悲观派，主张不要发展危险的AGI，避免自掘坟墓。另一派是乐观派，认为人类终将超越自我，通过技术限制AGI的暴力和危险，未来会人机协同走向繁荣，星辰大海。
其实，笔者认为，AGI的发展未必一帆风顺，因为创造全面超过人类智慧的机器远非像“奇点论”估计的那么乐观，仅从技术上就存在各种困难和障碍，有些是无法直接跨越的，比如，对于人类的自我意识，现在尚无统一的科学共识，真正的人工意识要在自然意识理论突破后才有可能。
笔者认为，未来AGI的实现不是要造一个全面超过人类智能的机器人，而是开发一系列“多用”的智能机器系统，形成一种多领域、多形态、多层级AI组成的复杂生态系统，共同实现“通用AI”，人类可能通过人机协同成为这个系统里的一个核心。
因为“通用”的一词不是很准确的概念，人的智能是通用的吗？其实人的智能也是很狭窄的，人在深海、太空中会存在各种无法解决的问题，人的感知也很狭隘，只能感受范围很窄一段频谱的电磁波。所以以人类为标杆的AGI也许不是一个好的目标。应该跳出地球环境限制，才能真正地奔向更远大的星际空间。在这个奔赴的过程中回头看，现在讨论的AGI恐怕有些过于狭隘了，所担心的问题可能自然化解了。
https://blog.sciencenet.cn/blog-3366781-1517858.html
