新研究发现人工超级智不会突然出现

一些研究人员认为，人工智能最终可以实现通用智能，在大多数任务上与人类相当，甚至超过人类。

  网络：在接下来的5到10年内所出现得人工智能，可能会直接把我们带入下一个乌托邦的世界。这些人工智能可以执行人类交给它的任何任务，并创造出一个超级智能的优化版。许多人预计，这些人工智能到后期可能会做到自我开发，自我升级。为了实现这一点，人工智能需要对自己的架构和算法有深入的了解，以确定需要改进的领域并有效地实施变更。这可能会使他们自身的版本比原始的版本性能强大百倍。

   根据这种特定的情况，这一切可能会在10年内，甚至有可能在10小时内发生。这可能导致技术奇点的出现，即技术增长变得无法控制和不可逆转的时间点。在不久的将来，超级的人工智能可能会变得比原始的人工智能强大数十亿倍。到那时，我们可能会看到我们许多人认为不可能的技术的发展，如变形机器人、复制器、可编程物质、便携式核聚变装置、反物质动力宇宙飞船，甚至可能帮我们停止或逆转衰老。

博主：这一研究是提出超级智能出现的方式，是突然出现还是逐渐出现。但是前提是超级智能一定会出现，现在还没有出现。其实我们更应该考虑的问题是，当超级智能出现后，对我们人类到底意味着什么？因为超级智能出现后，是机器智能对人类智能的超越，这种新的机器智能，会迅速迭代，就是自我智能进化，意味着人工智能会加速度进步。人类在超级智能面前，就好比我们今天的体力和大型机械设备的比较。

财富本质是潜在使用价值，或者使用预期。到了超级人工智能时代，既然人类的许多愿望都可以利用人工智能实现，人类财富概念将可能会重新被定义。

当机器在智能上碾压人类时，人类自身存在的价值何在？

这显然是我们人类应该思考的，且是人工智能也会思考的问题。

Will superintelligent AI sneak up on us? New study offers reassurance (nature.com)

人工智能（AI）超级智能会突然出现，还是科学家会看到它的到来，并有机会警告世界？这是一个最近受到广泛关注的问题，随着 ChatGPT 等大型语言模型的兴起，随着其规模的增长，这些模型已经获得了巨大的新能力。一些研究结果指出了“涌现”，即人工智能模型以一种敏锐且不可预测的方式获得智能的现象。但最近的一项研究称这些情况为“海市蜃楼”，即系统测试方式产生的人工制品，并表明创新能力反而会逐渐建立起来。

“我认为他们在说'没有发生任何神奇的事情'方面做得很好，”Mozilla基金会的计算机科学家Deborah Raji说，她研究人工智能的审计。这是“一个非常好的、扎实的、基于测量的批评”。

这项工作于上周在新奥尔良举行的NeurIPS机器学习会议上发表。

越大越好吗？

大型语言模型通常使用大量文本或其他信息进行训练，它们通过预测接下来会发生什么来生成现实的答案。即使没有明确的培训，他们也能翻译语言、解决数学问题、写诗或编写计算机代码。模型越大（有些模型有超过一千亿个可调参数），其性能就越好。一些研究人员怀疑，这些工具最终将实现通用人工智能（AGI），在大多数任务上与人类相当，甚至超过人类。

这项新研究以多种方式测试了涌现的说法。在一种方法中，科学家们比较了 OpenAI 的 GPT-3 模型的四种尺寸将四位数相加的能力。从绝对精度来看，第三和第四尺寸模型的性能差异从接近 0% 到接近 100%。但是，如果考虑答案中正确预测的数字数，这种趋势就不那么极端了。研究人员还发现，他们还可以通过给模型更多的测试问题来抑制曲线 - 在这种情况下，较小的模型在某些时候会正确回答。

接下来，研究人员研究了谷歌的LaMDA语言模型在几项任务上的表现。那些显示出明显智力突然跃升的答案，例如发现讽刺或翻译谚语，通常是多项选择题，答案分别分为对错。相反，当研究人员检查模型对每个答案（一个连续指标）的概率时，出现的迹象消失了。

最后，研究人员转向了计算机视觉，在这个领域中，出现的说法较少。他们训练模型压缩然后重建图像。通过仅仅为正确性设定一个严格的阈值，它们就可以诱发明显的涌现。“他们在设计调查的方式上很有创意，”西雅图华盛顿大学研究人工智能和常识的计算机科学家Yejin Choi说。

也没有排除其他可能性

该研究的合著者、加利福尼亚州帕洛阿尔托斯坦福大学的计算机科学家Sanmi Koyejo表示，鉴于一些系统表现出突然的“相变”，人们接受涌现的想法并非没有道理。他还指出，这项研究不能完全排除大型语言模型的可能性，更不用说在未来的系统中了，但他补充说，“迄今为止的科学研究强烈表明，语言模型的大多数方面确实是可预测的”。

Raji 很高兴看到社区更加关注基准测试，而不是开发神经网络架构。她希望研究人员走得更远，询问这些任务与实际部署的关系如何。例如，像 GPT-4 所做的那样，在有抱负的律师的 LSAT 考试中取得优异成绩是否意味着模特可以充当律师助理？

这项工作还对人工智能安全和政策产生了影响。“AGI人群一直在利用新兴能力的主张，”Raji说。无端的恐惧可能导致令人窒息的法规或转移人们对更紧迫风险的注意力。“这些模型正在改进，这些改进是有用的，”她说。“但他们还没有接近意识。