|
自去年推出ChatGPT之后,今年OpenAi继续推出了文生视频大模型Sora,它可以根据用户的文本提示,创建最长60秒的逼真视频,从而深度模拟真实物理世界。这使得“大力出奇迹”这个短语最近变得流行起来。当深度网络模型中的参数多到一定程度之后,通过数据训练可以生成智能化的结果。但是,并不是所有的“大力”都可以产生奇迹。“奇迹”是建立在恰当的规则之下的。比如,通过不断迭代简单的Julia型复变函数,就可以产生“奇迹”——生成规则而美丽的分形图案(见图1)。但并不是任何一个复变函数都可以通过迭代,大力出奇迹,来生成规则而美丽的分形图案。你得首先能找到这样一个复变函数才行。
图1:Julia型复变函数
深度学习模型也是同样道理,如果模型选取得当,通过迭代运算,在参数很大的情况下就可以产生“奇迹”。这种奇迹,我们做复杂系统研究的一般把它称为“涌现”,这本质上联系着复杂系统中的相变。不过由于目前学术界对于复杂系统“涌现”发生条件的认知还处于非常初始的阶段,所以尽管“涌现”是复杂系统理论中最核心的问题,但是却处于一种非常尴尬的局面。对于公众而言,随着大语言模型的流行,涌现也就变成了大家口中的“大力出奇迹”,甚至将其“神秘化”。
笔者2018-2021年间曾从统计物理和复杂系统的视角对深度神经网络模型做了深入的研究,并得到一些结果[1-4],其中最重要的结果是发现了具有“自指结构”的深度神经网络模型——自指玻尔兹曼机[2,4]。这个模型主要是想建立一种具备“自我意识”的神经网络。在笔者看来,要让机器模型能够理解它产生的结果,必须首先使它产生自己的自我意识才行,否则机器最终只是输出一个统计结果。这次Sora发布的产品中,有一些“缺陷视频”可以看到违背物理定律和因果律的情况,比如老奶奶吹蜡烛但火焰纹丝未动,无中生有的产生椅子,杯子碎掉与果汁溢出这个事件的因果时间搞反了等等。
当然,Sora还有很多的失败产品没有放出来。
这些缺陷本质上反映出,哪怕学习了海量的高质量数据,仅仅依靠统计学习,机器是无法发现宇宙中的物理法则的。理解并发现宇宙中的物理法则是高等智能生命的独特能力,而这一能力是建立在“自我意识”之上。在笔者看来,“自指结构”是当前人工智能技术研发所缺失的核心环节。
2021年之后由于其它方面的研究占据了大量的时间,我最近几年都没有精力重新回到自指玻尔兹曼机的应用研究上。但是看完Sora的表现后,深感当前人工智能技术的改进必要。所以在B站做了一个科普视频《Sora的表现反映出当前人工智能技术的终极缺陷:谈谈未来改进的可能方向》。
希望引起一些感兴趣朋友的关注。
参考文献:
[1]. Yong Tao, Swarm intelligence in humans: A perspective of emergent evolution. Physica A 502 (2018) 436-446
[2]. Yong Tao, Self-referential Boltzmann machine. Physica A 545 (2020) 123775
[3]. Yong Tao, Didier Sornette, and Li Lin, Emerging social brain: a collective self-motivated Boltzmann machine. Chaos, Solitons & Fractals 143 (2021) 110543
[4]. Yong Tao, Life as a self-referential deep learning system: A quantum-like Boltzmann machine model. Biosystems 204 (2021) 104394
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-21 21:04
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社