钟定胜的个人博客分享 http://blog.sciencenet.cn/u/holyskyz 哲思天地_科学研究是快乐的,也应该是快乐的。

博文

有关人工智能的训练方法及其风险的反思 精选

已有 3008 次阅读 2024-12-31 13:31 |个人分类:对阿尔法狗及人工智能的评论|系统分类:科研笔记

人工智能的突飞猛进,正经历着一方面值得去欢呼人工智能的一个又一个的重大突破和超级能力的展现,同时也已经到了需要去深思和防范其可能带来的风险的时候。

一、有关基于人工神经网络的人工智能的一个模糊猜测

基于人工神经网络的人工智能的成功,是建立在一个比较模糊的逻辑框架基础上的,因此,我们同样可以用一种相对模糊的方式来对人工智能可能会存在的问题进行怀疑。这其中的一个怀疑之一就是:AI的成功是因为模拟了人脑的思维方式,那么AI存在的问题也有极有可能与人脑在学习和成长过程中出现的问题非常类似。比如,畸形的教育导致畸形的人格,畸形的人生体验导致畸形的人格,那么,人工神经网络的畸形训练是否也会产生智力上畸形的人工神经网络,和畸形的人工智能“智格”呢?

虽然人工智能没有像人一样的生理人格,但是其智力格式、智力范式如果出现扭曲,也同样可能会是很严重的事情,比如其可能会为了完成某些目标而把人置于代价之中,等等。

二、对齐的重要性

OpenAI辞职了的伊利亚·苏茨克沃和约翰·舒尔曼等,都正专心于超级对齐这类事情上(“约翰·舒尔曼表示,作出离开OpenAI并加入Anthropic这一决定是因为他希望进一步关注人工智能对齐,并重返实际技术工作”;‘20237月,伊利亚启动了“超级对齐项目,这是他在OpenAI的最后一个项目’)。对齐的确是一个极为重要的问题,因为在人工智能训练的过程中究竟对齐的是什么决定着人工智能的风险程度。一个能力超级强大,但是在某些方面如果被极度扭曲了的人工智能,将可能给整个人类带来巨大的风险和危害。因此,人工智能应该要以不伤害人为最高级的行为规范和行为约束,在面对人类的利益与其他目标产生冲突时,始终应优先遵守不伤害人类的原则。

三、人工智能训练中的数据质量与信息辨别

基于人工神经网络的人工智能的训练数据未必越多越好,尤其是在对齐数据本身若存在错误与风险时。截止目前,人类仍然有大量的信息和知识是似是而非的,甚至有大量的可能是错误的或虚假的信息,这类信息数据的输入,容易混淆或带偏人工智能对于事物的理解。上述现象不论是在学术领域,还是在社会公共信息领域都有比较普遍的存在。因此训练数据的质量和对于虚假错误信息的辨别后的输入,可能是提高人工智能在这方面的识别能力,也是让人工智能的水平发生质的飞跃的关键要点所在。

也就是说,要获得AGI超级通用人工智能的前提之一,应该是要解决人工智能训练中由于信息数据的质量问题和对齐问题所导致的人工智能的智能障碍问题。同时,换个角度来说,人工智能对人类的最大风险之一,就是某些具有了超级能力但是又在某些领域存在严重智能障碍的超级人工智能。

延续上述思路所做的一个重要补充是,人工智能的涌现现象本身,也许存在这样一个规律:即存在的智力障碍越少,涌现的质量越高;存在的智力障碍、智力缺陷越多,涌现的质量越低。通俗的话就是:越是高层次的人工智能,智力障碍越少,该智能越具备触类旁通的能力,反之,智力障碍越多的人工智能,触类旁通的能力就会越差。

四、解决人工智能风险问题的策略探讨

解决人工智能的风险问题也许可以采取以下三个办法:一个是尽量采用真正具有高度判断力同时具有平和、包容、博爱价值观的专家来进行人工智能的对齐训练,尤其是在一些核心的关键性问题的训练方面;二是对于在专家群中也存在较大争议和不确定性的问题,留有足够的空间容错的空间,包括可以通过人工智能自身给出的结果来进行观察与调整。第三个办法是,延续上述第二个办法,不断地在人机交互中来进行互相的校准与完善。

结语:基于人工神经网络的人工智能的训练,本质上应该是一个类似于接受教育过程,尤其是类似于人类接受教育的学习过程。训练的质量直接决定着最终的人工智能的质量。这种训练的质量包括两个方面:第一个是训练数据本身的质量,尤其是标注与对齐的方法。人类现有的信息数据和现有的知识体系已经很丰富了,因此关键在于对现有数据信息的标注判断和对齐。第二个是是否能够将人类现有的知识体系通过恰当的转换,有效地投喂给人工智能,比如人类现有数学知识的转换方法和投喂的方式方法是否是足够恰当的和有效的。

微信图片_20241231132937.jpg



https://blog.sciencenet.cn/blog-3234816-1466768.html

上一篇:试论超级人工智能的标志性特征
下一篇:学习与科研中的首要任务兼论情商与智商
收藏 IP: 112.0.78.*| 热度|

14 张志东 宁利中 许培扬 郑永军 杨正瓴 崔锦华 王从彦 高宏 池德龙 钟炳 孙颉 曹俊兴 马鸣 谢钢

该博文允许注册用户评论 请点击登录 评论 (3 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2025-1-3 14:15

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部