OpenAI视频Sora引发安全保障焦虑症

黄安年文 黄安年的博客/2024年02月22日发布（第34302篇）

高新科学技术在推动社会进步和经济发展的同时，也出现了它对社会产生负面影响的争论。例如20-21世纪之交争论生物技术的发展一旦失控将带来一系列的社会问题。新的生物学从受精到遗传筛选到遗传工程将对恋爱、生育、抚育、家庭模式、伦理道德带来巨大冲击。有关遗传工程对农业影响是福是祸不同反响至今依然是热议话题。

再如信息技术革命带来了生产力极大发展和社会面貌的深刻变化，但是也带来了新的风险和问题。利用计算机进行色情传播和智能犯罪、故意传播有害信息扰乱舆论媒介已经成为公害。计算机病毒战更使人们胆战心惊，国家安全面临极大挑战。

随着电脑网络的全球化，英语在国际上的主导地位得到进一步加强。一些国家的民族语言被冷落，文化冲突更加凸现。

有关克隆技术喜与忧、福与祸的大争论人们记忆犹新，特别是各国政府、社会组织和人们对可能“克隆人”的各种后果产生极大的忧虑。导致上述科技发展中负面影响的产生，有的是由于人们认识上的不足而无意造成的，一旦认识到它的危害，就会设法制止。有的则出于利益驱动而构成对人类的严重威胁，如核威慑、生物武器、化学武器和传染病菌的研制、计算机病毒的制造等。

当今人工智能AI的快速发展同样引发喜与忧、真与假、可否控、谁来控焦虑的大争论，不仅关系高新科技带来生产力的新发展而且产生领航企业的重新洗牌，有人高兴有人发愁。还极大增加了国家安全、经济安全、社会生活安全、环境安全的各种隐患，可谓加深焦虑综合症。

下面的一则报道值得一看。

*******************************

解局丨Sora来了，会砸掉谁的饭碗？

新华社客户端2024-02-21 16:35北京

OpenAI官网截图

新华社旧金山2月21日电　输入寥寥数语便能生成效果炸裂的60秒视频！美国开放人工智能研究中心（OpenAI）推出的视频生成模型Sora近日震惊全球。

OpenAI推出ChatGPT才过去一年多，就再度扔出一枚重磅炸弹。“文生视频”AI模型Sora的惊艳之处在哪儿？对行业有何影响？存在哪些隐患？新华社记者为你解局——

Sora有何本领

Sora生成的多条短视频“大片”在全网刷屏，场景逼真丝滑、细节丰富。

这是OpenAI首次进军AI视频生成领域。据公司介绍，Sora使用Transformer架构，可根据文本指令创建现实且富有想象力的场景，生成多种风格、不同画幅、最长为一分钟的高清视频。

换句话说，给Sora一些提示语，它就能生产出一条高质量短视频。一起感受一下Sora的创作实力。

OpenAI官网发布的Sora生成视频图像显示，一辆SUV行驶在盘山公路上。

Sora还能够根据静态图像生成视频，扩展现有视频或填充缺失的帧。

OpenAI说，Sora能深刻地理解语言，不仅理解用户文本提示，还理解所述事物在物理世界中的存在方式。“我们正在教授人工智能理解和模拟运动中的物理世界，目标是训练模型帮助人们解决需要与现实世界交互的问题。”

不过，OpenAI官网晒出的视频作品是Sora创造的平均水准还是最高水准呢？

OpenAI承认，目前Sora生成视频中可能包含不合逻辑的图像，混淆左右等空间细节，难以准确模拟复杂场景的物理原理和因果关系实例等。例如，一个人可能咬了一口饼干，但饼干上没有咬痕。不过，随着算力增强、模型改进，人们可能会在短期内获得更加完善、先进的视频生成功能。

可能砸掉谁的饭碗

OpenAI此次推出Sora更像是预览版，公众尚难以深入全面了解该模型的优缺点。OpenAI表示，目前仅主要向一些设计师和电影制作人等特定人群提供Sora访问权限，以获取有关改进该模型的反馈。公司不仅未公布训练Sora模型的数据等基础细节，也没确定何时面向公众发布。

Sora生成视频截图

一些分析人士认为，Sora再次凸显人工智能技术进步对现实生活和传统行业的深远影响。人工智能在视频生成领域的巨大发展前景为塑造影视产业新业态打开大门的同时，恐将颠覆现存影视产业。

Sora推出第二天，主营图像处理、视频制作软件的奥多比公司股价应声下跌超过7%。

好莱坞去年遭遇63年来首次编剧和演员全行业罢工，因为该行业的部分工作机会可能被人工智能取代。Sora横空出世让这一威胁变得更迫近和真切。　　

让伪造更逼真难辨

OpenAI在Sora技术报告的标题中写道，视频生成模型是“世界模拟器”。

如果世界可以被模拟，那么真与假的边界何在？不少业内人士担心，Sora将为“深度伪造”（Deepfake）技术推波助澜。加利福尼亚大学伯克利分校信息学院副院长法里德表示：“当新闻、图像、音频、视频——任何事情都可以伪造时，那么在那个世界里，就没有什么是真实的。”

图为2023年11月2日，在英国布莱奇利园，一名参会者经过首届人工智能安全峰会的宣传展板。新华社记者李颖摄

针对造假顾虑，OpenAI称在真正面向公众推出产品时，将确保生成视频包含来源元数据，并推出检测视频真伪的工具。OpenAI还承诺，在产品中使用Sora前将采取安全措施，包括由“错误信息、仇恨内容和偏见等领域的专家”对模型进行对抗性测试以评估危害或风险；核查并拒绝包含极端暴力、性内容、仇恨图像、他人IP等文本输入提示等。

不过，OpenAI承认，即便进行了广泛的研究和测试，“我们无法预测人们使用我们技术的所有有益方式和滥用我们技术的所有方式”。

AI狂飙 能管得住吗

科技领域颠覆式创新不断涌现，如何实现拥抱技术进步和确保社会安全的平衡，越来越受到各界关注。

OpenAI表示，将与世界各地的政策制定者、教育工作者和艺术家合作，了解他们的担忧，确定Sora的积极使用案例，并认为从现实世界的使用中学习是创建和发布越来越安全的人工智能系统的关键组成部分。

2023年7月7日，在瑞士日内瓦“人工智能造福人类全球峰会”上，一名参会者与仿真机器人索菲亚互动。新华社记者连漪摄

业内人士指出，在当下治理框架、管控措施都未跟上的情况下，仅靠企业恐无法提供社会所需的人工智能安全性和信任度。（记者：吴晓凌；编辑：陈丹、刁泽、王科文、胡丹丹、李雪梅、陈勇、孙晶、徐超、马震、张家伟、林小春、徐晓蕾、杜逾舸、梁尚刚、王丰丰）

https://baijiahao.baidu.com/s?id=1791496830413657310