jyx123321的个人博客分享 http://blog.sciencenet.cn/u/jyx123321 高分子材料/复合材料/物理凝胶 山东大学材料科学与工程学院教授

博文

"碰瓷"文生视频Sora的核心技术Diffusion Transformer 精选

已有 4632 次阅读 2024-2-23 11:21 |系统分类:观点评述

在前天(221日)写了博文《文生视频Sora对集成电路可靠性智能预测的启示》,网页链接:https://blog.sciencenet.cn/blog-99553-1422447.html,初步对比了本团队在研的集成电路可靠性智能预测技术和OPENAI公司开发的文生视频Sora技术的共同点,摘录如下:比较让人欣慰的是,上述的路子已经在某些集成电路可靠性的AI预测上基本实现了,最主要的经验是充分发挥了基于像素的任意复杂和任意尺度的集成电路几何建模、基于Transformer架构和Partition技术(和Sora里的Patch技术是基本相同的技术,用Partition来描述任意分区图像)的任意复杂和任意尺度及任意像素的集成电路的系统组织和关系识别

昨天晚上突然自问:本团队在研的集成电路可靠性智能预测技术和OPENAI公司开发的文生视频Sora技术的共同点究竟是什么?为什么出现这样的共同点?背后的逻辑究竟是什么?反思很久,将其初步梳理出来,权当碰瓷当下热点,以“AI+IC”为例,希望能对大家有启发,助推“AI+X”的产业技术进步。

1、像素建模(相同的术语pixel modeling

只要能用像素表达的图形,就可以直接用像素建立几何模型;自然也就可以基于像素方法建立有限元模型,适用于任意复杂和任意尺度的几何建模和有限元划分(如果需要的话)。实例可见本团队的已发表论文[1]中的图7。显然,这种普遍适用、高效率、高精度、低成本、易重构的建模技术是不可或缺的基础性技术。

2、分区图像处理(SoraPatch技术/本团队的Partition技术)

SoraPatch描述分区图像处理技术,本团队用Partition描述分区图像处理技术,其本意都是把任意复杂、任意尺度的图形图像按需离散化,且实现时空间的自动编号、即时调用、精细处理、结果存储。这种普遍适用、自适应、高效率的分区图像处理技术也是不可或缺的基础性技术。实例可见本团队的已发表论文[1]中的图7[2]中的图11,该自动编号方式体现了分区图像处理的普适性、自适应、高效率和高精度。

3、图案生成(SoraDiffusion技术/本团队的Equivalence技术)

文生视频Sora采用Diffusion技术对任意Patch按需加噪点/去噪点,实现了任意图像的高效率、自动化按需生成。本团队用Equivalence技术对任意Partition均质化/去均质化,实现了任意的集成电路图案的高效率、自动化按需生成。实例可见本团队的已发表论文[2]中的图6,该Equivalence技术体现了集成电路图案按需生成的普适性和高效率,为基于粗粒化/细粒化(全局模型/子模型)技术路线的集成电路系统在全生命周期内的可靠性分析提供了技术基础。

4Transformer架构(相同的神经网络架构)

文生视频Sora采用Transformer架构,把分区处理的图像Patch系统地组织起来,识别相互关系,实现相互协同,生成时空间的精美视频。本团队也用Transformer架构,把分区处理的图像Partition系统地组织起来,识别相互关系,实现相互协同,生成集成电路产品可靠性智能预测的结果。实例可见本人在2023127日写的科学网博文《集成电路产品可靠性建模仿真与智能预测技术的校企交流》里的“6.2 基于嵌入式单胞方法的IC布线层分区等效CTE的智能预测,网页链接:https://blog.sciencenet.cn/home.php?mod=space&uid=99553&do=blog&id=1412800

在加强训练后即能生成时空间的集成电路可靠性的计算机动画,实现集成电路产品可靠性的智能、视频化、准确预测(摘自221日写的博文《文生视频Sora对集成电路可靠性智能预测的启示》),在第1-3部分工作的基础上理应是水到渠成的事。

需要指出的是,集成电路可靠性分析的精度要求很高,不能有幻觉,远比通常的文生视频反映物理现象的精度要求高。由于集成电路可靠性分析的专业性强,其视频可观赏性差,AI训练样本的收集难度大,会影响相关的文生视频技术研发。这估计是“AI+工业技术”的共性难点。

感谢我们大团队的总负责人安老师的指导!感谢我带的这个小团队的十多名研究生的努力探索和锐意创新!期待着各上一层楼!

抛砖引玉,请大家批评指正!

 

参考文献:

1. Guoshun Wan, Qi Dong, Xiaochen Sun, Hao Zheng, Mengxuan Cheng, Zhiyan Zhao, Yuxi Jia. Cross-scale numerical analysis of PCB lamination process by an innovative partitioned homogenization method for the non-uniform curing shrinkage effect. Microelectronics Reliability, 2024, 154: 115325.

2. Guoshun Wan, Qi Dong, Xiaochen Sun, Mengxuan Cheng, Hao Zheng, Zhiyan Zhao, Yuxi Jia. Highly efficient and accurate algorithm for multiscale equivalent modeling and mechanical performance simulation of printed circuit boards. Microelectronics Reliability, 2023, 147: 115134.

参考文献1-Cross-scale numerical analysis.pdf

参考文献2-Highly efficient and accurate algorithm.pdf



https://blog.sciencenet.cn/blog-99553-1422716.html

上一篇:文生视频SORA对集成电路可靠性智能预测的启示
下一篇:Transformer用于集成电路AI预测的经验
收藏 IP: 58.194.168.*| 热度|

9 宁利中 高宏 郑永军 周忠浩 张林 刘海猛 葛及 杨正瓴 刘跃

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-12-22 10:49

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部