YucongDuan的个人博客分享 http://blog.sciencenet.cn/u/YucongDuan

博文

《段玉聪推荐人工意识芯片设计必读50篇》-第2届世界人工意识大会AC2024科普系列

已有 956 次阅读 2024-3-2 16:46 |系统分类:论文交流

意图驱动的数据信息知识智慧融合发明创造方法:DIKWP-TRIZ

(中国人自己的原创发明创造方法:DIKWP-TRIZ)

World Artificial Consciousness Conference Popular Series -

2世界人工意识大会AC2024科普系列-

 

段玉聪推荐人工意识芯片设计必读50篇》

"50 Must-Read Papers on chip of Artificial Consciousness Recommended by Yucong Duan "

 

吴坤光 (Kunguang Wu)

段玉聪 (Yucong Duan)

DIKWP-AC人工意识(全球实验室

AGI-AIGC-GPT评测DIKWP(全球)实验室

世界人工意识协会

(联系邮箱:duanyucong@hotmail.com)

 

The Inaugural World Conference on Artificial Consciousness

(AC2023), August 2023, hosted by DIKWP-AC Research

目录

1. 神经网格:记录大脑表面的动作电位

2. 机器意识的兴起:用计算模型研究意识

3. 片上器官指南

4. 人体器官芯片微加工

5. 能量、空间和时间前沿的神经推理

6. nacom使用分层视觉特征对所见和想象对象进行通用解码

7. 用于更高复杂度神经形态计算的动态忆阻器

8. CUDA并行计算体验

9. CUDA可扩展并行编程:CUDA是应用开发人员一直期待的并行编程模式吗?

10. Lincoln人工智能计算调查(LAICS)更新

11. 神经形态系统中的记忆和信息处理

12. 用于构建自主认知系统的神经形态电子电路

13. 可编程光子电路

14. 基于片上衍射光学的光子机器学习

15. 片上光子突触

16. 使用硅光子权重组的神经形态光子网络

17. 用于实现复数神经网络的光学神经芯片

18. 片上器官:进入下一个十年

19. 面向人工通用智能的混合天机芯片架构

20. 利用电子突触进行人脸分类

21. 具有可扩展通信网络和接口的百万脉冲神经元集成电路

22. 多血管器官芯片的机器人流体耦合与查询

23. 人类iPSC衍生的血脑屏障芯片可用于疾病建模和个性化医疗应用

24. 利用神经形态计算实现基于尖峰的机器智能

25. 用于神经形态计算的有机电子学

26. Loihi:一种具有片上学习功能的神经形态多核处理器

27. Loihi推进神经形态计算:结果与展望

28. 一种用于动态神经形态异步处理器(DYNAPs)的具有异构存储结构的可扩展多核体系结构

29. 全集成可重编程忆阻器CMOS系统,用于高效的乘法-累加运算

30. IoMT通过深度学习和边缘计算实现实时血糖预测

31. 丢弃与批量规范化对深度学习影响的实证研究

32. 基于基因组和SNP数据的稳健人口统计推断

33. 忆阻Hopfield神经网络中基于内禀噪声的节能组合优化

34. 神经网络的模型压缩和硬件加速:综述

35. 脉冲神经元递归网络学习困境的一种解决方案

36. 触觉反馈智能手套作为虚拟/增强现实应用的创造性人机界面(HMI

37. 使用集成光子张量核的并行卷积处理

38. Eyeriss:一种用于深度卷积神经网络的节能可重构加速器

39. 用于神经形态计算的新兴存储设备

40. 边缘云极化与协同:人工智能综合调查

41. 一种快速芯片设计的图形布局方法

42. 一种基于电阻式随机存取存储器的存储器芯片

43. 神经启发计算芯片

44. 用于大规模神经建模的晶圆级神经形态硬件系统

45. 28nm CMOS 0.086-mm^2 12.7-pJ/SOP 64k Synapse 256神经元在线学习数字脉冲神经形态处理器

46. ReckOn: 一个28nm亚mm2任务不可知的脉冲递归神经网络处理器,支持在第二个长时间尺度上的片上学习

47. 神经形态电子系统

48. SpiNNaker项目

49. 神经网格:用于大规模神经模拟的模拟-数字混合多芯片系统

50. ReRAM:历史、现状和未来

参考文献

 

 

1. 神经网格:记录大脑表面的动作电位

出版物标题:Nature Neuroscience

作者:Khodagholy, Dion; Gelinas, Jennifer N; Thesen, Thomas; Doyle, Werner; Devinsky, Orrin; Malliaras, George G; Buzsáki, György

出版商:Nature

出版时间:2015-02-01

DOI: 10.1038/nn.3905

原文链接:https://www.nature.com/articles/nn.3905

摘要:以动作电位为分辨率的神经网络记录对于理解大脑如何处理信息至关重要。在这里,我们通过开发一种基于有机材料的、超整合的、生物相容的和可伸缩的神经界面阵列(“神经网格”(NeuroGrid)来应对这一挑战,该阵列可以记录浅表皮层神经元的局部场电位(LFPs)和动作电位,而无需穿透大脑表面。神经网格的多个相邻电极可以同时获得具有中间神经元和锥体细胞特征的棘波,从而可以分离出大鼠的单个神经元。棘波活动表现出持续的脑震荡的一致相位调制,并且在持续时间超过1周的记录中是稳定的。我们还记录了癫痫手术患者术中LFP调制的放电活动。神经网格技术是一种大规模、稳定地记录神经元棘波和局部群体突触活动的有效方法,可增强对跨时空尺度神经过程的理解,有可能促进脑疾病的诊断和治疗。

 

 

2. 机器意识的兴起:用计算模型研究意识

出版物标题:Neural Networks

作者:Reggia, James A.

出版商:Elsevier

出版时间:2013-08-01

DOI: 10.1016/j.neunet.2013.03.011

原文链接:https://linkinghub.elsevier.com/retrieve/pii/S0893608013000968

摘要:在过去的二十年里,创造意识计算模型已经加速,创造了一个被称为人工意识的领域。这项有争议的工作有两个主要动机:发展对人类/动物意识本质的更好的科学理解,以及制造出真正展示意识的机器。这篇综述首先简要地解释了机器意识研究者使用的一些概念和术语,并总结了与过去的计算研究特别相关的人类意识的关键神经生物学相关因素。然后对过去二十年中发展起来的意识模型进行了综述。根据开发人员选择的意识最核心的基本问题,这些模型大致可分为五类:全局工作空间、信息集成、内部自我模型、更高级别的表示或注意机制。对于这五个类别中的每一个类别,都概述了过去的工作,详细介绍了一个有代表性的例子来说明该方法,并对该方法的贡献和局限性提出了评论。基于这一综述,本文对这一领域的现状给出了三个结论:(1)计算建模已经成为科学研究意识的一种有效且被接受的方法;(2)现有的计算模型已经成功地捕获了许多与有意识信息处理相关的神经生物学、认知和行为的机器模拟;(3)现有的人工意识研究方法还没有令人信服地证明现象机器意识,甚至没有明确的证据表明人工现象意识最终是可能的。文章最后讨论了在这一领域继续开展工作的重要性,考虑到它提出的伦理问题,并对未来的发展做出预测。

 

3. 片上器官指南

出版物标题:Nature Reviews Methods Primers

作者:Leung, Chak Ming; De Haan, Pim; Ronaldson-Bouchard, Kacey; Kim, Ge-Ah; Ko, Jihoon; Rho, Hoon Suk; Chen, Zhu; Habibovic, Pamela; Jeon, Noo Li; Takayama, Shuichi; Shuler, Michael L.; Vunjak-Novakovic, Gordana; Frey, Olivier; Verpoorte, Elisabeth; Toh, Yi-Chin

出版商:Nature

出版时间:2022-05-12

DOI: 10.1038/s43586-022-00118-6

原文链接:https://www.nature.com/articles/s43586-022-00118-6

摘要:片上器官(OoCs)是一种含有在微流控芯片内生长的工程或天然微型组织的系统。为了更好地模拟人体生理学,芯片被设计用于控制细胞微环境和维持组织特异性功能。OoCs结合组织工程和微细加工技术的发展,作为研究人体病理生理学和治疗作用的下一代实验平台,已引起人们的兴趣。OoC的例子和应用程序一样多,这使得新的研究人员很难理解是什么使一个OoC比另一个OoC更适合应用程序。本教程旨在介绍在开发特定于应用程序的OoC时需要考虑的OoC方面。本手册涵盖设计、制造和操作OoC的指导原则和注意事项,以及从OoC设备中提取生物信息的后续分析技术。除此之外,还讨论了OoC技术的当前和未来应用,以便在OoC系统的实施过程中为设计和操作决策提供信息。

 

4. 人体器官芯片微加工

出版物标题:Nature Protocols

作者:Huh, Dongeun; Kim, Hyun Jung; Fraser, Jacob P; Shea, Daniel E; Khan, Mohammed; Bahinski, Anthony; Hamilton, Geraldine A; Ingber, Donald E

出版商:Nature

出版时间:2013-11-01

DOI: 10.1038/nprot.2013.137

原文链接:https://www.nature.com/articles/nprot.2013.137

摘要:片上器官(Organs on chips)是一种微工程仿生系统,包含由活体细胞排列的微流控通道,在体外复制活体器官的关键功能单元,重建完整的人体器官水平病理生理学。这些微型装置可用于测试药物和化学品的功效和毒性,并可用于建立人体疾病的体外模型。因此,在医药、化学和环境应用中,它们可能是传统动物模型的低成本替代品。在这里,我们描述了一个协议的制造,微工程和操作这些微流控器官芯片系统。首先,利用微工程技术制备了一种多层微流控器件,该器件包含两个平行的弹性微通道,每个弹性微通道由一层薄的多孔柔性膜隔开,两侧各有两个全高的空心真空室;这需要3.5 d才能完成。为了创造一种“呼吸”的芯片肺,模拟活体人肺的机械活动肺泡毛细血管界面,在微型设备中培养人肺泡上皮细胞和微血管内皮细胞,并向侧腔施加生理流量和周期性抽吸,以再现有节律的呼吸运动。我们描述了该方案如何能够很容易地适应开发其他人体器官芯片,例如由经历蠕动样运动和滴流液体流动的人类肠上皮细胞排列的芯片上肠道。此外,我们还讨论了实验技术,可用于分析细胞在这些器官芯片设备。

 

5. 能量、空间和时间前沿的神经推理

出版物标题:Science

作者:Modha, Dharmendra S.; Akopyan, Filipp; Andreopoulos, Alexander; Appuswamy, Rathinakumar; Arthur, John V.; Cassidy, Andrew S.; Datta, Pallab; DeBole, Michael V.; Esser, Steven K.; Otero, Carlos Ortega; Sawada, Jun; Taba, Brian; Amir, Arnon; Bablani, Deepika; Carlson, Peter J.; Flickner, Myron D.; Gandhasri, Rajamohan; Garreau, Guillaume J.; Ito, Megumi; Klamo, Jennifer L.; Kusnitz, Jeffrey A.; McClatchey, Nathaniel J.; McKinstry, Jeffrey L.; Nakamura, Yutaka; Nayak, Tapan K.; Risk, William P.; Schleupen, Kai; Shaw, Ben; Sivagnaname, Jay; Smith, Daniel F.; Terrizzano, Ignacio; Ueda, Takanori

出版商:American Association for the Advancement of Science

出版时间:2023-10-20

DOI: 10.1126/science.adh1174

原文链接:https://www.science.org/doi/10.1126/science.adh1174

摘要:计算从一开始就以处理器为中心,内存和计算是分开的。NorthPole是一种神经推理架构,其灵感来源于有机大脑,并针对无机硅进行了优化。该架构通过消除片外内存、将计算与片上内存交织在一起,并在外部显示为一个活动内存芯片,模糊了这一边界。NorthPole是一种低精度、大规模并行、密集互联、节能的空间计算体系结构,具有协同优化、高利用率的编程模型。在ResNet50基准图像分类网络上,相对于使用类似12纳米技术处理的图形处理单元(GPU),NorthPole实现了每秒帧数(FPS/瓦特高25倍的能量度量、每晶体管FPS5倍的空间度量和低22倍的延迟时间度量。对于Yolo-v4探测网络,也报告了类似的结果。NorthPole优于所有流行的体系结构,即使是使用更先进技术流程的体系结构。

 

6. nacom使用分层视觉特征对所见和想象对象进行通用解码

出版物标题:Nature Communications

作者:Horikawa, Tomoyasu; Kamitani, Yukiyasu

出版商:Nature

出版时间:2017-05-22

DOI: 10.1038/ncomms15037

原文链接:https://www.nature.com/articles/ncomms15037

摘要:目标识别是人类视觉和机器视觉的关键功能。虽然已经实现了大脑对所见和想象对象的解码,但预测仅限于训练示例。利用机器视觉的原理,提出了一种任意对象的解码方法,即通过分层处理将一个对象类别表示为一组不变的特征。我们表明,视觉特征,包括来自深卷积神经网络的视觉特征,可以从fMRI模式预测,并且对于低/高级别的特征和低/高级别的视觉区域,可以分别获得更高的准确性。预测特征用于从大量对象图像的一组计算特征中识别所看到/想象的对象类别(扩展到解码器训练之外)。此外,解码的想象对象揭示了渐进招募高到低的视觉表征。我们的结果证明了人类和机器视觉之间的同源性及其在基于大脑的信息检索中的应用。

 

7. 用于更高复杂度神经形态计算的动态忆阻器

出版物标题:Nature Reviews Materials

作者:Kumar, Suhas; Wang, Xinxin; Strachan, John Paul; Yang, Yuchao; Lu, Wei D.

出版商:Nature

出版时间:2022-07-01

DOI: 10.1038/s41578-022-00434-z

原文链接:https://www.nature.com/articles/s41578-022-00434-z

摘要:随着晶体管规模的减小和计算需求的指数级增长,当前电子器件和材料的研究受到驱动,这使得当前的数字计算越来越受到容量和功耗的限制。一种很有希望的替代方法是基于内部设备动力学执行计算,这样每个设备在功能上取代复杂的数字电路,从而实现自适应“复杂计算”。忆阻器是一类通过其内部电生理过程自然体现高阶动态特性的器件。在这篇综述中,我们讨论了新的材料特性如何实现复杂的动力学,并定义了忆阻器器件和系统的不同复杂度。这些设备级的本地复杂动态使新的计算架构成为可能,例如大脑启发的神经形态系统,它提供了高能效和高计算能力。

 

8. CUDA并行计算体验

 

出版物标题:IEEE Micro

作者:Garland, Michael; Le Grand, Scott; Nickolls, John; Anderson, Joshua; Hardwick, Jim; Morton, Scott; Phillips, Everett; Zhang, Yao; Volkov, Vasily

出版商:IEEE

出版时间:2008-07-01

DOI: 10.1109/MM.2008.57

原文链接:http://ieeexplore.ieee.org/document/4626815/

摘要:CUDA编程模型提供了描述固有并行计算的简单方法,NVIDIATesla GPU体系结构在大规模并行问题上提供了高计算吞吐量。本文综述了将CUDA应用于各种问题的经验,以及通过在GPU上执行关键计算而获得的在传统CPU体系结构上运行的序列码的并行加速比。

 

9. CUDA可扩展并行编程:CUDA是应用开发人员一直期待的并行编程模式吗?

 

出版物标题:Queue

作者:Nickolls, John and Buck, Ian and Garland, Michael and Skadron, Kevin

出版商:ACM

出版时间:2008-03-01

DOI: 10.1145/1365490.1365500

原文链接:https://dl.acm.org/doi/abs/10.1145/1365490.1365500

摘要:多核CPU和多核GPU的出现意味着主流处理器芯片现在是并行系统。此外,它们的平行性继续与摩尔定律成比例。面临的挑战是开发主流应用程序软件,透明地扩展其并行性,以利用不断增加的处理器核数,就像3D图形应用程序透明地将其并行性扩展到具有广泛变化的核数的多核GPU一样。

 

10. Lincoln人工智能计算调查(LAICS)更新

 

出版物标题:2023 IEEE High Performance Extreme Computing Conference (HPEC)

作者:Reuther, Albert; Michaleas, Peter; Jones, Michael; Gadepally, Vijay; Samsi, Siddharth; Kepner, Jeremy

出版商:IEEE

出版时间:2023-10-13

DOI: 10.1109/HPEC58863.2023.10363568

原文链接:https://ieeexplore.ieee.org/abstract/document/10363568

摘要:本文是对过去四年来人工智能加速器和处理器调查的更新,现称为林肯人工智能计算调查——LAICS(发音为“lace”)。与往年一样,本文收集和总结了目前已公开发布的具有峰值性能和峰值功耗数字的商用加速器。将性能值和功率值绘制在散点图上,并再次讨论和分析此图上趋势的一些维度和观察值。市场细分在散点图上突出显示,每个细分的缩放图也包括在内。最后,简要介绍了今年调查中添加的每种新加速器。

 

11. 神经形态系统中的记忆和信息处理

 

出版物标题:Proceedings of the IEEE

作者:Indiveri, Giacomo; Liu, Shih-Chii

出版商:IEEE

出版时间:2015-08-01

DOI: 10.1109/JPROC.2015.2444094

原文链接:https://ieeexplore.ieee.org/abstract/document/7159144

摘要:大脑启发的神经形态处理器和当前的冯诺依曼处理器架构之间的一个显著区别是记忆和处理的组织方式。随着信息和通信技术通过在数字处理器中增加核来满足对增加计算能力的需求,神经形态工程师和科学家可以通过构建处理器体系结构来补充这一需求,在处理器体系结构中,内存随处理一起分布。在本文中,我们提出了一个调查大脑启发处理器架构,支持模型的皮层网络和深层神经网络。这些体系结构包括从多神经元系统的串行时钟实现到大规模并行异步实现,从纯数字系统到混合模拟/数字系统,这些系统实现了更具生物性的神经元和突触模型,以及一套类似于生物神经系统的适应和学习机制。我们描述了所追求的不同方法的优势,并提出了需要解决的挑战,以建立人工神经处理系统,可以显示丰富的行为在生物系统中看到。

 

12. 用于构建自主认知系统的神经形态电子电路

 

出版物标题:Proceedings of the IEEE

作者:Chicca, Elisabetta; Stefanini, Fabio; Bartolozzi, Chiara; Indiveri, Giacomo

出版商:IEEE

出版时间:2014-09-01

DOI: 10.1109/JPROC.2014.2313954

原文链接:https://ieeexplore.ieee.org/abstract/document/6809149/

摘要:最近,一些模拟和数字脑激励电子系统被提出作为快速模拟脉冲神经网络的专用解决方案。虽然这些体系结构有助于探索大规模神经系统模型的计算特性,但构建低功耗紧凑的物理伪影的挑战仍然存在,这些伪影可以在现实世界中智能地表现并显示认知能力。在本文中,我们提出了一套神经形态工程解决方案,以解决这一挑战。特别地,我们回顾了用于实时模拟神经和突触动力学的神经形态电路,并讨论了生物物理真实时间动力学在硬件神经处理结构中的作用;我们回顾了在实际物理系统中实现基于尖峰的塑性机制的挑战,并给出了实现它们的模拟电子电路的例子;我们描述了递归神经网络的计算特性,并展示了神经形态赢家通吃电路如何实现工作记忆和决策机制。我们用从我们自己的电路和系统中获得的实验结果验证了所提出的神经形态方法,并且讨论了本工作中提出的电路和网络如何代表一组有效且优雅地实现神经形态认知的有用组件。

 

13. 可编程光子电路

出版物标题:Nature

作者:Bogaerts, Wim; Pérez, Daniel; Capmany, José; Miller, David A. B.; Poon, Joyce; Englund, Dirk; Morichetti, Francesco; Melloni, Andrea

出版商:Nature

出版时间:2020-10-08

DOI: 10.1038/s41586-020-2764-0

原文链接:https://www.nature.com/articles/s41586-020-2764-0

摘要:集成光子技术的日益成熟使得在芯片表面构建越来越大、越来越复杂的光子电路成为可能。如今,这些电路中的大多数都是为特定的应用而设计的,但随着复杂性的增加,出现了一代光子电路,这些光子电路可以通过片上波导、可调谐光束耦合器和光学移相器的网格使用软件编程,实现各种各样的功能。在这里,我们讨论这一新兴技术的状态,包括光子构建块和电路结构的最新发展,以及电子控制和编程策略。我们涵盖了线性矩阵运算、量子信息处理和微波光子学中可能的应用,并研究了这些通用芯片如何通过提供新的光学功能原型的更高层次平台而无需定制芯片制造来加速未来光子电路的发展。

 

 

14. 基于片上衍射光学的光子机器学习

出版物标题:Nature Communications

作者:Fu, Tingzhao; Zang, Yubin; Huang, Yuyao; Du, Zhenmin; Huang, Honghao; Hu, Chengyang; Chen, Minghua; Yang, Sigang; Chen, Hongwei

出版商:Nature

出版时间:2023-01-05

DOI: 10.1038/s41467-022-35772-7

原文链接:https://www.nature.com/articles/s41467-022-35772-7

摘要:机器学习技术已广泛应用于高性能信息处理领域。然而,传统的von neumann结构严重限制了现有硬件的计算速度。光子方法在执行涉及复杂计算的深度学习过程方面显示出非凡的潜力。本文提出了一种基于绝缘体上硅平台的片上衍射光学神经网络(DON),以实现高集成度、低功耗的机器学习任务。为了验证所提出的DONN算法的有效性,我们分别制作了0.15 mm0.3 mm1隐层和3隐层片上DONN,并在鸢尾植物数据集上进行了实验验证,其分类准确率分别为86.7%90%。在此基础上,制作了一个3层隐藏的片上DON,对修改后的国家标准与技术研究院手写数字图像进行分类。所提出的无源片上DON为提高未来人工智能硬件的性能提供了一个潜在的解决方案。

 

15. 片上光子突触

出版物标题:Science Advances

作者:Cheng, Zengguang; Ríos, Carlos; Pernice, Wolfram H. P.; Wright, C. David; Bhaskaran, Harish

出版商:Elsevier BV

出版时间:2017-09-01

DOI: 10.1126/sciadv.1700160

原文链接:https://www.science.org/doi/10.1126/sciadv.1700160

摘要:对新的“神经形态计算”架构的研究非常激烈,这些架构模仿了大脑同时处理和存储信息的方法。因为,在真实的大脑中,神经元突触的数量要比神经元的数量多出许多数量级,所以实现模拟突触功能的硬件设备是这种搜索的第一步,也是必不可少的一步。我们报告的发展,这样的硬件突触,实现完全在光学领域通过光子集成电路的方法。使用纯光学手段带来了超快的操作速度,几乎无限的带宽,并没有电互连功率损耗的好处。我们的突触使用相变材料与集成氮化硅波导相结合。关键的是,我们可以通过改变光脉冲的数量来随机设置突触的重量,这是一种非常简单但功能强大的方法,预示着系统具有连续可变的突触可塑性,类似于生物突触的真实模拟性质。

 

16. 使用硅光子权重组的神经形态光子网络

出版物标题:Scientific Reports

作者:Tait, Alexander N.; De Lima, Thomas Ferreira; Zhou, Ellen; Wu, Allie X.; Nahmias, Mitchell A.; Shastri, Bhavin J.; Prucnal, Paul R.

出版商:Nature

出版时间:2017-08-07

DOI: 10.1038/s41598-017-07754-z

原文链接:https://www.nature.com/articles/s41598-017-07754-z

摘要:用于高性能信息处理的光子系统重新引起人们的兴趣。神经形态硅光子学具有集成处理功能的潜力,这些功能远远超过电子学的能力。我们报告了第一次观察到的硅光子神经网络,其中连接配置的微环重量银行。通过动态分岔分析,证明了硅光子电路与连续神经网络模型的数学同构性。利用这一同构关系,利用“神经编译器”编制了一个模拟的24节点硅光子神经网络,以解决微分系统仿真任务。与传统基准相比,预计加速度为294倍。我们还提出并推导了调制器类神经元的功耗分析,与激光类神经元不同,调制器类神经元与硅光子平台兼容。在规模不断扩大的情况下,神经形态硅光子学可以获得用于无线电、控制和科学计算的超快信息处理的新领域.

 

17. 用于实现复数神经网络的光学神经芯片

出版物标题:Nature Communications

作者:Zhang, H.; Gu, M.; Jiang, X. D.; Thompson, J.; Cai, H.; Paesani, S.; Santagati, R.; Laing, A.; Zhang, Y.; Yung, M. H.; Shi, Y. Z.; Muhammad, F. K.; Lo, G. Q.; Luo, X. S.; Dong, B.; Kwong, D. L.; Kwek, L. C.; Liu, A. Q.

出版商:Nature

出版时间:2021-01-19

DOI: 10.1038/s41467-020-20719-7

原文链接:https://www.nature.com/articles/s41467-020-20719-7

摘要:复值神经网络比实值神经网络有许多优点。传统的数字电子计算平台无法执行真正复杂的数值表示和运算。相比之下,对相位和幅度信息进行编码的光计算平台可以通过光干扰执行复杂的运算,从而显著提高计算速度和能量效率。然而,迄今为止,大多数光学神经网络的演示仍然只利用为数字计算机设计的传统实值框架,丧失了光学计算的许多优点,例如高效的复数运算。在这篇文章中,我们重点介绍了一个光学神经芯片(ONC)实现真正的复杂值神经网络。在简单布尔任务、虹膜数据集的物种分类、非线性数据集的分类(圆形和螺旋形)和手写识别四种设置下,我们测试了复值ONC的性能。与实值ONC相比,复数ONC具有很强的学习能力(即高精度、快速收敛和构造非线性决策边界的能力).

 

18. 片上器官:进入下一个十年

出版物标题:Nature Reviews Drug Discovery

作者:Low, Lucie A.; Mummery, Christine; Berridge, Brian R.; Austin, Christopher P.; Tagle, Danilo A.

出版商:Nature

出版时间:2021-05-01

DOI: 10.1038/s41573-020-0079-3

原文链接:https://www.nature.com/articles/s41573-020-0079-3

摘要:芯片上器官(OoCs)又称为微物理系统或组织芯片(其术语是同义词),由于其在药物发现和开发过程的多个阶段具有提供信息的潜力,近年来引起了人们的极大兴趣。这些创新设备可以提供对正常人体器官功能和疾病病理生理学的见解,以及更准确地预测人体试验药物的安全性和有效性。因此,在短期内,它们可能成为传统的临床前细胞培养方法和体内动物研究的有益补充,在某些情况下,在长期内,它们可能成为它们的替代品。在过去的十年中,OoC领域在生物和工程的复杂性、生理相关性的证明以及应用范围方面取得了巨大的进步。这些进展也揭示了新的挑战和机遇,需要来自多个生物医学和工程领域的专业知识来充分实现面向对象的基本应用和转化应用的前景。本文简要介绍了这种快速卷取技术,讨论了当前的应用及其实现注意事项,并对未来十年的发展方向提出了建议。

 

19. 面向人工通用智能的混合天机芯片架构

出版物标题:Nature

作者:Pei, Jing; Deng, Lei; Song, Sen; Zhao, Mingguo; Zhang, Youhui; Wu, Shuang; Wang, Guanrui; Zou, Zhe; Wu, Zhenzhi; He, Wei; Chen, Feng; Deng, Ning; Wu, Si; Wang, Yu; Wu, Yujie; Yang, Zheyu; Ma, Cheng; Li, Guoqi; Han, Wentao; Li, Huanglong; Wu, Huaqiang; Zhao, Rong; Xie, Yuan; Shi, Luping

出版商:Nature

出版时间:2019-08-01

DOI: 10.1038/s41586-019-1424-8

原文链接:https://www.nature.com/articles/s41586-019-1424-8

摘要:人工通用智能(AGI)有两种发展方向:面向计算机科学和面向神经科学。由于两种方法在公式和编码方案上的根本差异,这两种方法依赖于不同且不兼容的平台,阻碍了AGI的发展。一个通用的平台,可以支持流行的计算机科学为基础的人工神经网络以及神经科学启发的模型和算法是非常可取的。在这里,我们介绍了天际芯片,它集成了这两种方法,提供了一个混合,协同平台。该芯片采用多核体系结构、可重构构建块和流线型数据流,采用混合编码方案,既能适应基于计算机科学的机器学习算法,又能方便地实现脑激励电路和多种编码方案。在一个无人自行车系统中,我们用一个芯片演示了多种算法和模型的同时处理,实现了实时目标检测、跟踪、语音控制、避障和平衡控制。我们的研究有望通过为更通用的硬件平台铺平道路来刺激AGI的发展。

 

20. 利用电子突触进行人脸分类

出版物标题:Nature Communications

作者:Yao, Peng; Wu, Huaqiang; Gao, Bin; Eryilmaz, Sukru Burc; Huang, Xueyao; Zhang, Wenqiang; Zhang, Qingtian; Deng, Ning; Shi, Luping; Wong, H.-S. Philip; Qian, He

出版商:Nature

出版时间:2017-05-12

DOI: 10.1038/ncomms15199

原文链接:https://www.nature.com/articles/ncomms15199

摘要:传统的硬件平台由于处理器与片外存储器之间的数据移动,消耗了大量的能量进行认知学习。使用模拟重量存储的大脑启发设备技术可以更有效地完成认知任务。在这里,我们提出了一种模拟非易失性电阻存储器(电子突触)铸造友好的材料。该装置具有双向连续重量调制特性。实验结果表明,采用1024单元阵列和并行在线训练相结合的方法进行了灰度人脸分类。与使用带片外存储器的Intel Xeon Phi处理器(带有假定的片上数字电阻随机存取存储器)的实现相比,每次迭代的模拟突触内的能耗低1000×(20×)。测试集的精度接近使用中央处理器的结果。这些实验结果巩固了模拟突触阵列的可行性,并为建立一个高效、大规模的神经形态系统铺平了道路。

 

21. 具有可扩展通信网络和接口的百万脉冲神经元集成电路

出版物标题:Science

作者:Merolla, Paul A.; Arthur, John V.; Alvarez-Icaza, Rodrigo; Cassidy, Andrew S.; Sawada, Jun; Akopyan, Filipp; Jackson, Bryan L.; Imam, Nabil; Guo, Chen; Nakamura, Yutaka; Brezzo, Bernard; Vo, Ivan; Esser, Steven K.; Appuswamy, Rathinakumar; Taba, Brian; Amir, Arnon; Flickner, Myron D.; Risk, William P.; Manohar, Rajit; Modha, Dharmendra S.

出版商:American Association for the Advancement of Science

出版时间:2014-08-08

DOI: 10.1126/science.1254642

原文链接:https://www.science.org/doi/10.1126/science.1254642

摘要:受大脑结构的启发,我们开发了一种高效、可扩展和灵活的非冯诺依曼体系结构,该体系结构利用了当代硅技术。为了演示,我们构建了一个54亿晶体管芯片,其中4096个神经突触核通过集成了100万个可编程脉冲神经元和2.56亿个可配置突触的芯片内网络互连。芯片可以通过芯片间通信接口以二维平铺,无缝地将架构扩展到任意大小的cortexlike薄片。该体系结构非常适合于实时使用复杂神经网络的许多应用,例如,多目标检测和分类。该芯片以每秒30帧的速度输入400像素×240像素的视频,功耗为63毫瓦。

 

22. 多血管器官芯片的机器人流体耦合与查询

出版物标题:Nature Biomedical Engineering

作者:Novak, Richard; Ingram, Miles; Marquez, Susan; Das, Debarun; Delahanty, Aaron; Herland, Anna; Maoz, Ben M.; Jeanty, Sauveur S. F.; Somayaji, Mahadevabharath R.; Burt, Morgan; Calamari, Elizabeth; Chalkiadaki, Angeliki; Cho, Alexander; Choe, Youngjae; Chou, David Benson; Cronce, Michael; Dauth, Stephanie; Divic, Toni; Fernandez-Alcon, Jose; Ferrante, Thomas; Ferrier, John; FitzGerald, Edward A.; Fleming, Rachel; Jalili-Firoozinezhad, Sasan; Grevesse, Thomas; Goss, Josue A.; Hamkins-Indik, Tiama; Henry, Olivier; Hinojosa, Chris; Huffstater, Tessa; Jang, Kyung-Jin; Kujala, Ville; Leng, Lian; Mannix, Robert; Milton, Yuka; Nawroth, Janna; Nestor, Bret A.; Ng, Carlos F.; O’Connor, Blakely; Park, Tae-Eun; Sanchez, Henry; Sliz, Josiah; Sontheimer-Phelps, Alexandra; Swenor, Ben; Thompson, Guy; Touloumes, George J.; Tranchemontagne, Zachary; Wen, Norman; Yadid, Moran; Bahinski, Anthony; Hamilton, Geraldine A.; Levner, Daniel; Levy, Oren; Przekwas, Andrzej; Prantil-Baun, Rachelle; Parker, Kevin K.; Ingber, Donald E.

出版商:Nature

出版时间:2020-01-27

DOI: 10.1038/s41551-019-0497-x

原文链接:https://www.nature.com/articles/s41551-019-0497-x

摘要:器官芯片可以再现器官水平(病理)生理学,然而药代动力学和药效学分析需要通过血管灌注连接多器官系统。在这里,我们描述了一种“询问器”,它采用液体处理机器人、定制软件和集成移动显微镜,用于在标准组织培养培养箱中对多达10个器官芯片进行自动培养、灌注、添加培养基、流体连接、样本采集和原位显微镜成像。在培养过程中,当通过普通血液替代物通过介质和内皮细胞排列的血管通道进行间歇性流体耦合时,机器人问诊器维持8个血管化、双通道器官芯片(肠、肝、肾、心、肺、皮肤、血脑屏障和脑)的活力和器官特异性功能3周。利用机器人询问器和生理学多室降阶模型对菊粉示踪剂在多器官人体芯片上的分布进行了定量预测。自动培养系统能够对器官芯片中的细胞进行成像,并在不影响流体耦合的情况下对血管和间质室进行重复采样。

 

 

23. 人类iPSC衍生的血脑屏障芯片可用于疾病建模和个性化医疗应用

出版物标题:Cell Stem Cell

作者:Vatine, Gad D.; Barrile, Riccardo; Workman, Michael J.; Sances, Samuel; Barriga, Bianca K.; Rahnama, Matthew; Barthakur, Sonalee; Kasendra, Magdalena; Lucchesi, Carolina; Kerns, Jordan; Wen, Norman; Spivia, Weston R.; Chen, Zhaohui; Van Eyk, Jennifer; Svendsen, Clive N.

出版商:Cell Press

出版时间:2019-06-01

DOI: 10.1016/j.stem.2019.05.011

原文链接:https://linkinghub.elsevier.com/retrieve/pii/S1934590919302152

摘要:血脑屏障(BBB)严格调节溶质从血液进入大脑,并在一些神经系统疾病中被破坏。利用器官芯片技术,我们用诱导多能干细胞(iPSC)衍生的脑微血管内皮样细胞(iBMECs)、星形胶质细胞和神经元构建了一个完整的人血脑屏障芯片。iBMECs形成紧密的单层,表达脑血管系统特异性标记物。BBBChip具有生理相关的跨内皮电阻,并能准确预测药物的血脑通透性。在血管腔内灌注全血后,微工程化的毛细血管壁保护神经细胞免受血浆诱导的毒性。来自神经系统疾病患者的IPSC预测疾病特异性缺乏转运体和屏障完整性破坏。通过将OrganChip技术与人类iPSC衍生组织相结合,我们已经创建了一个神经血管单元,该单元能够重现复杂的BBB功能,为遗传性神经疾病的建模提供了平台,并促进了药物筛选和个性化治疗。

 

24. 利用神经形态计算实现基于尖峰的机器智能

出版物标题:Nature

作者:Roy, Kaushik; Jaiswal, Akhilesh; Panda, Priyadarshini

出版商:Nature

出版时间:2019-11-28

DOI: 10.1038/s41586-019-1677-2

原文链接:https://www.nature.com/articles/s41586-019-1677-2

摘要:在类似大脑的“尖峰”计算框架的指导下,面向机器智能的神经形态计算大脑启发计算有望实现人工智能,同时降低计算平台的能源需求。这个跨学科的领域开始于生物神经程序的硅电路的实现,但是已经发展到包含基于尖峰编码和事件驱动表示的算法的硬件实现。在这里,我们提供了一个在算法和硬件神经形态计算的发展概况,并强调学习和硬件框架的基础知识。我们讨论了神经形态计算的主要挑战和未来前景,重点讨论了算法-硬件协同设计。

 

 

25. 用于神经形态计算的有机电子学

出版物标题:Nature Electronics

作者:Van De Burgt, Yoeri; Melianas, Armantas; Keene, Scott Tom; Malliaras, George; Salleo, Alberto

出版商:Nature

出版时间:2018-07-13

DOI: 10.1038/s41928-018-0103-3

原文链接:https://www.nature.com/articles/s41928-018-0103-3

摘要:神经形态计算可以解决传统硅技术在专用机器学习应用中的固有局限性。近年来,基于硅基异步脉冲神经网络和双端忆阻器件的大型交叉阵列的研究,导致了有希望的神经形态系统的发展。然而,提供一种紧凑而高效的并行计算技术,能够将人工神经网络嵌入到硬件中仍然是一个重大的挑战。有机电子材料为此类系统提供了一个有吸引力的选择,并且可以提供生物相容性和相对便宜的具有低能量开关和优良可调谐性的神经形态器件。本文综述了有机神经形态器件的研究进展。我们考虑了不同的电阻切换机制,通常依赖于电化学掺杂或电荷俘获,并报告了增强状态保持和电导调节的方法。我们还讨论了该领域在实现低功耗神经形态计算时面临的挑战,如缩小设备规模和提高设备速度。最后,我们强调了设备集成到阵列的早期演示,并考虑了该技术的未来方向和潜在应用。

 

 

26. Loihi:一种具有片上学习功能的神经形态多核处理器

 

出版物标题:IEEE Micro

作者:Davies, Mike; Srinivasa, Narayan; Lin, Tsung-Han; Chinya, Gautham; Cao, Yongqiang; Choday, Sri Harsha; Dimou, Georgios; Joshi, Prasad; Imam, Nabil; Jain, Shweta; Liao, Yuyun; Lin, Chit-Kwan; Lines, Andrew; Liu, Ruokun; Mathaikutty, Deepak; McCoy, Steven; Paul, Arnab; Tse, Jonathan; Venkataramanan, Guruguhanathan; Weng, Yi-Hsin; Wild, Andreas; Yang, Yoonseok; Wang, Hong

出版商:IEEE

出版时间:2018-01-01

DOI: 10.1109/MM.2018.112130359

原文链接:https://ieeexplore.ieee.org/document/8259423/

摘要:Loihi是一种采用Intels 14 nm工艺制造的60 mm^2芯片,它推动了硅中尖峰神经网络的最新建模。它集成了该领域的一系列新功能,如层次连接、树突状结构、突触延迟,以及最重要的可编程突触学习规则。Loihi运行一个局部竞争算法的尖峰卷积形式,可以解决LASSO优化问题,与运行在CPU iso进程/电压/面积上的传统解算器相比,具有超过三个数量级的优越能量延迟积。这为基于峰值的计算提供了一个明确的例子,优于所有已知的常规解决方案。

 

27. Loihi推进神经形态计算:结果与展望

 

出版物标题:Proceedings of the IEEE

作者:Davies, Mike; Wild, Andreas; Orchard, Garrick; Sandamirskaya, Yulia; Guerra, Gabriel A. Fonseca; Joshi, Prasad; Plank, Philipp; Risbud, Sumedh R.

出版商:IEEE

出版时间:2021-05-01

DOI: 10.1109/JPROC.2021.3067593

原文链接:https://ieeexplore.ieee.org/document/9395703/

摘要:深度人工神经网络应用了大脑信息处理的原理,使机器学习跨越了许多问题领域。神经形态计算的目标是将这一点进一步推向芯片,使其更直接地受到生物神经电路形式和功能的启发,从而能够在低功耗水平下处理新知识、适应、行为和实时学习。尽管几十年的研究,直到最近,很少有发表的结果表明,今天的神经形态芯片可以证明定量计算的价值。随着IntelLoihi的出现,这种情况正在发生变化。Loihi是一种神经形态研究处理器,设计用于支持范围广泛的尖峰神经网络,具有足够的规模、性能和功能,能够提供与当代最先进的计算架构相比具有竞争力的结果。本调查回顾了Loihi迄今为止在所研究的主要算法领域获得的结果,包括深度学习方法和旨在更直接利用基于spike的神经形态硬件关键特性的新方法。虽然传统的前馈深度神经网络在Loihi上显示出适度的优势(如果有的话),但与最先进的传统方法相比,更多的大脑启发网络使用递归、精确的尖峰-时间关系、突触可塑性、随机性和稀疏性来执行某些计算,其延迟和能量要低几个数量级。这些引人注目的神经形态网络解决了一系列类似大脑计算的问题,如基于事件的数据处理、自适应控制、约束优化、稀疏特征回归和图搜索。.

 

28. 一种用于动态神经形态异步处理器(DYNAPs)的具有异构存储结构的可扩展多核体系结构

 

出版物标题:IEEE Transactions on Biomedical Circuits and Systems

作者:Moradi, Saber; Qiao, Ning; Stefanini, Fabio; Indiveri, Giacomo

出版商:IEEE

出版时间:2018-02-01

DOI: 10.1109/TBCAS.2017.2759700

原文链接:https://ieeexplore.ieee.org/abstract/document/8094868/

摘要:神经形态计算系统由神经元网络组成,神经元网络使用异步事件进行计算和通信。在神经形态电子系统中,这种类型的表示在带宽和功耗方面具有若干优势。然而,管理大规模系统中异步事件的传输是一项艰巨的任务,无论是在电路复杂性方面还是在内存需求方面。在此,我们提出了一种新的路由方法,该方法采用分层和网状路由策略,并结合异构内存结构,以最小化内存需求和延迟,同时通过参数配置最大化编程灵活性,以支持广泛的基于事件的神经网络体系结构。我们在一个原型多核神经形态处理器芯片上验证了所提方案,该芯片采用模拟/数字混合电路模拟突触和神经元动力学,以及异步数字电路管理地址事件转换。我们对所提出的连接方案进行了理论分析,描述了实现该方案的方法和电路,并对原型芯片进行了表征。最后,我们演示了如何使用具有卷积神经网络的神经形态处理器对高速传递到动态视觉传感器(DVS)的视觉符号进行实时分类。

 

29. 全集成可重编程忆阻器CMOS系统,用于高效的乘法-累加运算

出版物标题:Nature Electronics

作者:Cai, Fuxi; Correll, Justin M.; Lee, Seung Hwan; Lim, Yong; Bothra, Vishishtha; Zhang, Zhengya; Flynn, Michael P.; Lu, Wei D.

出版商:Nature

出版时间:2019-07-15

DOI: 10.1038/s41928-019-0270-x

原文链接:https://www.nature.com/articles/s41928-019-0270-x

摘要:忆阻器和忆阻器交叉阵列在神经形态和其他内存计算应用中得到了广泛的研究。然而,为了获得最佳的系统性能,必须将忆阻器横杆与外围电路和控制电路集成在一起。在这里,我们报告了一种全功能的混合忆阻器芯片,其中无源交叉开关阵列直接与定制设计的电路集成,包括全套混合信号接口块和用于可重编程计算的数字处理器。忆阻器交叉开关阵列支持在线学习和前后向矢量矩阵运算,而集成接口和控制电路允许在芯片上映射不同的算法。该系统支持电荷域操作,通过脉宽调制和定制的模数转换器克服忆阻器器件的非线性IV特性。集成芯片提供了操作性神经形态计算硬件所需的所有功能。因此,我们使用该系统演示了一个感知器网络、稀疏编码算法和具有集成分类层的主成分分析。

 

 

30. IoMT通过深度学习和边缘计算实现实时血糖预测

 

出版物标题:IEEE Internet of Things Journal

作者:Zhu, Taiyu; Kuang, Lei; Daniels, John; Herrero, Pau; Li, Kezhi; Georgiou, Pantelis

出版商:IEEE

出版时间:2023-03-01

DOI: 10.1109/JIOT.2022.3143375

原文链接:https://ieeexplore.ieee.org/document/9681840/

摘要:血糖(BG)预测是成功控制1型糖尿病(T1D)血糖的关键。随着医学物联网(IoMT)技术的发展,连续血糖监测(CGM)技术和深度学习技术已成为血糖预测领域的前沿技术。然而,由于对计算资源的高需求,在实际临床环境中实现此类算法以提供持久的决策支持具有挑战性,而基于智能手机的实现受到短电池寿命的限制,并且需要用户携带设备。本文提出了一种基于注意的证据递归神经网络的深度学习模型,并设计了一种基于IoMT的可穿戴设备来实现该嵌入式模型。该模型包括一个低成本、低功耗的片上系统,用于进行蓝牙连接和边缘计算,用于实时血糖预测和预测性低血糖检测。此外,我们还开发了一款智能手机应用程序来可视化BG轨迹和预测,并开发了桌面和云平台来备份数据和微调模型。在包括47T1D受试者在内的3个临床数据集上评估嵌入式模型。该模型在均方根误差(RMSE)、平均绝对误差(mean absolute errormean absolute errormean absolute errorRMSE)和葡萄糖特异性RMSE等方面均取得了较好的性能,与一组机器学习基线方法相比,该模型对低血糖检测的准确率最高。此外,我们对10名虚拟T1D成人进行了硬件在环试验,以测试整个IoMT系统的预测性低血糖管理,从而显著降低低血糖和改善血糖控制.

31. 丢弃与批量规范化对深度学习影响的实证研究

出版物标题:Multimedia Tools and Applications

作者:Garbin, Christian; Zhu, Xingquan; Marques, Oge

出版商:Springer US

出版时间:2020-05-01

DOI: 10.1007/s11042-019-08453-9

原文链接:http://link.springer.com/10.1007/s11042-019-08453-9

摘要:过度拟合和训练时间长是多层神经网络学习特别是深度学习面临的两个基本挑战。辍学和批量标准化是解决这些挑战的两种公认的方法。虽然这两种方法共享重叠的设计原则,但大量的研究结果表明,它们在促进深度学习方面具有独特的优势。许多工具将这两种方法简化为一个简单的函数调用,允许灵活的堆叠以形成深度学习架构。尽管它们的使用指南是可用的,但遗憾的是没有一套定义良好的规则或全面的研究来调查它们的数据输入、网络配置、学习效率和准确性。目前尚不清楚用户何时应考虑使用辍学和/或批量标准化,以及如何组合(或交替使用)以实现优化的深度学习结果。本文通过实证研究考察了辍学和批量规范化对深度学习模型训练的影响。我们使用多层密集神经网络和卷积神经网络(CNN)作为深度学习模型,混合辍学和批量归一化设计不同的结构,然后观察它们在训练和测试CPU时间、模型中的参数数量(作为模型大小的代理)和分类精度方面的性能。网络结构、辍学和批量标准化之间的相互作用,使我们能够得出在深度学习中何时以及如何考虑辍学和批量标准化的结论。实证研究量化了使用辍学和批量标准化时训练时间的增加,以及预测时间的增加(对于受限环境(如智能手机和低功耗物联网设备)很重要)。结果表明,非自适应优化器(如SGD)的性能优于自适应优化器,但只需花费大量的训练时间来执行超参数调优,而自适应优化器(如RMSProp)的性能良好,无需进行太多的调优。最后指出,在CNN中,只有在谨慎和实验的情况下,才能使用退出和批量归一化(当有疑问和实验时间短时,只能使用批量归一化)。

 

32. 基于基因组和SNP数据的稳健人口统计推断

出版物标题:PLoS Genetics

作者:Excoffier, Laurent; Dupanloup, Isabelle; Huerta-Sánchez, Emilia; Sousa, Vitor C.; Foll, Matthieu

出版商:Public Library of Science

出版时间:2013-10-24

DOI: 10.1371/journal.pgen.1003905

原文链接:https://dx.plos.org/10.1371/journal.pgen.1003905

摘要:我们引入了一个灵活和稳健的基于模拟的框架来推断人口统计参数从网站频谱(SFS)计算大型基因组数据集。我们证明,我们的复合似然方法可以研究任意复杂度的进化模型,这是目前其他基于似然方法无法解决的。对于简单的场景,我们的方法在精度和速度方面都优于LaLi(该领域的当前参考),同时对于复杂模型显示出更好的收敛性。我们首先将我们的方法应用于四个人类群体的非编码基因组SNP数据。为了推断他们的人口历史,我们比较了包括未抽样群体在内的日益复杂的中性进化模型。我们进一步展示了我们的框架的多功能性,将其扩展到从已知确定的SNP芯片推断人口统计学参数,例如Affymetrix最近发布的研究人类起源的SNP芯片。鉴于以往对已确定SNPs的处理方法要么局限于单个群体,要么仅允许推断一对群体之间的发散时间,我们的框架可以正确推断更复杂模型的参数,包括多个群体的发散、瓶颈和迁移。我们应用这种方法重建非洲人口使用两个不同的确定人类单核苷酸多态性面板研究两个进化模型。这两个SNP面板得出了全球范围内非常相似的估计值和置信区间,并表明约鲁巴人和桑人之间存在古老的差异(0.110 Ky)。我们的方法似乎非常适合从大型基因组数据集的复杂场景的研究。

 

33. 忆阻Hopfield神经网络中基于内禀噪声的节能组合优化

出版物标题:Nature Electronics

作者:Cai, Fuxi; Kumar, Suhas; Van Vaerenbergh, Thomas; Sheng, Xia; Liu, Rui; Li, Can; Liu, Zhan; Foltin, Martin; Yu, Shimeng; Xia, Qiangfei; Yang, J. Joshua; Beausoleil, Raymond; Lu, Wei D.; Strachan, John Paul

出版商:Nature

出版时间:2020-07-06

DOI: 10.1038/s41928-020-0436-6

原文链接:https://www.nature.com/articles/s41928-020-0436-6

摘要:为了解决重要的组合优化问题,各种基于不同技术平台的模拟退火计算加速器被提出,包括基于量子、光学和电子学的方法。然而,要在工业应用中使用,还需要进一步提高速度和能源效率。在这里,我们报告了一个基于忆阻器的退火系统,该系统使用基于Hopfield神经网络的节能神经形态结构。我们的模拟-数字计算方法创建了一个优化求解器,其中在密集交叉阵列中执行大规模并行操作,该阵列可以通过模拟阵列和设备误差注入所需的计算噪声,并通过使用新的反馈算法进行放大或抑制。实验结果表明,该方法可以利用硬件固有的噪声,解决非确定多项式时间(NP)难的最大割问题。我们还利用实验模拟探索了问题规模的可扩展性,这表明我们基于忆阻器的方法可以提供比当前量子、光学和全数字方法高出四个数量级的解决方案吞吐量。

 

34. 神经网络的模型压缩和硬件加速:综述

 

出版物标题:Proceedings of the IEEE

作者:Deng, By Lei; Li, Guoqi; Han, Song; Shi, Luping; Xie, Yuan

出版商:IEEE

出版时间:2020-04-01

DOI: 10.1109/JPROC.2020.2976475

原文链接:https://ieeexplore.ieee.org/document/9043731/

摘要:随着摩尔定律的可预见终结,通用处理器的性能提高速度变慢,领域专用硬件正成为一个有前途的课题。机器学习,特别是深度神经网络(deep neural networksDNNs)已经成为人工智能领域中最令人眼花缭乱的领域。DNNs通过消耗大量内存和高计算复杂度来获得无与伦比的精度,这极大地阻碍了其在嵌入式系统中的部署。因此,自然地提出了DNN压缩的概念,并广泛用于节省内存和加速计算。在过去的几年中,大量的压缩技术涌现出来,以追求处理效率和应用精度之间的令人满意的折衷。近年来,这股浪潮已经蔓延到神经网络加速器的设计中,以获得极高的性能。然而,相关研究的数量是惊人的巨大,报道的方法是相当不同的。这项研究激励我们提供一个全面的调查,最近的进展为目标的有效压缩和执行的DNNs不显着损害准确性,涉及高层次的算法及其在硬件设计中的应用。在本文中,我们回顾了压缩的主流方法,如紧凑模型、张量分解、数据量化和网络稀疏化。我们解释了它们的压缩原理、评估指标、敏感性分析和联合方式使用。然后,我们回答了如何利用这些方法设计神经网络加速器的问题,并介绍了最先进的硬件结构。最后,我们讨论了公平比较、测试工作负载、自动压缩、对安全性的影响以及框架/硬件级的支持等问题,并给出了该领域的前景和可能面临的挑战。本文试图使读者快速建立一个大图片的神经网络压缩和加速,清楚地评估各种方法,并自信地开始在正确的方式。

 

35. 脉冲神经元递归网络学习困境的一种解决方案

出版物标题:Nature Communications

作者:Bellec, Guillaume; Scherr, Franz; Subramoney, Anand; Hajek, Elias; Salaj, Darjan; Legenstein, Robert; Maass, Wolfgang

出版商:Nature

出版时间:2020-07-17

DOI: 10.1038/s41467-020-17236-y

原文链接:https://www.nature.com/articles/s41467-020-17236-y

摘要:大脑惊人的信息处理能力的基础是反复连接的神经元网络。然而,尽管有广泛的研究,他们如何通过突触可塑性学习来进行复杂的网络计算仍然不清楚。我们认为这一难题的两部分是由神经科学的实验数据提供的。一个数学结果告诉我们如何将这些片段结合起来,通过梯度下降,特别是深度强化学习,实现生物学上合理的在线网络学习。这种称为e-prop的学习方法接近时间反向传播(backpropagation through timeBPTT)的性能,BPTT是机器学习中最著名的训练递归神经网络的方法。此外,本文还提出了一种在高能效的基于spike的人工智能硬件中实现强大片上学习的方法。

 

36. 触觉反馈智能手套作为虚拟/增强现实应用的创造性人机界面(HMI

出版物标题:Science Advances

作者:Zhu, Minglu; Sun, Zhongda; Zhang, Zixuan; Shi, Qiongfeng; He, Tianyiyi; Liu, Huicong; Chen, Tao; Lee, Chengkuo

出版商:Elsevier BV

出版时间:2020-05-08

DOI: 10.1126/sciadv.aaz8693

原文链接:https://www.science.org/doi/10.1126/sciadv.aaz8693

摘要:人机界面(HMI)对直观和有效操作的要求越来越高。当前基于手套的HMI的商业化解决方案受到可检测运动或制造、能源和计算能力的巨大成本的限制。提出了一种基于摩擦电的手指弯曲传感器、手掌滑动传感器和压电机械刺激器的触觉反馈智能手套。在虚拟空间中,利用人体手上不同自由度的摩擦电信号,实现了对多向弯曲和滑动事件的检测。通过压电芯片进行触觉机械刺激,实现了人机界面的增强。该智能手套采用机器学习技术实现目标识别,识别准确率达96%。通过多维操作、触觉反馈和基于人工智能的物体识别的集成演示,我们的手套展示了其作为低成本高级人机交互解决方案的潜力,它可以惠及娱乐、家庭医疗、运动训练和医疗行业等多个领域。

 

37. 使用集成光子张量核的并行卷积处理

出版物标题:Nature

作者:Feldmann, J.; Youngblood, N.; Karpov, M.; Gehring, H.; Li, X.; Stappers, M.; Le Gallo, M.; Fu, X.; Lukashchuk, A.; Raja, A. S.; Liu, J.; Wright, C. D.; Sebastian, A.; Kippenberg, T. J.; Pernice, W. H. P.; Bhaskaran, H.

出版商:Nature

出版时间:2021-01-07

DOI: 10.1038/s41586-020-03070-1

原文链接:https://www.nature.com/articles/s41586-020-03070-1

摘要:随着超高速移动网络和互联网连接设备的激增,以及人工智能(AI)的兴起,世界上需要以快速高效的方式处理的数据量呈指数级增长。因此,高度并行、快速和可扩展的硬件正变得越来越重要。在这里,我们演示了一个特定于计算的集成光子硬件加速器(张量核),它能够以每秒数万亿次乘法累加运算的速度运行(每秒10^12MAC操作或每秒tera MAC操作)。张量核可以看作是专用集成电路(ASIC)的光学模拟。利用相变材料存储阵列和基于光子芯片的光频梳(孤子微梳)实现了光存储并行计算。计算简化为测量可重构和非谐振无源元件的光传输,可在超过千兆赫兹的带宽下工作,仅受调制器和光电探测器速度的限制。考虑到微波线速率下孤子微梳、超低损耗氮化硅波导、高速片上探测器和调制器的混合集成的最新进展,我们的方法为实现光子张量核的全互补金属-氧化物-半导体(CMOS)晶圆级集成提供了一条途径。虽然我们专注于卷积处理,但总体而言,我们的结果表明,集成光子学在数据密集型人工智能应用(如自主驾驶、实时视频处理和下一代云计算服务)中具有并行、快速和高效计算硬件的潜力。

 

38. Eyeriss:一种用于深度卷积神经网络的节能可重构加速器

 

出版物标题:IEEE Journal of Solid-State Circuits

作者:Chen, Yu-Hsin; Krishna, Tushar; Emer, Joel S.; Sze, Vivienne

出版商:IEEE

出版时间:2017-01-01

DOI: 10.1109/JSSC.2016.2616357

原文链接:http://ieeexplore.ieee.org/document/7738524/

摘要:Eyeriss是先进的深度卷积神经网络(CNN)的加速器。它通过重新配置体系结构,针对各种CNN形状优化整个系统(包括加速器芯片和片外DRAM)的能效。CNN在现代人工智能系统中得到了广泛的应用,但同时也给底层硬件带来了吞吐量和能效方面的挑战。这是因为它的计算需要大量的数据,从片内和片外产生大量的数据移动,这比计算消耗更多的能量。因此,最小化任何CNN形状的数据移动能耗是实现高吞吐量和能效的关键。Eyeriss通过在具有168个处理元素的空间架构上使用一种称为行固定(RS)的拟议处理数据流来实现这些目标。RS数据流重新配置给定形状的计算映射,通过最大限度地重用本地数据以减少昂贵的数据移动(如DRAM访问),从而优化能效。压缩和数据选通也应用于进一步提高能源效率。Eyeriss35/秒和0.0029 DRAM存取/乘法和累加(MAC)处理卷积层(AlexNet278 mW(批量大小N=4),以0.7/秒和0.0035 DRAM存取/MAC处理VGG-16236 mWN=3)。

39. 用于神经形态计算的新兴存储设备

 

出版物标题:Advanced Materials Technologies

作者:Upadhyay, Navnidhi K.; Jiang, Hao; Wang, Zhongrui; Asapu, Shiva; Xia, Qiangfei; Joshua Yang, J.

出版商:WILEY

出版时间:2019-04-01

DOI: 10.1002/admt.201800589

原文链接:https://onlinelibrary.wiley.com/doi/10.1002/admt.201800589

摘要:一个神经形态计算系统可以通过与周围环境的交互来学习和执行任务。将这种芯片与基于互补金属氧化物半导体(CMOS)的处理器相结合可以潜在地解决当今人工智能(AI)系统所面临的各种问题。尽管纯粹基于CMOS的各种架构旨在最大限度地提高基于AI的应用程序的计算效率,但最基本的操作(包括矩阵乘法和卷积)严重依赖于基于CMOS的乘法-累加单元,这些单元最终受到von Neumann瓶颈的限制。幸运的是,许多新兴的存储设备可以自然地直接利用欧姆定律和基尔霍夫定律执行向量矩阵乘法,当这种设备阵列采用交叉杆结构时。在一定的动力学条件下,这些装置也可以用作神经形态计算系统中的突触或神经元。本文讨论了各种新兴的纳米电子器件,这些器件可能在不久的将来重塑计算范式。

 

40. 边缘云极化与协同:人工智能综合调查

出版物标题:IEEE Transactions on Knowledge and Data Engineering

作者:Yao, Jiangchao; Zhang, Shengyu; Yao, Yang; Wang, Feng; Ma, Jianxin; Zhang, Jianwei; Chu, Yunfei; Ji, Luo; Jia, Kunyang; Shen, Tao; Wu, Anpeng; Zhang, Fengda; Tan, Ziqi; Kuang, Kun; Wu, Chao; Wu, Fei; Zhou, Jingren; Yang, Hongxia

出版商:IEEE

出版时间:2023-07-01

DOI: 10.1109/TKDE.2022.3178211

原文链接:https://ieeexplore.ieee.org/abstract/document/9783185

摘要:受云计算深度学习的巨大成功和边缘芯片的快速发展影响,人工智能的研究已经转向云计算和边缘计算两种计算范式。近年来,由于模型创新(如TransformersPretrained families)、培训数据爆炸和计算能力激增,我们在云服务器上开发更先进的人工智能模型取得了重大进展,超过了传统的深度学习模型。然而,边缘计算,特别是边缘和云协同计算,由于物联网场景资源受限,算法部署非常有限,尚处于起步阶段。在本次调查中,我们对云和边缘AI进行了系统的回顾,具体来说,我们首先建立了云和边缘建模的协作学习机制,并对支持这种机制的架构进行了全面的回顾。我们还讨论了一些正在进行的前沿人工智能课题的潜力和实践经验,包括预训练模型、图神经网络和强化学习。最后,讨论了该领域的发展方向和面临的挑战。

41. 一种快速芯片设计的图形布局方法

出版物标题:Nature

作者:Mirhoseini, Azalia; Goldie, Anna; Yazgan, Mustafa; Jiang, Joe Wenjie; Songhori, Ebrahim; Wang, Shen; Lee, Young-Joon; Johnson, Eric; Pathak, Omkar; Nazi, Azade; Pak, Jiwoo; Tong, Andy; Srinivasa, Kavya; Hang, William; Tuncer, Emre; Le, Quoc V.; Laudon, James; Ho, Richard; Carpenter, Roger; Dean, Jeff

出版商:Nature

出版时间:2021-06-10

DOI: 10.1038/s41586-021-03544-w

原文链接:https://www.nature.com/articles/s41586-021-03544-w

摘要:芯片版图规划是设计计算机芯片物理版图的工程任务。尽管经过了50年的研究1,芯片布局规划仍然无法实现自动化,需要物理设计工程师数月的紧张努力才能生成可制造的布局。在这里,我们提出了一种深入的强化学习方法的芯片布局规划。在不到6小时的时间内,我们的方法自动生成的芯片布局图在所有关键指标,包括功耗、性能和芯片面积方面都优于或可与人类生成的布局图相媲美。为了实现这一点,我们提出了芯片布局规划作为一个强化学习问题,并开发了一个基于边的图卷积神经网络结构,能够学习丰富的和可转移的芯片表示。因此,我们的方法利用过去的经验来更好更快地解决问题的新实例,使得芯片设计可以由比任何人类设计者都有更多经验的人工代理来执行。我们的方法被用来设计下一代谷歌的人工智能(AI)加速器,并且有潜力为每一代节省数千小时的人力。最后,我们相信更强大的人工智能设计硬件将推动人工智能的发展,在这两个领域之间建立共生关系。

 

 

42. 一种基于电阻式随机存取存储器的存储器芯片

出版物标题:Nature

作者:Wan, Weier; Kubendran, Rajkumar; Schaefer, Clemens; Eryilmaz, Sukru Burc; Zhang, Wenqiang; Wu, Dabin; Deiss, Stephen; Raina, Priyanka; Qian, He; Gao, Bin; Joshi, Siddharth; Wu, Huaqiang; Wong, H.-S. Philip; Cauwenberghs, Gert

出版商:Nature

出版时间:2022-08-18

DOI: 10.1038/s41586-022-04992-8

原文链接:https://www.nature.com/articles/s41586-022-04992-8

摘要:直接在边缘设备上实现日益复杂的人工智能(AI)功能要求边缘硬件具有前所未有的能效。基于电阻随机存取存储器(RRAM1的内存计算(CIM)通过在密集、模拟和非易失性RRAM设备中存储AI模型权重,并通过直接在RRAM中执行AI计算,从而消除独立计算和内存之间耗电的数据移动,有望满足此类需求。尽管最近的研究已经证明了在完全集成的RRAM-CIM硬件上的内存矩阵向量乘法,但RRAM-CIM芯片的目标仍然是同时提供高能效、多功能性以支持不同的模型和软件可比的精度。虽然效率、通用性和准确性对于广泛采用该技术来说都是不可或缺的,但它们之间相互关联的权衡不能通过对设计的任何单一抽象级别的单独改进来解决。在这里,通过在从算法和体系结构到电路和设备的所有设计层次上进行协同优化,我们提出了Neuram—一种基于RRAMCIM芯片,它同时提供了为不同模型体系结构重新配置CIM核心的多功能性,在各种计算位精度方面的能效比以前最先进的RRAM-CIM芯片高出两倍,推理精度可与量化为四位权重的软件模型在各种AI任务中进行比较,包括99.0 MNIST85.7的百分比CIFAR-10图像分类中,准确率为84.7%,在Google语音命令识别中,准确率为84.7%,在Bayes图像恢复任务中,图像重建误差降低了70%

 

43. 神经启发计算芯片

出版物标题:Nature Electronics

作者:Zhang, Wenqiang; Gao, Bin; Tang, Jianshi; Yao, Peng; Yu, Shimeng; Chang, Meng-Fan; Yoo, Hoi-Jun; Qian, He; Wu, Huaqiang

出版商:Nature

出版时间:2020-07-21

DOI: 10.1038/s41928-020-0435-7

原文链接:https://www.nature.com/articles/s41928-020-0435-7

摘要:人工智能(AI)的快速发展要求快速开发专门为AI应用设计的领域专用硬件。受神经启发的计算芯片集成了受神经生物学系统启发的一系列功能,可以为AI计算工作负载提供一种节能方法。本文综述了神经启发计算芯片的发展,包括人工神经网络芯片和脉冲神经网络芯片。我们提出了四个衡量神经启发计算芯片的关键指标——计算密度、能量效率、计算精度和片上学习能力,并讨论了基于非易失性存储器的神经启发计算芯片从设备到算法层面的协同设计原则。我们还提供了一个未来的电子设计自动化工具链,并提出了大规模神经启发计算芯片的发展路线图。

 

44. 用于大规模神经建模的晶圆级神经形态硬件系统

 

出版物标题:Proceedings of 2010 IEEE International Symposium on Circuits and Systems

作者:Schemmel, Johannes; Briiderle, Daniel; Griibl, Andreas; Hock, Matthias; Meier, Karlheinz; Millner, Sebastian

出版商:IEEE

出版时间:2010-05-01

DOI: 10.1109/ISCAS.2010.5536970

原文链接:http://ieeexplore.ieee.org/document/5536970/

摘要:神经组织建模是研究生物神经网络的重要工具。直到最近,大多数这种建模都是用数值方法完成的。在欧洲的研究项目FACETS”中,这种计算方法得到了不同种类的神经形态系统的补充。特别强调的是这些系统对神经科学的可用性。为了实现这一目标,开发了一个集成的软件/硬件框架,该框架以统一的神经系统描述语言PyNN为中心,允许科学家描述模型并以透明的方式在神经形态硬件系统或数字模拟器上执行。在FACETS中开发的一个非常大的模拟神经形态硬件系统能够使用复杂的神经模型以及真实的网络拓扑,即每个神经元可以实现10000个以上的突触,从而允许直接执行以前只能通过数值模拟的模型。

 

45. 28nm CMOS 0.086-mm^2 12.7-pJ/SOP 64k Synapse 256神经元在线学习数字脉冲神经形态处理器

 

出版物标题:IEEE Transactions on Biomedical Circuits and Systems

作者:Frenkel, Charlotte; Lefebvre, Martin; Legat, Jean-Didier; Bol, David

出版商:IEEE

出版时间:2019-02-01

DOI: 10.1109/TBCAS.2018.2880425

原文链接:https://ieeexplore.ieee.org/abstract/document/8528875/

摘要:将计算结构从冯·诺依曼(vonneumann)转变为基于事件的脉冲神经网络(SNNs)为视觉或感觉运动控制等应用中的低功耗处理提供了新的机会。探索认知SNN的发展之路需要设计紧凑、低功耗、多功能的实验平台,其关键要求是在线学习,以便在不受控制的环境中适应和学习新特性。然而,在SNNs中嵌入在线学习目前受到高度复杂度和区域开销的阻碍。在这项工作中,我们提出了ODIN,一个0.086-mm2 64ksynapse 256神经元在线学习数字尖峰神经形态处理器在28nm FDSOI CMOS实现最小能量每突触操作(SOP)为12.7pJ。它利用棘波驱动突触可塑性(SDSP)学习规则的高效实现,用于高密度嵌入式在线学习,每4位突触仅0.68µm2。神经元可以独立配置为一个标准的漏积分和FIRELIF)模型,或作为一个自定义的现象学模型,模拟生物脉冲神经元中发现的20Izhikevich行为。将6k 16×16 MNIST训练图像单次表示到一个基于片上SDSP学习的单层完全连接的10神经元网络上,采用秩序编码,在0.55V时,ODIN在仅消耗15nJ/推理的情况下,分类准确率达到84.5%。因此,ODIN使认知神经形态设备朝着低功耗、自适应和低成本处理的方向进一步发展。

 

46. ReckOn: 一个28nm亚mm2任务不可知的脉冲递归神经网络处理器,支持在第二个长时间尺度上的片上学习

 

出版物标题:2022 IEEE International Solid- State Circuits Conference (ISSCC)

作者:Frenkel, Charlotte; Indiveri, Giacomo

出版商:IEEE

出版时间:2022-03-17

DOI: 10.1109/ISSCC42614.2022.9731734

原文链接:https://ieeexplore.ieee.org/document/9731734/

摘要:在实际环境中部署的纯推理设备的鲁棒性受到不同用户、环境和任务需求引起的数据分布变化的限制。这一挑战要求开发能够始终适应其目标生态系统的边缘设备。然而,传统的神经网络训练算法的内存需求随着处理数据的时间深度的增加而增大,这与边缘的受限功率和面积预算不兼容。由于这个原因,以前演示无外部存储器的端到端片上学习的工作仅限于处理静态数据,例如图像[1][4],或不涉及过去记忆的瞬时决策,例如移动机器人中的避障。在诸如手势识别、语音处理和认知机器人等应用中,学习芯片上短期到长期的时间依赖性的能力是鲁棒的自主边缘设备所缺少的使能器。

 

47. 神经形态电子系统

 

出版物标题:PROCEEDINGS OF THE IEEE

作者:Mead, Carver

出版商:IEEE

出版时间:1990-10-01

DOI: 10.1109/5.58356

原文链接:https://ieeexplore.ieee.org/abstract/document/58356

摘要:结果表明,对于许多问题,特别是那些输入数据是病态的,并且计算可以相对地指定的问题,生物解比用数字方法的解要有效许多数量级。这一优势主要归因于将基本物理现象用作计算原语,以及通过模拟信号的相对值而不是数字信号的绝对值来表示信息。这种方法需要自适应技术来减轻组件差异的影响。这种适应自然会导致系统了解其环境。与传统系统相比,大规模自适应模拟系统对元件退化和故障具有更高的鲁棒性,并且功耗要少得多。因此,自适应模拟技术有望充分利用硅片制造的潜力。

 

48. SpiNNaker项目

 

出版物标题:Proceedings of the IEEE

作者:Furber, Steve B.; Galluppi, Francesco; Temple, Steve; Plana, Luis A.

出版商:IEEE

出版时间:2014-05-01

DOI: 10.1109/JPROC.2014.2304638

原文链接:https://ieeexplore.ieee.org/document/6750072/

摘要:尖峰神经网络体系结构(SpiNNaker)项目的目标是提供一个大规模并行的百万核计算机,其互连结构受哺乳动物大脑连接特性的启发,适合于生物实时大规模spiking神经网络建模。具体而言,互连允许传输大量非常小的数据包,每个数据包显式地传递单个神经动作电位或“尖峰”的源,隐式地传递时间。在本文中,我们回顾了该项目的当前状态,该项目已交付多达2500个处理器的系统,并提出了实时事件驱动编程模型,该模型支持对机器资源的灵活访问,并使其能够被世界各地的广泛合作者使用。

 

49. 神经网格:用于大规模神经模拟的模拟-数字混合多芯片系统

 

出版物标题:Proceedings of the IEEE

作者:Benjamin, Ben Varkey; Gao, Peiran; McQuinn, Emmett; Choudhary, Swadesh; Chandrasekaran, Anand R.; Bussat, Jean-Marie; Alvarez-Icaza, Rodrigo; Arthur, John V.; Merolla, Paul A.; Boahen, Kwabena

出版商:IEEE

出版时间:2014-05-01

DOI: 10.1109/JPROC.2014.2313565

原文链接:http://ieeexplore.ieee.org/document/6805187/

摘要:本文描述了一个用于实时模拟大规模神经模型的神经形态系统Neurogrid的设计。神经形态系统通过模拟生物神经系统的结构来实现其功能。这种系统的设计者面临三个主要的设计选择:1)是否用专用或共享的电子电路来模拟轴突乔木、突触、树突树和躯体这四个神经元件;2) 是否以模拟或数字方式实现这些电子电路;(3)是用网状网络还是树状网络连接这些硅神经元阵列,我们的选择是:1)用共享电路模拟除胞体外的所有神经元单元;这种选择使突触连接的数量最大化;2) 以模拟方式实现了除轴突杆外的所有电子电路;这种选择最大限度地提高了能源效率;(3)将神经阵列连接成树型网络;这种选择使吞吐量最大化。这三种选择使得第一次使用集成在一块耗电3瓦的电路板上的16个神经核实时模拟100万个具有数十亿个突触连接的神经元成为可能。

 

50. ReRAM:历史、现状和未来

 

出版物标题:IEEE Transactions on Electron Devices

作者:Yangyin Chen

出版商:IEEE

出版时间:2020-04-01

DOI: 10.1109/TED.2019.2961505

原文链接:https://ieeexplore.ieee.org/abstract/document/8961211

摘要:本文回顾了20世纪60年代电阻式随机存取存储器(ReRAM)技术的初始化,以及2000年代初以来的研究和发展。本文综述了各种氧/氧空位和金属离子基ReRAM器件及其工作机理。本文还对各种氧/氧空位和金属离子基ReRAM器件的性能进行了测试,并绘制了总体趋势。作为一种半导体存储器和存储技术,本文还综述了独立大容量存储器/存储类存储器和嵌入式非易失性存储器的商业化尝试。展望未来,讨论了使用ReRAM技术提高机器学习效率的潜力。

 

参考文献

 

[1] 段玉聪(Yucong Duan). (2024). 大语言模型(LLM)偏见测评(种族偏见)(Large Language Model (LLM) Racial Bias Evaluation). DOI: 10.13140/RG.2.2.33162.03521. https://www.researchgate.net/publication/377963440_Large_Language_Model_LLM_Racial_Bias_Evaluation_--DIKWP_Research_Group_International_Standard_Evaluation_Prof_Yucong_Duan.

[2] 段玉聪(Yucong Duan). (2024). 人为什么不愿意被别人改变:DIKWP和语义数学的深入探讨(Why People Don't Want to Be Changed by Others: Insight from DIKWP and Semantic Mathematics). DOI: 10.13140/RG.2.2.17961.77927. https://www.researchgate.net/publication/377726002_Why_People_Don't_Want_to_Be_Changed_by_Others_Insight_from_DIKWP_and_Semantic_Mathematics.

[3] 段玉聪(Yucong Duan). (2024). 语义新质生产力:原理与技术(Semantic New Quality Productivity: Principles and Techniques). DOI: 10.13140/RG.2.2.14606.33607. https://www.researchgate.net/publication/377726380_Semantic_New_Quality_Productivity_Principles_and_Techniques.

[4] 段玉聪(Yucong Duan). (2024). DIKWP与语义心理学(Semantic Psychology and DIKWP). DOI: 10.13140/RG.2.2.12928.61449. https://www.researchgate.net/publication/377726404_Semantic_Psychology_and_DIKWP.

[5] 段玉聪(Yucong Duan). (2024). 基于"主观客观化"的语义不确定性处理(Semantic Uncertainty Handling Based on "Subjective Objectivisation"). DOI: 10.13140/RG.2.2.31383.55206. https://www.researchgate.net/publication/377726442_Semantic_Uncertainty_Handling_Based_on_Subjective_Objectivisation.

[6] 段玉聪(Yucong Duan). (2024). DIKWP与语义数学:创造新质生产力的融合(Semantic Mathematics and DIKWP : Creating New Qualities of Productivity). DOI: 10.13140/RG.2.2.19639.50085. https://www.researchgate.net/publication/377726532_Semantic_Mathematics_and_DIKWP_Creating_New_Qualities_of_Productivity.

[7] 段玉聪(Yucong Duan). (2024). 语义法学与DIKWP:以英美法系与大陆法系分析为例(Semantic Jurisprudence and DIKWP: Common Law vs. Continental Law). DOI: 10.13140/RG.2.2.28028.10889. https://www.researchgate.net/publication/377726622_Semantic_Jurisprudence_and_DIKWP_Common_Law_vs_Continental_Law.

[8] 段玉聪(Yucong Duan). (2024). DIKWP新质生产力与传统生产力的对比分析(DIKWP New Quality Productivity vs. Traditional Productivity Analysis). DOI: 10.13140/RG.2.2.21317.22242. https://www.researchgate.net/publication/377726626_DIKWP_New_Quality_Productivity_vs_Traditional_Productivity_Analysis.

[9] 段玉聪(Yucong Duan). (2024). 语义物理化学(Semantic Physical Chemistry). DOI: 10.13140/RG.2.2.21261.51684. https://www.researchgate.net/publication/377439785_Semantic_Physical_Chemistry.

[10] 段玉聪(Yucong Duan). (2024). DIKWP与语义认知学(DIKWP and Semantic Cognition). DOI: 10.13140/RG.2.2.14052.55680. https://www.researchgate.net/publication/377415901_DIKWP_and_Semantic_Cognition.

[11] 段玉聪(Yucong Duan). (2024). DIKWP与语义生物学:拓展跨学科的知识领域(DIKWP and Semantic Biology: Expanding Interdisciplinary Knowledge Areas). DOI: 10.13140/RG.2.2.27474.32962. https://www.researchgate.net/publication/377416091_DIKWP_and_Semantic_Biology_Expanding_Interdisciplinary_Knowledge_Areas

[12] 段玉聪(Yucong Duan). (2024). DIKWP体系与语义数学结合构建传染病防治指标体系(DIKWP System Combined with Semantic Mathematics to Construct an Indicator System for Infectious Disease Prevention and Control). DOI: 10.13140/RG.2.2.12374.83521. https://www.researchgate.net/publication/377416103_DIKWP_System_Combined_with_Semantic_Mathematics_to_Construct_an_Indicator_System_for_Infectious_Disease_Prevention_and_Control

[13] 段玉聪(Yucong Duan). (2024). DIKWP与语义哲学(DIKWP and Semantic Philosophy). DOI: 10.13140/RG.2.2.34185.21606. https://www.researchgate.net/publication/377416120_DIKWP_and_Semantic_Philosophy

[14] 段玉聪(Yucong Duan). (2024). 语义物理与创新发展(Semantic Physics and Innovation Development). DOI: 10.13140/RG.2.2.19085.72167. https://www.researchgate.net/publication/377416222_Semantic_Physics_and_Innovation_Development

[15] 段玉聪(Yucong Duan). (2024). 语义认知学:连接人类思维与计算机智能的未来(Semantic Cognition: Connecting the Human Mind to the Future of Computer Intelligence). DOI: 10.13140/RG.2.2.29152.05129. https://www.researchgate.net/publication/377416321_Semantic_Cognition_Connecting_the_Human_Mind_to_the_Future_of_Computer_Intelligence

[16] 段玉聪(Yucong Duan). (2024). 语义物理:理论与应用(Semantic Physics: Theory and Applications). DOI: 10.13140/RG.2.2.11653.93927. https://www.researchgate.net/publication/377401736_Semantic_Physics_Theory_and_Applications

[17] 段玉聪(Yucong Duan). (2024). 基于语义数学的美国和中国经济增长分析(Semantic Mathematics based Analysis of Economic Growth in the United States and China). DOI: 10.13140/RG.2.2.35980.90246. https://www.researchgate.net/publication/377401731_Semantic_Mathematics_based_Analysis_of_Economic_Growth_in_the_United_States_and_China

[18] 段玉聪(Yucong Duan). (2024). Collatz Conjecture的语义数学探索(Collatz Conjecture's Semantic Mathematics Exploration). DOI: 10.13140/RG.2.2.28517.99041. https://www.researchgate.net/publication/377239567_Collatz_Conjecture's_Semantic_Mathematics_Exploration

[19] 段玉聪(Yucong Duan). (2024). 语义数学与 DIKWP 模型(本质计算与推理、存在计算与推理以及意图计算与推理)(Semantic Mathematics and DIKWP Model (Essence Computation and Reasoning, Existence Computation and Reasoning, and Purpose Computation and Reasoning)). DOI: 10.13140/RG.2.2.24323.68648. 377239628_Semantic_Mathematics_and_DIKWP_Model_Essence_Computation_and_Reasoning_Existence_Computation_and_Reasoning_and_Purpose_Computation_and_Reasoning

[20] 段玉聪(Yucong Duan). (2024). 从主观到客观的语义数学重构(存在计算与推理、本质计算与推理、意图计算与推理)(Semantic Mathematics Reconstruction from Subjectivity to Objectivity (Existence Computation and Reasoning, Essence Computing and Reasoning, Purpose Computing and Reasoning)). DOI: 10.13140/RG.2.2.32469.81120. https://www.researchgate.net/publication/377158883_Semantic_Mathematics_Reconstruction_from_Subjectivity_to_Objectivity_Existence_Computation_and_Reasoning_Essence_Computing_and_Reasoning_Purpose_Computing_and_Reasoning

[21] 段玉聪(Yucong Duan). (2024). DIKWP与语义数学在车票订购案例中的应用(DIKWP and Semantic Mathematics in the Case of Ticket Ordering). DOI: 10.13140/RG.2.2.35422.20800. https://www.researchgate.net/publication/377085570_DIKWP_and_Semantic_Mathematics_in_the_Case_of_Ticket_Ordering

[22] 段玉聪(Yucong Duan). (2024). DIKWP与语义数学分析《论语》“君子和而不同,小人同而不和”(DIKWP and Semantic Mathematical Analysis The Confluent Analects Gentleman is harmonious but different, while petty people are the same but not harmonious). DOI: 10.13140/RG.2.2.28711.32165. https://www.researchgate.net/publication/377085455_DIKWP_and_Semantic_Mathematical_Analysis_The_Confluent_Analects_Gentleman_is_harmonious_but_different_while_petty_people_are_the_same_but_not_harmonious

[23] 段玉聪(Yucong Duan). (2023). DIKWP 人工意识芯片的设计与应用(DIKWP Artificial Consciousness Chip Design and Application). DOI: 10.13140/RG.2.2.14306.50881. https://www.researchgate.net/publication/376982029_DIKWP_Artificial_Consciousness_Chip_Design_and_Application

[24] 段玉聪(Yucong Duan). (2024). 直觉的本质与意识理论的交互关系(The Essence of Intuition and Its Interaction with Theories of Consciousness). DOI: 10.13140/RG.2.2.16556.85127. https://www.researchgate.net/publication/378315211_The_Essence_of_Intuition_and_Its_Interaction_with_Theories_of_Consciousness

[25] 段玉聪(Yucong Duan). (2024). 意识中的“BUG”:探索抽象语义的本质(Understanding the Essence of "BUG" in Consciousness: A Journey into the Abstraction of Semantic Wholeness). DOI: 10.13140/RG.2.2.29978.62409. https://www.researchgate.net/publication/378315372_Understanding_the_Essence_of_BUG_in_Consciousness_A_Journey_into_the_Abstraction_of_Semantic_Wholeness

[26] 段玉聪(Yucong Duan). (2024). 个人和集体的人造意识(Individual and Collective Artificial Consciousness). DOI: 10.13140/RG.2.2.20274.38082. https://www.researchgate.net/publication/378302882_Individual_and_Collective_Artificial_Consciousness

[27] 段玉聪(Yucong Duan). (2024). 人工意识系统的存在性探究:从个体到群体层面的视角(The Existence of Artificial Consciousness Systems: A Perspective from Group Consciousness). DOI: 10.13140/RG.2.2.28662.98889. https://www.researchgate.net/publication/378302893_The_Existence_of_Artificial_Consciousness_Systems_A_Perspective_from_Collective_Consciousness

[28] 段玉聪(Yucong Duan). (2024). 意识与潜意识:处理能力的有限性与BUG的错觉(Consciousness and Subconsciousness: from Limitation of Processing to the Illusion of BUG). DOI: 10.13140/RG.2.2.13563.49447. https://www.researchgate.net/publication/378303461_Consciousness_and_Subconsciousness_from_Limitation_of_Processing_to_the_Illusion_of_BUG

[29] 段玉聪(Yucong Duan). (2024). 如果人是一个文字接龙机器,意识不过是BUG(If Human is a Word Solitaire Machine, Consciousness is Just a Bug). DOI: 10.13140/RG.2.2.13563.49447. https://www.researchgate.net/publication/378303461_Consciousness_and_Subconsciousness_from_Limitation_of_Processing_to_the_Illusion_of_BUG

[30] 段玉聪(Yucong Duan). (2024). 超越达尔文:技术、社会与意识进化中的新适应性(Beyond Darwin: New Adaptations in the Evolution of Technology, Society, and Consciousness). DOI: 10.13140/RG.2.2.29265.92001. https://www.researchgate.net/publication/378290072_Beyond_Darwin_New_Adaptations_in_the_Evolution_of_Technology_Society_and_Consciousness

[31] 段玉聪(Yucong Duan). (2024). 【人物】段玉聪:未来人工意识的发展:消除“bug”之路. 应用观察. https://mp.weixin.qq.com/s/q0eA97OPW0f30D9rXEKuPQ

[32] 段玉聪(Yucong Duan). (2024). 【视角】段玉聪:直觉的本质与意识理论的交互关系. 应用观察. https://mp.weixin.qq.com/s/8nZJZobAFpqIdriahe-wMQ

[33] Russell, S., & Norvig, P. (2020). Artificial Intelligence: A Modern Approach (4th ed.). Prentice Hall.

[34] Dehaene, S. (2014). Consciousness and the Brain: Deciphering How the Brain Codes Our Thoughts. Viking.

[35] Tononi, G., & Koch, C. (2015). Consciousness: here, there and everywhere? Philosophical Transactions of the Royal Society B: Biological Sciences, 370(1668), 20140167.

[36] Bengio, Y., Courville, A., & Vincent, P. (2013). Representation Learning: A Review and New Perspectives. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(8), 1798-1828.

[37] Hinton, G. E., Osindero, S., & Teh, Y. W. (2006). A fast learning algorithm for deep belief nets. Neural Computation, 18(7), 1527-1554.

[38] Dennett, D. C. (1991). Consciousness Explained. Little, Brown and Co.

[39] Damasio, A. (1999). The Feeling of What Happens: Body and Emotion in the Making of Consciousness. Harcourt Brace.

[40] Chalmers, D. J. (1996). The Conscious Mind: In Search of a Fundamental Theory. Oxford University Press.

[41] Baars, B. J., & Franklin, S. (2003). How conscious experience and working memory interact. Trends in Cognitive Sciences, 7(4), 166-172.

[42] Hawkins, J., & Blakeslee, S. (2004). On Intelligence. Henry Holt and Co.

[43] Marcus, G. (2018). Deep Learning: A Critical Appraisal. arXiv preprint arXiv:1801.00631.

[44] Searle, J. R. (1980). Minds, brains, and programs. Behavioral and Brain Sciences, 3(3), 417-424.

[45] Koch, C. (2019). The Feeling of Life Itself: Why Consciousness Is Widespread but Can't Be Computed. MIT Press.

[46] Lake, B. M., Ullman, T. D., Tenenbaum, J. B., & Gershman, S. J. (2017). Building machines that learn and think like people. Behavioral and Brain Sciences, 40, e253.

[47] Hofstadter, D. R. (2007). I Am a Strange Loop. Basic Books.

[48] Metzinger, T. (2009). The Ego Tunnel: The Science of the Mind and the Myth of the Self. Basic Books.

[49] O'Reilly, R. C., Munakata, Y., Frank, M. J., Hazy, T. E., & Contributors. (2012). Computational Cognitive Neuroscience. Wiki Book.

[50] Lanier, J. (2017). Dawn of the New Everything: Encounters with Reality and Virtual Reality. Henry Holt and Co.

[51] Bostrom, N. (2014). Superintelligence: Paths, Dangers, Strategies. Oxford University Press.

[52] Graziano, M. S. A. (2013). Consciousness and the Social Brain. Oxford University Press.

 

数据(Data可视为我们认知中相同语义的具体表现形式。通常,数据代表着具体的事实或观察结果的存在语义确认,并通过与认知主体已有认知对象的存在性包含的某些相同语义对应而确认为相同的对象或概念。在处理数据时,我们常常寻求并提取标定该数据的特定相同语义,进而依据对应的相同语义将它们统一视为一个相同概念。例如,当我们看到一群羊时,虽然每只羊可能在体型、颜色、性别等方面略有不同,但我们会将它们归入的概念,因为它们共享了我们对这个概念的语义理解。相同语义可以是具体的如识别手臂时可以根据一个硅胶手臂与人的手臂的手指数量的相同、颜色的相同、手臂外形的相同等相同语义进行确认硅胶手臂为手臂,也可以通过硅胶手臂不具有真实手臂的可以旋转对应的由可以旋转定义的相同语义,而判定其不是手臂。

信息(Information则对应认知中不同语义的表达。通常情况下,信息指的是通过特定意图将认知DIKWP对象与认知主体已经认知的数据、信息、知识、智慧或意图联系起来,产生新的语义关联。在处理信息时,我们会根据输入的数据、信息、知识、智慧或意图,找出它们被认知的DIKWP对象的不同之处,对应不同的语义,并进行信息分类。例如,在停车场中,尽管所有的汽车都可以归入汽车这一概念,但每辆车的停车位置、停车时间、磨损程度、所有者、功能、缴费记录和经历都代表着信息中不同的语义。信息对应的不同语义经常存在于认知主体的认知中,常常未被显式表达出来,例如抑郁症患者可能用自己情绪低落来表达自己当前的情绪相对自己以往的情绪的下降,但这个低落对应的信息因为其对比状态不被听众了解而不能被听众客观感受到,从而成为该患者自己主观的认知信息。

知识(Knowledge对应于认知中的完整语义。知识是通过观察和学习获得的对世界的理解和解释。在处理知识时,我们通过观察和学习抽象出至少一个完整语义对应的概念或模式。例如,通过观察我们得知所有的天鹅都是白色,这是我们通过收集大量信息后对天鹅都是白色这一概念的完整认知。

智慧(Wisdom对应伦理、社会道德、人性等方面的信息,是一种来自文化、人类社会群体的相对于当前时代固定的极端价值观或者个体的认知价值观。在处理智慧时,我们会整合这些数据、信息、知识、智慧,并运用它们来指导决策。例如,在面临决策问题时,我们会综合考虑伦理、道德、可行性等各个方面的因素,而不仅仅是技术或效率。

意图(Purpose可以看作是一个二元组(输入,输出),其中输入和输出都是数据、信息、知识、智慧或意图的内容。意图代表了我们对某一现象或问题的理解(输入),以及我们希望通过处理和解决该现象或问题来实现的目标(输出)。在处理意图时,人工智能系统会根据其预设的目标(输出),处理输入的内容,通过学习和适应,使输出逐渐接近预设的目标。

段玉聪 教授

DIKWP-AC人工意识(全球)团队发起人

AGI-AIGC-GPT评测DIKWP(全球)实验室创办者

世界人工意识大会发起人Artificial Consciousness 2023, AC2023, AC2024)

国际数据、信息、知识、智慧大会发起人(IEEE DIKW 202120222023

斯坦福全球顶尖科学家终身科学影响力排行榜(海南信息技术)唯一入选

海南人工智能技术发明领域唯一全国奖(吴文俊人工智能奖)获得者

中国创新方法大赛总决赛(海南代表队)最好记录保持者

海南省发明专利(信息技术领域)授权量最多者

全国企业创新增效大赛海南最好成绩保持者

全国人工智能应用场景创新挑战赛总决赛海南最好成绩保持者

海南省最美科技工作者(并入选全国候选人)

 

海南大学教授,博士生导师, 第一批入选海南省南海名家计划、海南省领军人才,2006年毕业于中国科学院软件研究所,先后在清华大学、首都医科大学、韩国浦项工科大学、法国国家科学院、捷克布拉格查理大学、意大利米兰比克卡大学、美国密苏里州立大学等工作与访学。现任海南大学计算机科学与技术学院学术委员会委员、海南大学数据、信息、知识、智慧、意图DIKWP创新团队负责人、兼北京信用学会高级顾问、重庆警察学院特聘研究员、海南省委双百人才团队负责人、海南省发明协会副会长、海南省知识产权协会副会长、海南省低碳经济发展促进会副会长、海南省农产品加工企业协会副会长、海南省网络安全与信息化协会理事、海南省人工智能学会理事、中国医药卫生文化协会医工融合分会委员、美国中密西根大学客座研究员及意大利摩德纳大学的博士指导委员会委员等职务。自2012年作为D类人才引进海南大学以来,累计发表论文260余篇,SCI收录120余次,ESI高被引11,引用统计超过4500次。面向多行业、多领域设计了241件(含15PCT发明专利)系列化中国国家及国际发明专利,已获授权第1发明人中国国家发明专利及国际发明专利共85件。2020年获吴文俊人工智能技术发明三等奖;2021年作为程序委员会主席独立发起首届国际数据、信息、知识与智慧大会-IEEE DIKW 20212022年担任IEEE DIKW 2022大会指导委员会主席;2023年担任IEEE DIKW 2023大会主席;2022年获评海南省最美科技工作者(并被推全国);2022年与2023年连续入选美国斯坦福大学发布的全球前2%顶尖科学家的终身科学影响力排行榜榜单。参与研制IEEE金融知识图谱国际标准2项、行业知识图谱标准4项。2023年发起并共同举办首届世界人工意识大会(Artificial Consciousness 2023, AC2023)

 

 

 

 

段玉聪 教授Prof. Yucong Duan

DIKWP人工意识实验室

AGI-AIGC-GPT评测DIKWP(全球)实验室

世界人工意识协会

 

duanyucong@hotmail.com

第二届世界人工意识大会(AC2024)期待您的加入

http://yucongduan.org/DIKWP-AC/2024/#/

 



https://blog.sciencenet.cn/blog-3429562-1423839.html

上一篇:《段玉聪:从“人工意识系统=潜意识系统(LLM)+意识系统(DIKWP)”到算法偏见的语义解决》
下一篇:(摘要)段玉聪:借助“人工意识系统=潜意识系统(LLM)+意识系统(DIKWP)”解决算法偏见
收藏 IP: 140.240.43.*| 热度|

1 杨正瓴

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-7-8 15:13

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部