Humanoid Intelligent Display Platform for Audiovisual Interaction and Sound Identification

Yang Wang, Wenli Gao, Shuo Yang, Qiaolin Chen, Chao Ye, Hao Wang, Qiang Zhang, Jing Ren, Zhijun Ning, Xin Chen, Zhengzhong Shao, Jian Li, Yifan Liu, Shengjie Ling*

Nano-Micro Letters (2023)15: 221

1. 基于丝蛋白离子弹性体的HIDP在保持稳定发光状态的同时表现出高拉伸性(700 %)、弹性和自愈能力，并且在极端环境和复杂机械刺激下可正常工作。

2. HIDP通过机器学习将声音幅度和亮度关联并用于视听交互。

3. HIDP可实时识别和显示动物物种和相应的频率。

内容简介

HIDP的设计采用三明治结构，中间发光层由ZnS颗粒嵌入有机硅弹性体中组成，两个表面电极由丝蛋白离子弹性体组成(图1a-图1d)，这里的硅弹性体作为发光层具有与人体皮肤相似的机械性能，强度和模量都在0.2-0.5 MPa和0.1-0.7 MPa的范围内。丝蛋白离子弹性体(SFIE)电极由丝素蛋白、锂离子与水组成，其组分与皮肤类似，都基于蛋白质的结构框架，同时含有一定量的水和离子。SFIE还具备出色的光学透明性，其在可见光波长下的透射率高于85%，为发光显示性能提供了坚实基础。此外，SFIE还具有生物降解性和生物相容性，因此HIDP的应用可以扩展到人造皮肤，甚至涉及生物医学和其他相关领域。在SFIE和发光层组装到HIDP中后，它们的类皮肤力学性能也在设备中得到保留，为HIDP赋予了皮肤般的触觉感，具备出色的拉伸性和弹性。此外，这种结构还允许将HIDP机械冲模或切割成所需的形状，以组装成可拉伸的发光显示器件，如图1e-1i所示。

图1. (a) HIDP的结构和工作原理示意图;(b-d)  发光层、丝蛋白离子弹性体的结构示意图及截面SEM图像;(e-i)  各种图案的HIDP实物图以及在拉伸、弯曲等状态下的发光HIDP实物图。

II  HIDP的力学性能

发光层经过等离子体亲水处理后，与SFIE电极进行组装，因此两者之间具有非常强的界面结合力，这使得HIDP在拉伸过程中能够保持稳定的发光状态，如图2a所示。HIDP的真应力-应变曲线呈J形，与生物弹性体的机械性能相似(如图2b所示)。HIDP和生物弹性体的相似性还体现在拉伸韧性和杨氏模量上，分别为3.3 ± 1.3 MJ m−3和0.83 ± 0.48 MPa，这些值与人类、猪和大鼠的皮肤相当，此外，HIDP的断裂伸长率(849±80%)甚至高于生物弹性体和其他软质材料，如图2c所示。HIDP还表现出出色的弹性，在200%的应变下经过100次拉伸循环后保持稳定的发光，滞后值为0.44，与先前报道的高性能双网络(DN)弹性体相媲美(图2d，e)。此外，如图2f和2g所示，即使在预缺口的情况下对HIDP进行拉伸测试，其断裂应变仍高达400%，并保持稳定的发光状态，同时在长期循环拉伸过程中保持机械稳定性和稳定发光状态。在自修复能力方面，蓝色和绿色HIDP在切割后可组装成双色发光器件，并且在高拉伸(300%应变)下保持稳定的双色显示(如图2h所示)。

图2. (a) HIDP在拉伸过程中不同应变下的发光图像;(b) HIDP、热塑性材料、生物皮肤和橡胶的真应力-应变曲线;(c) HIDP和其他具有代表性的离子电子学材料的杨氏模量和失效应变的Ashby性能对比图;(d) HIDP在循环拉伸过程中的发光图像;(e) HIDP和其他弹性体的滞后值和断裂韧性的Ashby性能对比图;(f-g) 带预缺口的HIDP在拉伸过程中不同应变下的发光图像及力学曲线;(h) 双色HIDP在不同应变下的发光图像。

III  HIDP的发光性能

如图3a、3b所示，HIDP的亮度与施加的电压V呈正相关，与而发光层厚度呈负相关。此外，HIDP的亮度也受SFIE中的锂含量显著影响，当SFIE中的丝素蛋白与LiCl的质量比从5:1增加到2:1时，如图3b至3d所示，在615 V的电压下，HIDP的亮度值从0.6 cd m⁻2增加到86 cd m⁻2。当施加的电压保持不变时，HIDP的发光亮度随着电压频率的增加而增加，如图3f、3g和3h所示。随着频率从100 Hz增加到20 kHz，HIDP的发光峰值波长逐渐从绿色(504 nm)变为蓝色(460 nm)。

图3. (a-d, f, g) HIDP的亮度与激发电压、频率、厚度、锂含量的关系及相应的发射光谱图;(e) HIDP与其他代表性发光器件的可拉伸性和最大亮度的Ashby性能对比图;(h) 不同电压频率下的HIDP的颜色变化图像。

IV HIDP用于视听互动

如图4a所示，我们使用Arduino开发板的程序设计和处理模块，通过对不同声音信号进行编码，将其转换为不同的电压强度和频率，以驱动HIDP的动态发光，实现了相应的亮度、颜色和闪烁频率等信息的可视化显示。此外，我们还利用机器学习技术来学习不同声源激发HIDP的动态显示过程，以用于识别各种声源。我们选择了五种不同动物物种的声音(鸟，猫，狗，大象和老虎)作为研究对象，这些声音激发了HIDP显示的周期性亮度变化，这些变化被用作机器学习分类模型的输入，通过使用递归神经网络(RNN)模型，我们成功地根据HIDP显示的亮度变化信息来识别动物物种(如图4b和4c所示)。经过200轮随机测试，HIDP对这五种动物声音的识别准确率达到了约100%。

图4. 通过HIDP实现动物声音可视化和智能识别的技术路线示意图(a)、流程图(b) 以及操作步骤示意图(c)。

V HIDP用于视听互动

此外，动物声音的种类和频率也可以通过学习声音的特征来识别。如图5a-5c所示，我们使用了卷积神经网络(CNN)模型，将4586个动物声音的梅尔声谱图作为输入进行训练，从而实现动物声音的种类和频率的预测，训练后模型的准确率分别收敛至99%和93%。如图5d所示，为了更好地实现人机交互，我们搭建了tkinter界面用于实时显示声音识别的结果，当麦克风采集动物声音的音频信号如老虎的两声吼叫时，模型可以识别这一信号，并在HIDP中实时显示“t2”，在tkinter界面上实时显示“tiger 2”。除了动物的声音识别，该平台还可以区分简单的语句并分析语义，使HIDP能够实现问答显示(图5e)。

图5. (a) 用于为CNN模型建立数据集的音频信号处理的流程图;(b, c) 基于ResNet-50的CNN分类模型的结构示意图及准确率和损失曲线;(d) Tkinter界面和HIDP实时识别和显示动物声音的种类和频率 ;(e) HIDP实时识别和显示视听交互信息。

作者简介

Nano-Micro Letters《纳微快报(英文)》是上海交通大学主办、在Springer Nature开放获取(open-access)出版的学术期刊，主要报道纳米/微米尺度相关的高水平文章(research article, review, communication, perspective, highlight, etc)，包括微纳米材料与结构的合成表征与性能及其在能源、催化、环境、传感、电磁波吸收与屏蔽、生物医学等领域的应用研究。已被SCI、EI、PubMed、SCOPUS等数据库收录，2022JCR影响因子为 26.6，学科排名Q1区前5%，期刊分区1区TOP期刊。多次荣获“中国最具国际影响力学术期刊”、“中国高校杰出科技期刊”、“上海市精品科技期刊”等荣誉，2021年荣获“中国出版政府奖期刊奖提名奖”。欢迎关注和投稿。

Web: https://springer.com/40820

E-mail: editor@nmlett.org

Tel: 021-34207624