Chenfiona的个人博客分享 http://blog.sciencenet.cn/u/Chenfiona

博文

新型沉浸式VR系统:探索动物场景认知及行为范式

已有 170 次阅读 2021-9-9 17:04 |个人分类:好文推荐|系统分类:论文交流

中国科学院自动化研究所刘禹研究员团队与中国科学院神经科学研究所徐春研究员团队合作研制了一套基于可视化编程的啮齿动物沉浸式VR系统,可通过虚拟场景来研究动物的场景认知,也可通过虚拟现实系统在动物中建立一系列的行为范式,进而研究抉择、空间导航和学习记忆等神经科学的前沿问题,对于探索场景认知行为的神经生物学机理具有重大意义!相关成果已发表于IJAC第5期中。


springer截图.jpg

 图片来自Springer (点击上图下载全文)



image.png

场景认知是高级认知功能的一个重要研究方向,它能够调节个体的学习、记忆能力,甚至对个体生存和病症治疗也起着至关重要的作用。但是,由于问题本身的复杂性以及相关技术手段的匮乏等原因,人们对场景认知及其对行为调控的神经机理还知之甚少。因此,以小型动物为对象进行行为训练对于研究场景认知行为的神经生物学机理意义重大。


啮齿动物沉浸式VR系统可以通过虚拟场景来研究动物的场景认知,也可以通过虚拟现实系统在动物中建立一系列的行为范式,进而研究抉择、空间导航和学习记忆等神经科学的前沿问题。该系统包括中控单元、虚拟感知单元、虚拟运动单元、虚拟视觉单元和视频录制单元。其中虚拟感知单元、虚拟运动单元和虚拟视觉单元构成了一个多感觉信息融合的仿真环境,中控单元负责构建一个灵活操控的、交互式的三维动态空间。


​该系统的主要特点体现为:

1.多模态:虚拟视觉、虚拟听觉、虚拟触觉、虚拟嗅觉。

2.多维度:运动速度检测、运动方向检测、舔水检测、外接双光子成像检测、光纤成像检测和外接多通道电生理记录。

3.多反馈:给水奖励、电击刺激、吹气刺激、光遗传刺激。

整个系统采用模块化设计,实验者可以根据实验需求对每个单一模块进行优化和拓展,使得整个系统具有良好的灵活性和兼容性。


总体框架.png

总体框架


中控单元利用可视化编程界面,采用拖拽、组合的方式设计程序。同时开发了自定义积木,将所有功能指令转换成执行组件,如下图所示。自定义积木清晰明了地表示虚拟空间的所有指令,使无任何计算机开发基础的实验者也可以根据实验要求自主灵活地搭建和配置实验程序,设计复杂、灵活的小动物行为训练方案。操作简单明了,且方便进行延展和优化,从而满足不同的实验要求及环境。


积木.png

自定义积木.gif

自定义积木


虚拟运动单元采用吹气式悬浮装置和光电定位技术,通过空气调节装置给充气管充气使乒乓球托起悬浮的泡沫球。动物身体以泡沫球作为支撑,可以在泡沫球上自由跑动。光电定位装置实时监测泡沫球滚动的方向和速度,经过计算分析转换为动物在虚拟空间中的位置信息及运动状态,同时实时更新虚拟视觉装置上显示的图像,从而实现啮齿动物的运动状态与虚拟视觉场景之间的实时交互。


虚拟运动单元.png

虚拟运动单元


实验表明,利用该系统可以训练动物根据虚拟场景不同而做出相应的行为抉择,即经典的Go/No-go行为范式。同时对海马CA1细胞进行钙成像记录,从4只小老鼠的示例来看,都可以表现出与自由活动动物的海马CA1细胞一致的放电模式。

(a)虚拟场景中的行为训练; (b)悬浮球上训练的小老鼠; (c) 虚拟.png

(a)虚拟场景中的行为训练; (b)悬浮球上训练的小老鼠; (c) 虚拟视觉空间;(d) 4只小老鼠海马CA1细胞放电模式


在科研实验中利用虚拟系统实现丰富的仿真空间和场景,不仅可以严格控制实验研究条件,还可以在无人工干扰的情况下快速切换场景,从而得到更全面、更真实、更及时的实验数据,为解析高级认知功能神经环路机理研究提供了新的方法和工具。通过沉浸式VR系统,研究者们得以更加灵活地开展小动物认知场景实验,训练它们根据场景变化做出行为抉择,也将在沉浸式的交互空间里更深入地探索认知的奥秘!



image.png

An Immersive Virtual Reality System for Rodents in Behavioral and Neural Research

Li Liu, Zi-Yang Wang, Yu Liu, Chun Xu

http://www.ijac.net/en/article/doi/10.1007/s11633-021-1307-y     

https://link.springer.com/article/10.1007/s11633-021-1307-y


本文作者依次为中国科学院自动化研究所刘丽(第一作者)王子洋(第二作者,博士后)刘禹(通讯作者,研究员)和中国科学院神经科学研究所徐春(通讯作者,研究员)



image.png

综述精选 | 演化计算 & 复杂网络 & 自监督学习

专题征稿 | 智能系统的安全性 (12月10日截稿)
中国科学院自动化研究所高层次人才招聘启事 | 长期有效
【前沿】全球首个!自动化所研发图文音三模态预训练模型
重磅 | 全球计算机领域Top1000期刊 & 科学家榜单发布
@全体科研人,"十四五"规划圈出了攻关重点!
直播回放 | 公茂果主讲:深度神经网络的结构优化
回放 & PPT | 澳科学院院士Brian Anderson最新报告
重磅 | 2021年国际学术会议参考列表
全球前列!IJAC"世界期刊影响力指数(WJCI)"喜人
最新 | 《2020全球工程前沿》全文
最新 | 2020研究前沿及热点解读



image.png

清华徐昆团队 | 基于合成数据的对比自监督表征学习

北航马帅团队 | 综述: 正则表达式正确性保证
陈伟能团队 | 综述: 面向复杂网络中社会传播问题的演化计算方法
韩清龙团队| 综述: 动态事件触发的控制与估计
毋立芳团队 | 综述:视频中的群体行为识别
基于神经架构搜索技术(NAS)的2D&3D掌纹和掌静脉识别
张笑钦团队 | 综述:基于深度学习的视觉跟踪方法进展
基于机器学习探秘神经科学,解码思想、记忆、情绪......
高效+高精度 | 汽车尾气排放趋势预测新框架
综述 | 进化计算在大规模多目标优化问题中的进展
公茂果团队 | 综述:计算智能在遥感图像配准中的应用
新模型!模拟人眼预测图像质量,失真也不怕



image.png

视频号二维码_副本.png
新版名片.png



http://blog.sciencenet.cn/blog-749317-1303532.html

上一篇:精选好文 | 基于视觉的手势识别的迁移学习研究
下一篇:顶刊封面 | AI预测生物分子结构迎突破,鳗鱼机器人拥有“不坏之身”,神经机器接口让假肢“新生”...

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-10-20 16:02

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部