|
本项研究提出了第一个从低分辨率图像自动精确估计多人 3D 姿势和身体形状的框架。 这是一个用于多人三维重建的端到端的多任务框架:该框架包括一个用于缓解遮挡问题的遮挡感知掩模预测网络和一个用于从低分辨率图像中感知更多信息的恢复网络。
________________________________________________________________________________________________
从一张图像中准确地判断图像上人物的3D 姿势和身体形状对于行为分析和安全预警等多种应用至关重要。现行使用的大多数多人重建方法要求图像中的人物清晰可见,可是,当相机的分辨率不高或要捕捉的人物处于视野范围的远方时,就会导致低分辨率的图像,使得该图像上的多人重建成为一个难题。
天津大学和卡迪夫大学联合研究团队试图尝试解决图像分辨率与估计精度之间的矛盾,提出一种称为 MILI(Multi-person Inference from a Low-resolution Image)的端到端的多任务机器学习框架,可实现从单张低分辨率图像中准确重建多人的 3D 姿势和形状。该项研究结果已发表在期刊Fundamental Research上。
其中,为了解决多人场景中的遮挡问题,研究人员设计了一个遮挡感知掩模预测网络,用于在回归分析中判断单人网格的掩模。训练中使用高分辨率和低分辨率的成对图像来训练网络更好地获取图像特征判断的准确率。
“在小尺度和大尺度应用场景中,MILI 在定量和定性上都优于目前最先进的方法,”该研究的第一作者李坤介绍说。 “不同于现有的应用方法,MILI作为一个端到端网络,鼓励多人重塑(即使是低分辨率图像)并且,精炼细化的目标检测阶段,显著提高了利用遮挡感知掩模预测网络显著提高了对遮挡的鲁棒性。”
“监控场景中的人体3D 姿势与形状重建有助于更好地识别动作/活动,包括人与人之间的互动,(为仿真和安全监控)建模人群行为,以及更好地跟踪个人轨迹。” 李坤总结道。
代码可通过下方链接查询 http://cic.tju.edu.cn/faculty/likun/projects/MILI
给定手机拍摄的低分辨率图像或从大场景数据集下采样的图像,新方法MILI可以实现比最先进的(SOTA)方法更准确的多人重建
文章信息
文章标题
MILI: Multi-person inference from a low-resolution image
研究团队
Kun Li, Yunke Liu, Yu-Kun Lai, Jingyu Yang
文章路径
https://www.sciencedirect.com/science/article/pii/S2667325823000377?via%3Dihub
期刊及主编信息
Fundamental Research是由国家自然科学基金委员会主管、主办的英文国际期刊,期刊 自2021年1月创刊以来,坚持依靠专家、精选主题、突出质量、对标一流的办刊理念,在各位编委和专家的倾力支持下,尽管刚刚起步但已经得到科技界和出版界的认可。
Fundamental Research 立足展示国家自然科学基金资助的代表性成果,充分反映国内外基础研究前沿与动态,提升中国基础研究和中国科学家在国际科学界的显示度和影响力,为中外科学家打造一个高水平的基础研究国际交流学术平台。
期刊内容涵盖数学与物理、化学与化工、生命、地球、工程与材料、信息、管理、健康与医学、交叉科学等九大科学领域,包括:
Mathematics and Physics
Chemistry and Chemical Engineering
Life Sciences
Earth Sciences
Engineering and Materials Science
Information Sciences
Management Sciences
Health and Medical Sciences
Interdisciplinary Sciences
目前期刊已被DOAJ、Scopus、ESCI等权威数据库收录。
主编:龚旗煌 院士
研究领域:
光学专家、长期从事非线性光学前沿与时空小尺度光学研究
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-23 15:37
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社