Information Fusion Available online 19 May 2023, 101835 In Press, Journal Pre-proof

Semantics lead all: Towards unified image registration and fusion from a semantic perspective

Author links open overlay panelHousheng Xie a b c d, Yukuan Zhang a b c d, Junhui Qiu a b c d, Xiangshuai Zhai a b c d, Xuedong Liu a b c d, Yang Yang a b c d, Shan Zhao a b c d, Yongfang Luo a e, Jianbo Zhong a e

• aThe Laboratory of Pattern Recognition and Artificial Intelligence, Yunnan Normal University, Kunming, 650500, China

Received 16 March 2023, Revised 7 May 2023, Accepted 13 May 2023, Available online 19 May 2023.

Highlights

• •Efficiently embed semantic information into the registration and fusion pipeline.

• •Adaptive calibration semantic awareness with migrating modal difference information.

• •Encoding semantic structures to promote feature matching.

• •Faster and more adaptive image registration and fusion.

• 

Abstract

Infrared-visible image registration and fusion are closely related processes, and it is an attractive problem to implement coordinated registration and fusion in a unified framework. The registration accuracy of existing methods fails to satisfy the fusion needs in some scenarios, which affects the fusion visual performance. In addition, as an image preprocessing step, the speed of the network after cascading registration and fusion is not sufficient for more advanced tasks, thus restricting the usability of these methods. To solve the above problems, we propose a network that uses semantics to lead all, termed SemLA, capable of unifying the registration and fusion processes in an efficient and robust way. Our key idea is to explicitly embed semantic information at all stages of the network. In particular, SemLA employs a coordinated approach that involves joint training of registration and semantic features to ensure efficient network operation. The calibration of the semantic-aware maps and the description of their spatial structure information mutually reinforce each other to obtain more accurate registration. Additionally, the semantic-guided fusion process enhances the representation of complementary information within the semantic object while effectively suppressing visual interference caused by overlapping regional demarcation lines of the aligned image. The results of different experiments show that our SemLA has a better tradeoff between performance and efficiency compared to state-of-the-art methods and adapts to the semantic needs of advanced vision tasks.

https://doi.org/10.1016/j.inffus.2023.101835

云南师范大学杨扬教授简介： 

 杨扬，三级教授，男，担任云南师范大学光学工程专业博士生导师、联大青年学者，受聘中国科学院光电技术研究所兼职博导、客座教授，《中国图象图形学报》青年编委，2018年荣获云南省万人计划青年拔尖人才称号。主要研究方向包括计算机视觉、模式识别、人体咀嚼系统、智能遥感、地理信息系统等。先后主持国家自然科学基金面上项目1项、地区基金1项、云南省教育厅重点项目1项，在Science、ICCV、IEEE TIP/TFS/TGRS [4] /GRSL/JSTARS、Environmental Science & Technology [3] 、 Pattern Recognition、Remote Sensing、International Journal of Remote Sensing、《自动化学报》《计算机学报》《软件学报》《遥感学报》《中国图象图形学报》等国内外学术期刊及会议发表学术论文50余篇。现为CCF、IEEE会员，国家自然科学基金函评专家，担任TIP、PR、TGRS、P&RS、TM、TSP、《自动化学报》《遥感学报》《中国图象图形学报》等国内外期刊审稿人。 

教育背景

2009.08-2013.10, 新加坡国立大学 综合科学与工程研究生院（NGS） 计算机科学专业 博士

2004.04-2007.03, 日本早稻田大学 理工研究科 计算机科学专业 硕士

2000.04-2004.03, 日本千叶工业大学 工学部 计算机科学专业 本科（哈尔滨工业大学交换留学项目资助）

1999.09-2000.04, 哈尔滨工业大学 理学部 应用物理专业 本科

工作经历

2019.08-至今，云南师范大学，信息学院， 教授

2019.07-至今，云南师范大学，光学工程博士点，博导

2017.09-2019.07，云南师范大学，信息学院，副教授

2014.06-2017.08， 云南师范大学，信息学院，讲师

2007.04-2008.12， 埃森哲公司（日本），IT咨询顾问

荣誉奖励

2018年，荣获云南省万人计划青年拔尖人才

2018年，荣获高等学校国家级教学成果奖二等奖

2009年，获得新加坡国立大学NGS全额奖学金

2004年，获得日本早稻田大学校内及文部省奖学金

2000年，获得日本千叶工业大学校内及文部省奖学金

1999年，获得哈尔滨工业大学对日留学项目资助

社会服务

2020年9月16日，中国图象图形学报邀请云南师范大学信息学院杨扬教授，带来了“图图Seminar：开学第一课——“出身决定论”？看科研之路如何逆袭！”的主题演讲，并通过B站、知网对外进行了线上直播。杨教授句句箴言，娓娓道来，分享了专为学生建立的，可以复制的科研经验，同时杨老师多位优秀的毕业生们也来到直播现场，与网友们带来精彩的互动答疑。当晚B站人气破万，直播中不少网友表示，干货满满，值得二刷三刷！

人才培养

2016届，周红玉（研究生），昆明市科技局

2018届，张愫（研究生），新加坡南洋理工大学，计算机科学专业博士全额奖学金获得

2018届，潘安宁（研究生），保山学院，任教

2018届，汤昊林（本科生），美国弗吉尼亚联邦大学，计算机科学专业博士全额奖学金获得

2019届，宋飞（研究生），中国科学院光电技术研究所博士录取

2019届，但婷婷（研究生），华南理工大学博士录取

2019届，高雪艳（研究生），天津大学博士录取

2019届，韩燕涛（研究生），云南师范大学实验中学，任教

2019届，魏梓泉（本科生），华中科技大学学硕录取

2019届，李梦雅（本科生），华东师范大学直博生录取

2020届，马新科（研究生），西北工业大学博士录取

2020届，毕东升（研究生），深圳大学博士录取

2020届，余蕊（研究生），深圳大学博士录取

2020届，赵婉婧（研究生），南京大学博士录取

2020届，郝旭影（本科生），中国科学院光电技术研究所直博生录取

2020届，周杰（本科生），河北工业大学学硕录取

2021届，油腾飞（本科生），西北工业大学专硕录取

2021届，赵艺洋（本科生），重庆大学专硕录取

2021届，刘羽鹤（本科生），中国科学院光电技术研究所直博生录取

参考来源：https://cic.ynnu.edu.cn/info/1012/2173.htm