《中国图象图形学报》图像融合专刊简介
李树涛1, 吴小俊2, 马佳义3, 白相志4, 刘羽5, 李辉2, 韩向娣6(1.湖南大学, 长沙 410082;2.江南大学, 无锡 214122;3.武汉大学, 武汉 430072;4.北京航空航天大学, 北京 102206;5.合肥工业大学, 合肥 230009;6.《中国图象图形学报》编辑部, 北京 100190) 摘 要
图像融合技术旨在提取和整合多源图像中的互补信息,以生成具有完整场景表达能力的融合图像,从而提升决策系统在目标检测、场景解析等高层视觉任务上的准确性及可靠性,在医学、安防、遥感、数码摄影等安全和民用领域具有广泛的应用前景。
典型的图像融合任务包括多模态医学图像融合、红外与可见光图像融合、多聚焦图像融合、多曝光图像融合、高光谱/多光谱/全色图像融合及超分等。然而,多源图像融合目前仍然面临多方面挑战,包括对信息源的不同理解定义、对后端任务有益信息的定义、信息分解的方式、互补和冗余信息的区分、有效融合规则的设计、多源图像的配准、融合图像的质量评估等。近年来,人工智能和高性能计算快速发展,大规模多媒体数据的智能应用需求日趋广泛,多媒体数据的融合、转换、理解、搜索、推理与推荐等方向的新问题也不断涌现,推动了多媒体智能处理与分析技术的迅速发展,在学术界和产业界均引起极大关注。
为深入探讨和研究上述问题,展示我国学者在图像融合技术方面的重要进展,《中国图象图形学报》邀请业内专家共同策划推出“图像融合”专刊,收录该方向具有创新性、突破性的研究成果。以期为相关领域的研究人员提供参考。
专刊收到领域内相关学者积极踊跃的投稿。经过严格评审,“图像融合”专刊共收录学术论文20篇,包括“综述”6篇、“红外与可见光图像融合”6篇、“医学图像处理”4篇、“遥感图像处理”3篇以及“多模态信息融合”1篇。
“综述”栏目中,《基于深度学习的图像融合方法综述》对不同融合任务场景下的前沿深度融合算法进行全面论述和分析。首先,介绍图像融合的基本概念以及不同融合场景的定义。针对多模图像融合、数字摄影图像融合以及遥感影像融合等不同的融合场景,从网络架构和监督范式等角度全面阐述各类方法的基本思想,并讨论各类方法的特点。其次,总结各类算法的局限性,并给出进一步改进方向。再次,简要介绍不同融合场景中常用的数据集,并给出各种评估指标的具体定义。对于每一种融合任务,从定性评估、定量评估和运行效率等多角度全面比较其中代表性算法的性能。论文提及的算法、数据集和评估指标已汇总至https://github.com/Linfeng-Tang/Image-Fusion。最后,给出了结论以及图像融合研究中存在的一些严峻挑战,并对未来可能的研究方向进行了展望。
《多模态视觉跟踪方法综述》以阐述可见光—红外跟踪方法为主,从信息融合的角度将现有方法划分为结合式融合和判别式融合,分别进行了详细介绍和分析,并对不同类方法的优缺点进行了分析和比较。然后,对其他多模态视觉跟踪任务的研究工作进行了介绍,并对不同多模态视觉跟踪任务的优缺点进行了分析和比较。最后,对多模态视觉跟踪方法进行了总结以及对未来发展进行展望。
《遥感图像全色锐化的卷积神经网络方法研究进展》回顾当前遥感图像全色锐化问题在卷积神经网络方面的一些进展,并针对前述问题发布相关数据集和代码编写框架。1)详细介绍7种典型的基于卷积神经网络的全色锐化方法,并在统一数据集上进行公平比较(包括与典型传统方法的比较);2)详细介绍训练—测试数据集的仿真细节,并发布相关卫星(如WorldView-3,QuickBird,GaoFen2,WorldView-2)的全色锐化训练—测试数据集;3)针对本文介绍的7种基于卷积神经网络的方法,发布基于Pytorch深度学习库的Python代码统一编写框架,便于后来初学者的入门、开展研究以及公平比较;4)发布统一的全色锐化传统—深度学习方法MATLAB测试软件包,便于后来学者进行公平的实验测试对比;5)对本领域的未来研究方向进行讨论和展望。相关数据集和代码详见:https://liangjiandeng.github.io/PanCollection.html。
《深度学习多聚焦图像融合方法综述》对基于深度学习的多聚焦图像融合方法进行系统综述,将现有方法分为基于深度分类模型的和基于深度回归模型的两大类,对每一类的代表性方法进行介绍;然后基于3个多聚焦图像融合数据集和8个常用的客观质量评价指标,对25种代表性融合方法进行了性能评估和对比分析;最后总结了该研究方向存在的一些挑战性问题,并对后续研究进行展望。旨在帮助相关研究人员了解多聚焦图像融合领域的研究现状,促进该领域的进一步发展。
《深度学习时代图像融合技术进展》首先介绍了图像融合问题建模,并从传统方法视角逐渐向深度学习视角过渡。具体地,从数据集生成、神经网络构造、损失函数设计、模型优化和性能评估等方面总结了基于深度学习的图像融合研究现状。此外,讨论了选择性图像融合这类衍生问题建模(比如,基于高分辨率纹理图融合的深度图增强),回顾了一些基于图像融合实现其他视觉任务的代表性工作。最后,根据现有技术的缺陷,提出目前图像融合技术存在的挑战,并对未来发展趋势进行了展望。
《医学图像融合方法综述》对近年国内外发表的相关文献进行综述。对医学图像融合技术进行分类,将融合方法分为传统方法和深度学习方法两类并总结其优缺点。结合多模态医学图像成像原理和各类疾病的图像表征,分析不同部位、不同疾病的融合方法的相关技术并进行定性比较。总结现有多模态医学图像数据库,并按分类对25项常见的医学图像融合质量评价指标进行概述。总结22种基于传统方法和深度学习领域的多模态医学图像融合算法。此外,本文进行实验,比较基于深度学习与传统的医学图像融合方法的性能,通过对3组多模态医学图像融合结果的定性和定量分析,总结各技术领域医学图像融合算法的优缺点。最后,对医学图像融合技术的现状、重难点和未来展望进行讨论。
我们期待广大读者和科技人员通过“图像融合”专刊,能够更深入、更全面地了解该领域的最新方法和应用,吸引更多学者从事相关研究并产生具有国际影响力的优秀成果,为本领域的发展做出新的贡献。
关键词
Information of Special Issue"Image Fusion "
() Abstract
Keywords
|