基于边缘增强引导滤波的光场全聚焦图像融合

受光场相机微透镜几何标定精度的影响,4D光场在角度方向上的解码误差会造成积分后的重聚焦图像边缘信息损失,从而降低全聚焦图像融合的精度。该文提出一种基于边缘增强引导滤波的光场全聚焦图像融合算法,通过对光场数字重聚焦得到的多幅重聚焦图像进行多尺度分解、特征层决策图引导滤波优化来获得最终全聚焦图像。与传统融合算法相比,该方法对4D光场标定误差带来的边缘信息损失进行了补偿,在重聚焦图像多尺度分解过程中增加了边缘层的提取来实现图像高频信息增强,并建立多尺度图像评价模型实现边缘层引导滤波参数优化,可获得更高质量的光场全聚焦图像。实验结果表明,在不明显降低融合图像与原始图像相似性的前提下,该方法可有效提高全聚焦图像的边缘强度和感知清晰度。     

基于双引导滤波的红外和可见光图像融合算法

图像融合是将多幅图像中有用或互补信息整合成一幅图像的过程。本文提出了一种基于引导滤波多尺度分解的红外和可见光图像融合算法。在传统的引导滤波图像融合算法的基础之上,利用双引导滤波器代替均值滤波器将源图像分解为小尺度纹理细节、大尺度边缘和基础图像;直接利用纹理细节及边缘层图像构建显著性映射图,用其代替额外的特征提取操作,可很好地突出源图像显著性信息的同时大大降低算法复杂度;利用显著性映射图、Sigmoid函数构造权重图,将源图像中具有视觉意义的信息注入到融合图像中;利用色彩模型转换融合方式,可更好保留图像的色彩信息。定性和定量实验结果证明,相比于传统的基于引导滤波的图像融合算法,本文算法的融合效果得到进一步提升。     

基于高阶奇异值分解和深度学习的光场图像拼接方法

光场图像拼接旨在提高光场图像的视场角。考虑到光场数据包含较多冗余,且传统拼接方法对于低纹理场景的光场图像鲁棒性不足,本文提出一种基于高阶奇异值分解(high-order singular value decomposition, HOSVD)和深度学习的光场图像拼接方法。首先,通过光流估计和HOSVD对光场图像进行降维,得到所有视角下一致空间信息的主基和不同视角下高频信息的其他基带。其次,提出注意力增强的无监督单应性估计网络来提高图像的配准精度。最后,将扭曲后的参考基带和目标基带进行光场重建与图像融合,得到最终的拼接光场。实验结果表明,该方法在拼接光场的主客观质量和角度一致性方面表现出较好的性能。     

混合式光场相机在聚焦与非聚焦模式下的超分辨重聚焦仿真

光场描述了光在自由空间传播的全四维信息,光场相机可用来获得光场图像。在传统的光场相机中,最终获得图像的空间分辨率受限于微透镜阵列中透镜的个数。聚焦型光场相机相较于传统光场相机能够获得更高的空间分辨率,但是以牺牲其角度分辨率作为代价。在Zemax中建立了传统光场相机与将聚焦光场相机的成像模型,仿真获得了两种光场相机的光场图像,分析了两种不同类型光场相机采样模式的区别。提出将可变焦液体透镜阵列放置在光场相机中,可以同时获得聚焦和非聚焦两种模式下的光场图像。根据记录的光场信息,讨论了相应的重聚焦方法,计算仿真了在不同景深下的重聚焦图像,并提出了一种基于图像融合和超分辨率重构的方法来提高重聚焦图像的分辨率,最终在相同的景深范围内获得了3倍于传统光场相机分辨率的重聚焦图像。     

基于ShearLab 3D变换的3维PET/MRI图像融合

为了解决阿尔茨海默病3维正电子发射断层成像(PET)与核磁共振成像(MRI)相同位置强度不同问题,同时保留MRI大脑皮质、脑回沟、海马体等的萎缩情况, 首先将两幅源图像在统计参量图(SPM)中预处理,再利用3维剪切波系统(ShearLab 3D)最优表达高维数据的能力对图像分解,生成低高频子带,并以方差作为阈值将高频子带分为中高频子带。低频子带使用3维扩展的加权局部能量与改进拉普拉斯算子的加权和加权的融合规则,并引入锐化矩阵为权重参量,使融合图像边缘清晰; 中频子带以绝对值为活动度量增强图像的边缘信息; 高频子带以3个3维底层特征加权融合规则增强图像的细节特征。最后,利用ShearLab 3D逆变换获得PET/MRI图像。结果表明,ShearLab 3D变换的融合结果整体优于空域和小波变换;ShearLab 3D方法中将不同融合规则对比分析,该算法融合结果的平均梯度、空间频率、边缘强度、综合熵分别提高了11.09%,22.58%,152.68%,0.58%,解决了边缘模糊、细节不清晰的问题。该研究为PET/MRI图像融合提供了参考。     

基于滚动引导滤波的红外与可见光图像融合算法

针对红外与可见光图像融合时,易产生细节丢失、噪声抑制不佳等问题,本文提出了一种改进的滚动引导滤波融合算法。该算法充分利用了滚动引导滤波边缘和局部亮度保持特性,在通过均值滤波将输入图像分解为基础层与细节层的基础上,结合滚动引导滤波与高斯滤波获取输入图像的显著图,利用不同尺度参数的引导滤波对显著图优化得到权重图,将权重图作为权重分别指导基础层与细节层的融合,最后联合融合后的子图重构得到融合图像。针对3类测试数据进行的融合实验表明,与非下采样轮廓波变换、基于引导滤波、基于显著性检测的两个尺度的图像融合等经典方法相比,本文方法得到的融合图像不但从主观视觉效果上细节信息更丰富、目标对比度加强,并且在非线性相关信息熵、相位一致性等6项客观评价指标上均具有较好的效果。     

基于融合策略的单幅图像去雾算法

为了有效增强雾天衰退图像,提出了一种基于融合策略的单幅图像去雾算法。该融合策略无需依靠大气散射模型或场景结构信息,只需通过原始衰退图像来获取其输入图与权重图。其中2幅输入图的作用主要是对原有雾图像进行颜色校正和对比度增强,而3幅权重图则突显了图像雾气较浓区域的细节信息。融合策略将上述输入图与权重图相融合以生成对比度高、色彩丰富的去雾图像。此外,本文还从人类视觉感知的角度提出了一个新的去雾效果评价指标,从而为图像去雾与去雾效果评价问题提供了新的解决思路。实验结果表明,与已有方法相比,提出的基于融合策略的去雾算法能更好地提高各种雾天图像的清晰度。     

基于视点图像与EPI特征融合的光场超分辨率

光场（Light Field, LF）成像能同时捕获场景中光线的空间信息和角度信息,应用广泛。然而,它的分辨率受到成像设备硬件以及空间和角度分辨率之间制衡的限制。过低的空间分辨率严重影响了光场图像的质量及其应用。因此,本文充分利用光场特性增强图像细节,提出一种基于视点图像（Viewpoint Image, VI）和极平面图像（Epipolar Plane Image, EPI）特征融合的端到端光场超分辨率方法,能够同时超分辨率所有视点图像。本方法将低分辨率光场图像按照水平和垂直EPI方向堆叠排列,利用三维视点图像堆栈中包含EPI信息的特点,采用双分支结构的3D递减卷积网络处理输入的四维光场数据。这样能够同时对视点图像和EPI信息进行特征提取和融合,充分探索光场的纹理信息及几何一致性。在真实和合成光场数据集上的实验结果均表明,该方法相比现有主流方法不仅在客观指标上具有更好的表现,主观质量上也能保持更好的几何一致性,同时还具有更少的模型参数和更快的执行速度。      

一种基于非采样Contourlet变换的遥感图像融合算法

为使融合后的多光谱图像尽可能保持原多光谱图像光谱特性的同时提高空间质量,提出了一种基于非采样Contourlet变换（NSCT）和多尺度边缘检测的融合算法。介绍了非采样Contourlet变换和多尺度边缘检测;设计了基于多尺度边缘检测、直接替代的高频、低频子带融合规则;用QuickBird卫星高分辨率遥感图像进行仿真实验。实验结果表明该算法能够在保持光谱信息的同时注入更丰富的空间细节信息,优于传统的Wavelet变换法和Contourlet变换法。     

结合边缘检测的快速SIFT图像拼接方法

为了对身管内壁序列图像进行精确配准与融合拼接,得到大视场高分辨率待检测图像,根据图像特点提出了一种结合边缘检测的快速SIFT图像拼接方法。该方法充分考虑待处理图像的特点,首先对感兴趣区域的图像进行边缘检测,分割出细节信息最丰富的子区域,再对分割出的子区域提取SIFT特征点并进行配准。然后,使用基于Sigmoid型函数权重的图像融合方法,实现图像之间的无缝融合,最大程度地保证了融合图像的清晰度和细节信息的完整性。实验结果表明:改进的方法和传统SIFT算法相比,在特征点提取阶段的平均效率提高了80%左右,且整体配准阶段的效率也有较大提高。图像融合结果在主观评价和各种客观评价值上都能满足工程实际需求。     

基于像素失真耦合边缘特征融合的无参考质量评价

为了适应多种类型的模糊图像进行质量评价,提高评价模型对图像模糊和振铃的洞察能力,提出了一种像素失真与边缘特征融合的无参考质量评价算法.首先,根据像素失真理论,计算图像像素的标准差和绝对差分值,提取图像的像素特征;然后,计算图像水平和垂直方向的过零率,并利用边缘保持滤波器对图像边缘信息进行测量,精确提取图像的边缘特征;最后,利用提取的像素特征和边缘特征,定义特征融合函数,并引入粒子群优化(PSO)对融合函数参数进行优化,提高对图像模糊和振铃的洞察能力,根据融合特征构建图像质量评价模型.与当前无参考质量评价算法比较,所提算法能够有效地对JPEG(Joint Photographic Experts Group)、JPEG2000(Joint Photographic Experts Group 2000)、模糊等失真图像进行质量评价,评价指标CC(Correlation Coefficient)与SROCC(Spearman Rank-order Correlation Coefficient)达0.9477和0.9153.该算法与主观评价方法具有较好的一致性,能够较好地适用于多种类型的失真图像评价.     

基于多尺度和注意力模型的红外与可见光图像融合

针对红外与可见光图像在融合后容易出现伪影,小目标轮廓不清晰等问题,提出一种基于多尺度特征与注意力模型相结合的红外与可见光图像融合算法。通过5次下采样提取源图像不同尺度的特征图,再将同一尺度的红外与可见光特征图输入到基于注意力模型的融合层,获得增强的融合特征图。最后把小尺度的融合特征图进行5次上采样,再与上采样后同一尺度的特征图相加,直到与源图像尺度一致,实现对特征图的多尺度融合。实验对比不同融合框架下融合图像的熵、标准差、互信息量、边缘保持度、小波特征互信息、视觉信息保真度以及融合效率,本文方法在多数指标上优于对比算法,且融合图像目标细节明显轮廓清晰。     

基于卷积神经网络的红外图像融合算法

红外图像与可见光图像融合的目的是为人类观察或其他计算机视觉任务生成信息更加丰富的图像。本文针对深度学习近年来在计算机视觉领域取得的巨大成功,提出一种基于卷积神经网络的红外与可见光图像融合算法。首先,使用引导滤波和高斯滤波器组成的尺度感知边缘保护滤波器对输入的源图像进行多尺度分解,基础层利用像素强度分布的加权平均融合规则进行融合,细节层借助卷积神经网络对空间细节进行提取融合。实验结果表明,本文算法可以较好的将特定尺度信息进行保存,并减小滤波对边缘细节带来的光晕影响,融合后图像噪声较少,细节呈现的更加自然,并且适合人类视觉感知。     

基于深度多级小波变换的图像盲去模糊算法

近年来卷积神经网络广泛应用于单幅图像去模糊问题,卷积神经网络的感受野大小、网络深度等会影响图像去模糊算法性能。为了增大感受野以提高图像去模糊算法的性能,该文提出一种基于深度多级小波变换的图像盲去模糊算法。将小波变换嵌入编-解码结构中,在增大感受野的同时加强图像特征的稀疏性。为在小波域重构高质量图像,该文利用多尺度扩张稠密块提取图像的多尺度信息,同时引入特征融合块以自适应地融合编-解码之间的特征。此外,由于小波域和空间域对图像信息的表示存在差异,为融合这些不同的特征表示,该文利用空间域重建模块在空间域进一步提高重构图像的质量。实验结果表明该文方法在结构相似度(SSIM)和峰值信噪比(PSNR)上具有更好的性能,而且在真实模糊图像上具有更好的视觉效果。     

联合辐射指数的多流融合网络空谱融合方法

结合遥感图像融合的特点,提出一种联合辐射指数的多流融合生成对抗网络的遥感图像融合方法。该方法从初始的多光谱图像和全色图像中按照特定的规则提取特征图,利用生成器子网络分别提炼输入的多源图像,在特征域上叠加特征后通过生成器的主网络进行融合。根据遥感领域中多光谱图像和全色图像在波段上的特性,在判别器中引入调制传递函数(MTF)来判别融合图像的光谱信息和空间结构信息。为评估所提方法的有效性,进行视觉分析,并与其他算法进行客观评价的比较。实验结果表明,该方法在视觉效果和客观评价上优于其他算法。     

基于边缘强度匹配的图像融合并行算法的研究

图像融合是图像理解和计算机视觉领域中的一项重要课题。随着图像规模的增大,图像融合面临着处理速度的挑战。最近几年,GPU面向通用计算应用得到了快速发展。本文基于GPU编程模型和硬件特性,深入研究了基于边缘强度的图像融合算法,提出了该算法的并行模型。实验结果表明,该方法有效地综合了源图像中的重要信息,融合图像边界清晰,得到较好视觉效果和较优的评价指标,执行速度与CPU上相比提高了3个数量级。     

自注意力引导的红外与可见光图像融合算法

为确保源图像中的显著区域在融合图像保持显著,提出了一种自注意力引导的红外与可见光图像融合方法。在特征学习层引入自注意力学习机制获取源图像的特征图和自注意力图,利用自注意力图可以捕获到图像中长距离依赖的特性,设计平均加权融合策略对源图像的特征图进行融合,最后将融合后的特征图进行重构获得融合图像。通过生成对抗网络实现了图像特征编码、自注意力学习、融合规则和融合特征解码的学习。TNO真实数据上的实验表明,学习到注意力单元体现了图像中显著的区域,能够较好地引导融合规则的生成,提出的算法在客观和主观评价上优于当前主流红外与可见光图像融合算法,较好地保留了可见光图像的细节信息和红外图像的红外目标信息。     

基于超像素级卷积神经网络的多聚焦图像融合算法

该文提出了基于超像素级卷积神经网络(sp-CNN)的多聚焦图像融合算法。该方法首先对源图像进行多尺度超像素分割,将获取的超像素输入sp-CNN,并对输出的初始分类映射图进行连通域操作得到初始决策图;然后根据多幅初始决策图的异同获得不确定区域,并利用空间频率对其再分类,得到阶段决策图;最后利用形态学对阶段决策图进行后处理,并根据所得的最终决策图融合图像。该文算法直接利用超像素分割块进行图像融合,其相较以往利用重叠块的融合算法可达到降低时间复杂度的目的,同时可获得较好的融合效果。     

基于超像素级卷积神经网络的多聚焦图像融合算法

该文提出了基于超像素级卷积神经网络(sp-CNN)的多聚焦图像融合算法。该方法首先对源图像进行多尺度超像素分割,将获取的超像素输入sp-CNN,并对输出的初始分类映射图进行连通域操作得到初始决策图;然后根据多幅初始决策图的异同获得不确定区域,并利用空间频率对其再分类,得到阶段决策图;最后利用形态学对阶段决策图进行后处理,并根据所得的最终决策图融合图像。该文算法直接利用超像素分割块进行图像融合,其相较以往利用重叠块的融合算法可达到降低时间复杂度的目的,同时可获得较好的融合效果。     

基于优化PCNN与区域特征引导法则的图像融合

针对传统红外与可见光图像融合算法存在着边缘信息缺失、目标特征不够突出等问题,本文提出一种基于优化脉冲耦合神经网络(PCNN)与区域特征引导法则的红外与可见光图像融合算法。首先,对红外与可见光图像分别进行非下采样剪切波变换(NSST),获取相应的低频分量和高频分量。其次,低频分量采用基于优化PCNN模型的融合规则进行融合;对于高频分量,利用图像的区域能量、改进空间频率和区域方差匹配度等特征,提出自适应的区域方差匹配度阈值和调节因子,构造区域特征引导法则完成融合。最后,对融合后的低高频分量进行NSST逆变换,获取融合图像。实验结果表明,本文算法可有效综合图像的优势信息,并在主观视觉和客观指标上均具有明显的优势。