基于小波变换的图像融合研究

在导航手术过程中，图像引导起着关键作用，直接影响导航精度。CT图像能清晰显示颅骨和粘贴的标记点，却对脑组织的显示有限。MRI图像对脑内部软组织结构分辨高，但对头颅表面信息显示模糊。因此单一模态的图像对于导航手术引导有限。本文提出基于小波变化的图像融合方法，对CT和MRI图像进行了价值信息的有效融合，弥补了单幅图像信息不足的缺点。实验结果表明，该图像融合方法具有较强的鲁棒性，能够满足临床应用。     

应用图像融合的fMRI数据处理方法的研究

提出了一种新的fMRI数据处理方法,融合了统计参数图（SPM）、独立成分分析(ICA)所提取的特征信息,实现脑功能激活区的准确提取。首先通过时段设计实验获取了反应不同握力条件下手运动相关皮层活动的fMRI数据,并且进行相应的预处理;然后采用SPM和ICA方法分别提取脑功能信息;研究了一种基于主成分分析的图像融合算法。最后,应用图像融合算法对SPM和ICA方法分别提取的脑功能信息进行融合。结果表明,该方法弥补了SPM和ICA两种方式的不足,是一种进行功能区定位更加有效的方法。     

基于Harris角点匹配与图像融合算法的嵌入式稳像系统设计

针对传统电子稳像平台的缺陷,设计一种基于改进Harris角点检测的进行运动估计的FPGA(Field Programmable Gate Array)稳像系统。算法针对FPGA结构特点以及Harris算法理论结构,对其进行必要的改进。针对运动补偿后原有部分图像信息缺失问题,提出一种基于图像融合的缺失图像补偿算法。系统还完成了运动估计和运动补偿部分的硬件设计,使得视频序列帧间存在平移和旋转时能够消除这种运动。研究结果证明,系统能消除随机抖动。     

基于相邻帧补偿的高速运动目标图像稳像算法及仿真

在高速运动目标图像视频采集过程中,高速运动、风力作用等因素将导致视频图像抖动。为提高高速运动目标图像视觉系统采集性能,改善图像采集质量,提出一种基于相邻帧补偿的高速运动目标图像稳像算法。结合自适应中值滤波方法和灰度化直方图均衡方法对图像进行预处理,用尺度不变特征变换(SIFT)算法提取视频图像中的特征点,利用仿射模型求解运动参数,采用Kalman滤波对视频图像中的正常扫描进行滤波,最后用相邻帧补偿方法将图像的前一帧作为参考帧对当前帧进行参数补偿,实现高速运动目标的视频图像电子稳像处理。仿真实验表明,新算法能在保留图像中的特征的同时去除图像中含有的抖动,非常适合高速运动视频图像的电子稳像处理,精度提高,计算量明显减少。     

信息分离和质量引导的红外与可见光图像融合

目的 红外与可见光图像融合的目标是将红外图像与可见光图像的互补信息进行融合,增强源图像中的细节场景信息。然而现有的深度学习方法通常人为定义源图像中需要保留的特征,降低了热目标在融合图像中的显著性。此外,特征的多样性和难解释性限制了融合规则的发展,现有的融合规则难以对源图像的特征进行充分保留。针对这两个问题,本文提出了一种基于特有信息分离和质量引导的红外与可见光图像融合算法。方法 本文提出了基于特有信息分离和质量引导融合策略的红外与可见光图像融合算法。设计基于神经网络的特有信息分离以将源图像客观地分解为共有信息和特有信息,对分解出的两部分分别使用特定的融合策略;设计权重编码器以学习质量引导的融合策略,将衡量融合图像质量的指标应用于提升融合策略的性能,权重编码器依据提取的特有信息生成对应权重。结果 实验在公开数据集RoadScene上与6种领先的红外与可见光图像融合算法进行了对比。此外,基于质量引导的融合策略也与4种常见的融合策略进行了比较。定性结果表明,本文算法使融合图像具备更显著的热目标、更丰富的场景信息和更多的信息量。在熵、标准差、差异相关和、互信息及相关系数等指标上,相较于对比算法中的最优结果分别提升了0.508%、7.347%、14.849%、9.927%和1.281%。结论 与具有领先水平的红外与可见光算法以及现有的融合策略相比,本文融合算法基于特有信息分离和质量引导,融合结果具有更丰富的场景信息、更强的对比度,视觉效果更符合人眼的视觉特征。     

医学图像融合方法综述

多模态医学图像能够为医疗诊断、治疗规划和手术导航等临床应用提供更为全面和准确的医学图像描述。由于疾病的类型多样且复杂,无法通过单一模态的医学图像进行疾病类型诊断和病灶定位,而多模态医学图像融合方法可以解决这一问题。融合方法获得的融合图像具有更丰富全面的信息,可以辅助医学影像更好地服务于临床应用。为了对医学图像融合方法的现状进行全面研究,本文对近年国内外发表的相关文献进行综述。对医学图像融合技术进行分类,将融合方法分为传统方法和深度学习方法两类并总结其优缺点。结合多模态医学图像成像原理和各类疾病的图像表征,分析不同部位、不同疾病的融合方法的相关技术并进行定性比较。总结现有多模态医学图像数据库,并按分类对25项常见的医学图像融合质量评价指标进行概述。总结22种基于传统方法和深度学习领域的多模态医学图像融合算法。此外,本文进行实验,比较基于深度学习与传统的医学图像融合方法的性能,通过对3组多模态医学图像融合结果的定性和定量分析,总结各技术领域医学图像融合算法的优缺点。最后,对医学图像融合技术的现状、重难点和未来展望进行讨论。     

ITK和VTK及其应用新进展*

在国外,基于ITK和VTK的3D Slicer和IGSTK两个软件主要应用于为医学图像分析、图像导航手术和微创手术。对ITK和VTK的现状、安装、开发技术作了详细的综述,并介绍了3D Slicer和IGSTK的主要功能和临床应用,为图像引导临床诊断的研究应用指明方向。     

基于NSST-IHS 变换稀疏表示的SAR 与可见光图像融合

针对合成孔径雷达(SAR)与可见光图像成像原理不同,其融合图像常常存在感兴趣 目标不突出及光谱失真的问题,提出了一种基于NSST-IHS 变换稀疏表示的融合算法。对源图 像进行IHS 和NSST 变换,在所得低频分量上采用基于结构相似性和亮度差异性的稀疏表示融 合规则,高频分量上则采用基于改进的拉普拉斯能量和的融合规则,融合结果再通过NSST 和 IHS 逆变换得到。实验以哨兵1 号SAR 图像与landsat-8 可见光图像进行验证,并与传统的IHS、 Wavelet、NSCT、IHS-Wavelet-SR 和NSST-IHS 算法进行比较。结果表明,该算法不论视觉还 是评价指标都有了明显提高,空间结构信息和光谱信息得到有效的保持,有利于后续目标检测 与识别工作。     

基于K-L变换的PCA多模医学图象融合算法研究

CT和MRI图像融合在临床医学中得到广泛应用。文章在研究主成分分析(PCA)算法的同时,基于K-L变换进行图像融合,结果表明这种算法在执行中速度快、效果清晰能够满足临床需要。     

机器人辅助微创全膝关节置换手术系统

开发了面向全膝关节置换手术的机器人辅助截骨系统,实现了膝关节解剖结构精准建模、术前截骨路径3维规划、图像配准以及术中机器人可视化导航.采用多模态图像融合与主动轮廓模型分割技术实现了包含关节软骨在内的膝关节自动化建模与可视化;在此基础上采用3维交互技术实现截骨路径的术前规划;术中基于自主研发的双目视觉跟踪系统,采集关节骨表面3维点云与术前3维模型进行形状配准,完成图像空间和机器人空间之间的映射;最后通过视觉导航技术引导机器人完成截骨操作.实验结果表明,机器人系统综合定位误差为0.87 mm,截骨操作误差小于1 mm.     

一种基于互信息和小波分解的图像配准算法

为了寻找快速、精确、鲁棒性强的自动配准算法,论文提出了基于互信息和小波分解图像配准方法。假设实时图像和模板图像之间的变换为仿射变换,采用金字塔小波分解和边缘特征提取获得特征点,利用分层特征点方法进行配准,以互信息最大作为度量准则,在每层上利用互信息的最大值来获取变换参数,然后得到全局变换参数。仿真结果表明此方法具有很好的抗干扰性、鲁棒性和精确性。     

Novel interaction techniques for neurosurgical planning and stereotactic navigation

Neurosurgical planning and image guided neurosurgery require the visualization of multimodal data obtained from various functional and structural image modalities, such as Magnetic Resonance Imaging (MRI), Computed Tomography (CT), functional MRI, Single photon emission computed tomography (SPECT) and so on. In the case of epilepsy neurosurgery for example, these images are used to identify brain regions to guide intracranial electrode implantation and resection. Generally, such data is visualized using 2D slices and in some cases using a 3D volume rendering along with the functional imaging results. Visualizing the activation region effectively by still preserving sufficient surrounding brain regions for context is exceedingly important to neurologists and surgeons. We present novel interaction techniques for visualization of multimodal data to facilitate improved exploration and planning for neurosurgery. We extended the line widget from VTK to allow surgeons to control the shape of the region of the brain that they can visually crop away during exploration and surgery. We allow simple spherical, cubical, ellipsoidal and cylindrical (probe aligned cuts) for exploration purposes. In addition we integrate the cropping tool with the image-guided navigation system used for epilepsy neurosurgery. We are currently investigating the use of these new tools in surgical planning and based on further feedback from our neurosurgeons we will integrate them into the setup used for image-guided neurosurgery.     

动静态联合滤波器在多聚焦图像融合中的应用

动静态联合滤波器具有良好的边缘平滑特性,对梯度反转和全局强度迁移等伪影具有很强的鲁棒性。为了保留源图像的结构信息,提出了基于动静态联合滤波器的多聚焦图像融合方法。首先采用动静态联合滤波器将源图像分解为结构分量和纹理分量,以视觉显著度加权法对结构分量进行融合,综合相位一致性和清晰度信息对纹理分量进行融合;将两分量叠加获得初始融合图像,并通过计算源图像与初始融合图像间的结构相似度作为决策矩阵,获得最终的融合图像。通过对比多组融合图像主、客观评价结果发现,该方法能有效保留边缘信息。     

结合小波变换的梯度场图像渐进融合算法

基于梯度场的图像融合算法只适用于尺度差异不大于1∶4的多光谱图像与全色图像。针对尺度差异为1∶8的北京一号卫星多光谱图像及高分辨率全色图像的融合问题,提出一种结合小波变换的梯度场图像尺度渐进融合算法。利用小波变换方法将多光谱图像与高分辨率全色图像尺度差异倍数缩小,得到基于小波变换的初级融合,再进行基于梯度场的Poisson图像融合。实验结果表明,渐进融合图像与多光谱图像的平均颜色差异值为23.5,与高分辨率全色图像的平均梯度差异值为2.1,多尺度纹理特征值差异值分别为3.98、10.2、18.9,渐进融合图像与高分辨率全色图像的空间细节和纹理细节吻合程度更好。     

结合NSCT和压缩感知的红外与可见光图像融合

目的 红外成像传感器只敏感于目标场景的辐射,对热目标的探测性能较好,但其对场景的成像清晰度低;可见光图像只敏感于目标场景的反射,场景图像较为清晰,但目标不易被清晰观察.因而将两者图像进行融合,生成具有较好目标指示特性和可见光图像的清晰场景信息,有利于提高目标识别的准确性和降低高分辨图像传感器研究的技术难度.方法 结合非下采样contourlet变换 (NSCT)和压缩感知的优点,研究一种新的红外与可见光图像融合方法.首先对两源图像进行NSCT变换,得到一个低频子带和多个不同方向、尺度的高频子带.然后对两低频子带采用压缩感知理论获得测量向量,利用方差最大的方法对测量向量进行融合,再进行稀疏重建;高频子带采用区域能量最大的方法进行融合.最后利用NSCT逆变换获得融合图像.结果 为了验证本文方法的有效性,与其他几种方法相比较,并利用主观和客观的方法对融合结果进行评价.提出的新方法融合结果的熵、空间频率、方差明显优于其他几种方法,运行时间居中.主观上可以看出,融合结果在较好地显示目标的基础上,能够较为清晰地保留场景图像的信息.结论 实验结果表明,该方法具有较好的目标检测能力,并且方法简单,具有较强的适应性,可应用于航空、遥感图像、目标识别等诸多领域.     

基于自适应联合字典学习的脑部多模态图像融合方法

针对目前全局训练字典对于脑部医学图像的自适应性不强,以及使用稀疏表示系数的L₁范数取极大的融合方式易造成图像的灰度不连续效应进而导致图像融合效果欠佳的问题,提出一种基于自适应联合字典学习的脑部多模态图像融合方法。该方法首先使用改进的K奇异值分解（K-SVD）算法自适应地从已配准的源图像中学习得到子字典并组合成自适应联合字典,在自适应联合字典的作用下由系数重用正交匹配追踪（CoefROMP）算法计算得到稀疏表示系数;然后将稀疏表示系数的"多范数"作为源图像块的活跃度测量,并提出"自适应加权平均"与"选择最大"相结合的无偏规则,根据稀疏表示系数的"多范数"的相似度选择融合规则,当"多范数"的相似度大于阈值时,使用"自适应加权平均"的规则,反之则使用"选择最大"的规则融合稀疏表示系数;最后根据融合系数与自适应联合字典重构融合图像。实验结果表明,与其他三种基于多尺度变换的方法和五种基于稀疏表示的方法相比,所提方法的融合图像能够保留更多的图像细节信息,对比度和清晰度较好,病灶边缘清晰,客观参数标准差、空间频率、互信息、基于梯度指标、基于通用图像质量指标和平均结构相似指标在三组实验条件下的均值分别为：71.0783、21.9708、3.6790、0.6603、0.7352和0.7339。该方法可以应用于临床诊断和辅助治疗。     

基于脉冲耦合神经网络的异源图像融合方法

针对基于主成分分析与二代小波变换的图像融合算法中鲁棒性不高、融合图像质量较低的问题,提出了基于鲁棒性主成分分析与脉冲耦合神经网络的融合方法.所提出的算法将可见光与红外图像进行二代小波变换,转换为高频与低频信号,接着采用不同的融合策略针对低频和高频信号进行融合.针对低频信号,利用鲁棒性主成分分析法还原低秩矩阵并采用加权平均的融合策略进行融合;针对高频信号,将其送入至脉冲神耦合神经网络中进行融合得到融合后的小波系数.将融合后的小波系数进行逆变换,得到最终融合图像.实验结果表明,相比于基于主成分分析与二代小波变换的图像融合算法,利用所提出的出算法得到的融合图像中熵指标、空间频率指标、结构相似度指标和峰值信噪比指标均得到了不同程度的提升.因此,所提出的算法能够更好地提取目标信息,使融合图像中目标的轮廓边缘更加清晰,同时将提升小波分解出的高频信息利用PCNN进行融合,更加突出细节信息.     

改进U-Net3+与跨模态注意力块的医学图像融合

目的 针对目前多模态医学图像融合方法深层特征提取能力不足,部分模态特征被忽略的问题,提出了基于U-Net3+与跨模态注意力块的双鉴别器生成对抗网络医学图像融合算法(U-Net3+ and cross-modal attention block dual-discriminator generative adversal network,UC-DDGAN)。方法 结合U-Net3+可用很少的参数提取深层特征、跨模态注意力块可提取两模态特征的特点,构建UC-DDGAN网络框架。UC-DDGAN包含一个生成器和两个鉴别器,生成器包括特征提取和特征融合。特征提取部分将跨模态注意力块嵌入到U-Net3+下采样提取图像深层特征的路径上,提取跨模态特征与提取深层特征交替进行,得到各层复合特征图,将其进行通道叠加、降维后上采样,输出包含两模态全尺度深层特征的特征图。特征融合部分通过将特征图在通道上进行拼接得到融合图像。双鉴别器分别对不同分布的源图像进行针对性鉴别。损失函数引入梯度损失,将其与像素损失加权优化生成器。结果 将UC-DDGAN与5种经典的图像融合方法在美国哈佛医学院公开的脑部疾病图像数据集上进行实验对比,其融合图像在空间频率(spatial frequency,SF)、结构相似性(structural similarity,SSIM)、边缘信息传递因子(degree of edge information,Q^AB/F)、相关系数(correlation coefficient,CC)和差异相关性(the sum of the correlations of differences,SCD)等指标上均有提高,SF较DDcGAN(dual discriminator generation adversative network)提高了5.87%,SSIM较FusionGAN(fusion generative adversarial network)提高了8%,Q^AB/F较FusionGAN提高了12.66%,CC较DDcGAN提高了14.47%, SCD较DDcGAN提高了14.48%。结论 UC-DDGAN生成的融合图像具有丰富深层特征和两模态关键特征,其主观视觉效果和客观评价指标均优于对比方法,为临床诊断提供了帮助。     

基于小波变换模极大值特征的多模医学图像融合算法研究

文章提出了一种基于小波变换模极大值特征的多模医学图像融合算法,将待融合的图像进行小波变换提取其模极大值特征,在特征域上根据小波变换模极大值的特征实施不同权重的加权融合计算,实施逆变换重建融合图像。并对人脑的MRI-PET图像进行了融合,实验结果表明该方法能有效地将解剖信息和功能信息融合在一起,并保留原始图像的解剖结构特征。     

多尺度分解和八度卷积相结合的红外与可见光图像融合

目的 在基于深度学习的红外与可见光图像融合方法中,多尺度分解是一种提取不同尺度特征的重要方式。针对传统多尺度分解方法里尺度设置粗糙的问题,提出了一种基于八度(octave)卷积的改进图像融合算法。方法 融合方法由4部分组成：编码器、特征增强、融合策略和解码器。首先,使用改进后的编码器获取源图像的多尺度上的低频、次低频和高频特征。这些特征会被从顶层到底层进行强化。其次,将这些特征按照对应的融合策略进行融合。最后,融合后的深度特征由本文设计的解码器重构为信息丰富的融合图像。结果 实验在TNO和RoadScene数据集上与9种图像融合算法进行比较。主观评价方面,所提算法可以充分保留源图像中的有效信息,融合结果也符合人的视觉感知;客观指标方面,在TNO数据集上所提算法在信息熵、标准差、视觉信息保真度、互信息和基于小波变换提取局部特征的特征互信息5个指标上均有最优表现,相较于9种对比方法中最优值分别提升了0.54%,4.14%,5.01%,0.55%,0.68%。在RoadScene数据集上所提算法在信息熵、标准差、视觉信息保真度和互信息4个指标上取得了最优值,相较9种对比方法的最优值分别提升了...