基于图像融合技术的经络实时三维可视化研究

本研究目的是将三维可视化应用于人体经络.通过磁场跟踪仪Wintracker和多通道经络测试仪共同获得经络的三维坐标.利用OpenCV相关函数实现摄像机标定,计算出坐标变换矩阵M,将世界坐标系下的经络三维坐标变换成图像二维坐标系下的经络坐标,最后利用图像融合技术实时地将经络线绘制于现场人体体表图相应位置上,实现经络穴位的...     

基于NSCT的红外与可见光图像融合

提出一种基于非下采样Contourlet变换的红外与可见光图像融合方法。该方法对源图像经非下采样Contourlet变换分解后的高频系数,考虑不同传感器的成像机理进行活性度量,并结合多分辨率系数间相关性来实现加权融合;低频系数则通过一种局部梯度进行活性度量,再采用加权与选择相结合的规则实现融合。最后,通过非下采样Contourlet逆变换重构获得融合图像。实验结果表明了该方法的有效性和可行性。     

基于NSCT的红外与可见光图像融合

针对红外与可见光图像的不同特点,提出一种基于非采样Contourlet变换（NSCT）的红外与可见光图像融合算法。采用NSCT对源图像进行多尺度、多方向分解;分别采用基于局部能量和区域特征的融合规则得到融合图像的低频子带系数和带通方向子带系数;最后经过NSCT逆变换得到融合图像。实验结果表明,该算法能够获得较理想的融合图像,其融合效果优于基于Contourlet变换的图像融合算法。     

基于相邻特征融合的红外与可见光图像自适应融合网络

为了获得目标边缘清晰且细节丰富的红外与可见光融合图像,以前馈去噪卷积神经网络(Denoising Convolutional Neural Network, DnCNN)的骨干网络为基础,从网络架构和损失函数两方面对其进行全面改进,提出基于相邻特征融合的红外与可见光图像自适应融合网络(Adjacent Feature Combination Based Adaptive Fusion Network, AFCAFNet).具体地,采取扩大通道数及双分支特征交换机制策略将DnCNN前段若干相邻卷积层的特征通道进行充分交叉与融合,增强特征信息的提取与传递能力.同时,取消网络中所有的批量归一化层,提高计算效率,并将原修正线性激活层替换为带泄露线性激活层,改善梯度消失问题.为了更好地适应各种不同场景内容图像的融合,基于VGG16图像分类模型,分别提取红外图像和可见光图像梯度化特征响应值,经过归一化处理后,分别作为红外图像和可见光图像参与构建均方误差、结构化相似度和总变分三种类型损失函数的加权系数.在基准测试数据库上的实验表明,AFCAFNet在主客观评价上均具有一定优势.在各项客观评价指标中综...     

基于注意力机制的红外与可见光图像融合网络

针对现有融合方法缺乏通用性的问题,提出一种结合空间注意力和通道注意力的特征融合网络,设计一个端到端融合框架,采用两阶段的训练策略进行训练。在第一个阶段,训练一个自编码器用来提取图像的特征;在第二个阶段,使用提出的融合损失函数对融合网络进行训练。实验结果表明,该算法既能保留红外图像显著目标特征,还能在保留可见光图像细节上有很好的特性。主观和客观的实验分析验证了该算法的有效性。     

基于彩色传递的红外与可见光图像融合方法

提出了一种基于小波分解和彩色传递理论的图像融合方法。在小波变换的基础上，采用一种融合方法对红外和可见光图像进行融合处理；基于色空间变换对灰度融合图像进行彩色传递，实现灰度到彩色图像的转变。实验表明彩色传递图像的色彩接近自然景物颜色，优于传统的假彩色方法，更有利于人眼对目标和环境的判断识别。     

基于红外与可见光图像融合的无人机探测研究

为了进一步提高识别无人机的效率,提出基于红外与可见光图像融合的无人机探测方法,并且对配准算法进行改进,搭配Canny边缘检测ORB特征检测的融合配准算法.首先,搭建双目摄像头、采集无人机图像;接着,对图像进行La?place预处理、Canny边缘检测ORB特征检测配准、Harr小波变换融合.将得到的融合图像和融合前的可...     

基于提升小波的红外和可见光图像融合方法

提出了一种基于提升小波变换的红外和可见光图像融合方法.对红外图像进行检测分割,将提取到的目标重要信息融合到可见光图像中.然后进行图像的提升小渡分解,对不同尺度下小波系数进行融合,以像素的局部平均梯度为高频系数融合准则,充分加入原始图像的边缘细节信息.最后依据融合后的小波系数重构图像.实验结果表明,该方法改善了融合效果,提高了运算速度.     

基于深度学习的红外可见光图像融合综述

如何将多张图像中的互补信息保存到一张图像中用于全面表征场景是具有挑战性的课题。基于此课题,大量的图像融合方法被提出。红外可见光图像融合（IVIF）作为图像融合中一个重要分支,在语义分割、目标检测和军事侦察等实际领域都有着广泛的应用。近年来,深度学习技术引领了图像融合的发展方向,研究人员利用深度学习针对IVIF方向进行了探索。相关实验工作证明了应用深度学习方法来完成IVIF相较于传统方法有着显著优势。对基于深度学习的IVIF前沿算法进行了详细的分析论述。首先,从网络架构、方法创新以及局限性等方面报告了领域内的方法研究现状。其次,对IVIF方法中常用的数据集进行了简要介绍并给出了定量实验中常用评价指标的定义。对提到的一些具有代表性的方法进行了图像融合和语义分割的定性评估、定量评估实验以及融合效率分析实验来全方面地评估方法的性能。最后,给出了实验结论并对领域内未来可能的研究方向进行了展望。     

基于改进的NSCT红外可见光图像融合算法

针对在红外可见光图像融合过程中目标细节信息容易丢失的问题,提出一种使用非下采样轮廓波变换(NSCT)和主成分分析法(PCA)相结合的图像融合算法.首先应用NSCT将源图像分解分别得到低频和高频的子带图像.在低频子带系数中,由于PCA能够突出图像的主要信息,所以选用主成分分析法融合规则.高频子带中,相对来说较高层次系数表...     

红外与可见光序列图像融合方法的研究

本文简述了红外与可见光图像融合的意义及其应用,介绍了多种红外与可见光序列图像融合方法。在对这些融合方法进行比较分析的基础上,总结了红外与可见光序列图像融合的研究现状、当前研究热点及未来的发展趋势。     

基于目标提取的红外与可见光图像融合算法

分析红外图像与可见光图像融合时,目标信息丢失或减弱的潜在原因,提出一种红外与可见光图像融合算法。该算法根据红外图像与可见光图像的特点,利用灰色关联理论检测并提取红外图像目标,采用替代法对获得的目标信息与可见光图像的背景和细节信息进行融合。实验结果表明,该算法得到的融合图像具有与红外图像相同的目标,且具备可见光图像的细节信息。     

基于语义分割的红外和可见光图像融合

红外图像即使在低光照条件下,也能根据热辐射的差异将目标与背景区分开来,而可见光图像具有高空间分辨率的纹理细节,此外,红外和可见光图像都含有相应的语义信息.因此,红外与可见光图像融合,需要既保留红外图像的辐射信息,也保留可见光图像的纹理细节,同时,也要反映出二者的语义信息.而语义分割可以将图像转换为带有语义的掩膜,提取源图像的语义信息.提出了一种基于语义分割的红外和可见光图像融合方法,能够克服现有融合方法不能针对性地提取不同区域特有信息的缺点.使用生成式对抗神经网络,并针对源图像的不同区域设计了2种不同的损失函数,以提高融合图像的质量.首先通过语义分割得到含有红外图像目标区域语义信息的掩模,并利用掩模将红外和可见光图像分割为红外图像目标区域、红外图像背景区域、可见光图像目标区域和可见光图像背景区域;然后对目标区域和背景区域分别采用不同的损失函数得到目标区域和背景区域的融合图像;最后将2幅融合图像结合起来得到最终融合图像.实验表明,融合结果目标区域对比度更高,背景区域纹理细节更丰富,提出的方法取得了较好的融合效果.     

基于GPU的可见光与红外图像融合快速实现

为利用统一计算设备架构（CUDA）强大的并行处理能力实现快速图像融合,提出一种适用于并行运算的图像融合算法,包括高斯滤波、直方图均衡、基于小波变换的图像融合。通过CUDA编程对以上算法进行实现,并将其与对应的CPU程序相比较,实验结果表明,图形处理单元（GPU）执行效率比CPU高出一个数量级,并且随着数据量的增加,GPU的加速比还会增大。     

基于CNN与直方图规定化的红外与低照度可见光图像融合

针对红外与低照度可见光图像融合时,细微的纹理信息不能有效地保留的问题,提出了基于CNN与直方图规定化的红外与低照度可见光图像融合算法。首先,通过基于卷积神经网络的融合方法得到融合后的图像;其次,计算融合后图像的灰度直方图,通过直方图规定化将可见光图像的直方图映射到融合图像的直方图的区间上,以增强图像的纹理信息;最后,将直方图规定化的图像与红外图像通过卷积神经网络的方法进行融合,得到融合图像。实验结果表明,本文提出的算法在视觉效果和客观评价上均优于基于卷积神经网络的融合方法。     

基于红外和可见光融合的目标跟踪

针对单一图像源下目标跟踪精度不高和当目标存在部分遮挡时目标跟踪丢失的问题,本文提出了一种结合红外图像和可见光图像特征进行融合的方法. 首先在进行目标跟踪时,提取可见光图像的颜色信息作为目标模型的参数,提取红外图像的灰度信息作为目标模型的参数,并分别得到目标位置及其子图. 然后再利用目标子图和目标模型分别进行Bhattacharyya系数的计算,根据权值函数来计算各自系数的权值,最后用Mean Shift算法对加权后的目标进行跟踪. 该方法充分利用了红外图像与可见光图像的优点,提高了目标跟踪的精度,解决了当目标存在部分遮挡时目标跟踪丢失的问题.     

基于区域目标检测的红外与可见光图像序列融合

提出了一种基于区域目标检测的红外与可见光图像序列融合方法。该方法通过目标检测技术将源图像序列分割成目标和背景区域,并在目标和背景区域里分别采用不同的融合规则,同时使用双树复小波变换方法使每一幅源图像具有移不变多分辨率表示。实验采用了实际图像序列数据。融合结果表明,该方法是可行和高效的,且比其他图像融合方法具有更好的性能。     

基于双边滤波和NSST的红外与可见光图像融合

针对传统图像融合容易导致目标信息减弱、背景细节不清晰的问题,提出一种基于非下采样剪切波变换（Non-subsampled Shearlet Transform, NSST）和双边滤波的融合算法。首先,利用双边和高斯滤波器处理红外与可见光图像,得到包含红外目标的大尺度边缘图像;然后,采用NSST分解红外与可见光图像,得到相应的高频和低频子带系数,低频部分利用已得的大尺度边缘图像指导加权,高频部分采用绝对值取大的方法;最后将融合后的各频带系数经过NSST逆变换得到融合结果。实验结果显示,该方法既能有效突出红外目标,又充分保留了可见光图像中的背景信息,在信息熵、互信息和峰值信噪比等客观评价指标上也都优于传统的融合算法。