基于GoogLeNet-WT-Canny的紫外成像仪中的图像配准与融合

针对目前紫外成像仪中紫外光图像与可见光图像配准叠加精度低、电晕放电定位偏差大等问题,提出一种基于GoogLeNet模型、小波变换(Wavelet Transform,WT)和Canny算子相结合的紫外与可见光图像配准融合方法,并将其应用于高灵敏紫外成像仪中.首先,引入迁移学习的思想,利用预训练的GoogLeNet模型自主挖掘可见光图像和紫外图像的特征;其次,将提取出来的特征作为预测变量,输入极限学习机(Extreme Learning Machine,ELM),以空间变换参数为指导监督模型训练,实现高精度紫外与可见光图像配准;最后,利用二维小波变换与Canny算子对配准后的图像进行多分辨率分析与边缘检测,实现无紫外信息损失的图像融合.实验结果表明,所提方法的紫外与可见光图像配准精度高,融合效果良好,具有很好的工程实用价值.     

基于互信息的紫外成像仪中图像配准研究

紫外成像仪为实现放电点定位和电气设备故障诊断,需要对来自不同传感器的紫外与可见光图像进行配准。针对紫外与可见光图像成像原理差异较大,特征点提取及匹配困难的问题,文章提出一种基于互信息的紫外与可见光图像配准算法并将其应用到紫外成像仪中完成实时配准。首先计算紫外与可见光图像中的互信息,将互信息作为相似性测度,采用刚体变换模型对图像进行变换,然后通过1+1进化算法求取最优相似性测度时的空间变换参数而完成图像配准,并通过仿真和紫外成像仪样机验证了所提算法的有效性。     

紫外成像仪的紫外可见光图像叠加精确度测试系统

紫外可见光图像叠加精确度是评价紫外成像仪定位可见光背景下的紫外信号的关键指标,体现了紫外成像仪的紫外光图像与可见光图像融合的精确程度。为评估紫外可见光图像叠加精确度这一关键指标,本文设计并实现了紫外成像仪的紫外可见光图像叠加精确度测试系统。系统选择高均匀性、高亮度、宽辐照度范围的紫外积分球光源照射十字靶标,在紫外平行光管的作用下,使紫外成像仪能够观测到一个无穷远的像,通过测量紫外光图像与可见光图像的十字像中心点坐标的偏移量,实现了对紫外成像仪的紫外可见光图像叠加精确度的测试。实验结果表明,该测试系统可为紫外成像仪提供可靠的检测依据,满足紫外成像仪筛选的应用需求。     

红外与可见光图像配准和融合中的关键技术

针对可见光与红外图像的特点和难点,提出了可见光与红外图像配准与融合中的关键技术,即:使用新型的基于一维最大类间方差和最大连通性测量的图像分割方法对源图像进行分割来更好地实行图像粗配准;使用新型的特征点提取方法,特征点的匹配及误匹配的消除来更好地实行图像精配准;采用新型的基于区域的树状小波活性测度计算来实现树状小波图像融合;利用自生成神经网络来实现模糊图像融合.     

基于NSST和自适应稀疏表示的紫外光与可见光图像融合

针对紫外成像仪中紫外光图像与可见光图像的灰度值特点及传统的图像融合方法在图像融合时存在紫外光斑信息丢失的问题,提出一种基于非下采样剪切波变换(NSST)和自适应稀疏表示的紫外光与可见光图像融合方法。首先用NSST变换分解源图像,得到低频子带系数和高频子带系数;然后采用邻域标准偏差取大的融合规则融合低频子带系数,生成近似融合图像;根据自适应稀疏思想指导高频子带系数的融合;最后通过逆NSST变换重构得到融合图像。实验结果表明,该方法在保留可见光背景信息的基础上,很好地融合了紫外光斑信息,改善了图像的主观视觉质量,在客观评价指标上也有所提高。     

基于FPGA的紫外/可见光图像实时配准实现

为了在电路损伤早期探测和定位电晕放电,依据其放电在紫外波段的成像特性,采用基于现场可编程门阵列(FPGA)为核心的处理平台,设计了可对紫外光和可见光两路信号进行采集、配准和融合处理的实时检测系统。通过优化设计硬件结构、快速图像配准算法及基于MicroBlaze软核的控制模块,提出了一种基于FPGA的快速图像配准的实现方法,实现了对不同焦距下可见光图像数据与紫外图像数据的实时融合处理。结果表明,该方法能够有效提高图像融合处理的速度和系统运行效率,满足对紫外信号进行检测和定位的要求。该方法已经运用于南方电网的线路巡检中。     

基于双分支卷积神经网络的红外与可见光图像局部融合算法

红外图像和可见光图像均存在一定的局限性,依靠单个种类图像无法满足工程实际需求,可通过引入图像融合技术,获取高质量的融合图像。为更好保障输出信息特征的多样性,本文引入一种双分支卷积神经网络实现红外与可见光图像局部融合;在双分支卷积神经网络基础上,同时从红外图像、可见光图像得到跨渠道信息、渠道内信息种特征,增加了融合图像的信息量。采用整数小波变换方法进行图像压缩。建立颜色空间模型时,合理调节t因子的数值,获得理想的融合图像。实验结果表明,与现有方法相比,本方法融合后图像边缘信息得到充分保留,图像细节得到增强,红外与可见光图像融合效果更好。     

基于多尺度红外与可见光图像配准研究

利用尺度空间理论对多分辨率的红外与可见光图像配准算法进行研究,提出利用红外与可见光图像的多尺度特征点及边缘作为配准的特征,利用特征尺度确定用于相似度匹配的子图像大小,使用LTS-Hausdorff(least trimmed square Hausdorff)距离判断子图像的相似性。利用尺度空间理论及多尺度下图像的特征能更加全面的对图像进行描述。在利用多尺度特征获取到匹配对后,再利用随机一致性检测对匹配对进行提纯并获取空间变换的参数,然后使用该参数对红外与可见光图像进行配准与融合。实验结果表明,基于多尺度的图像配准方法,能有效对红外与可见光图像进行配准。     

基于对齐度和互信息的红外与可见光图像配准

针对红外与可见光图像的特点,在此提出了一种结合边缘对齐度与互信息的图像配准方法。首先通过小波变换边缘检测得到红外与可见光图像的边缘图像,并将对齐度和归一化互信息自适应加权平均得到新的相似性测度函数,最终通过计算相似性测度函数的极值求得待配准图像间的变换参数。实验结果表明,该方法可减少配准所需的时间,具有更高的精确性和鲁棒性。     

基于边缘和互信息的红外与可见光图像配准

采用一种结合边缘特征和互信息的图像配准方法,对红外与可见光图像进行配准。首先,用小波变换提取图像边缘,然后计算两幅边缘图像在不同条件（平移、旋转）下的归一化互信息,取归一化互信息最大时对应的配准参数为所需配准参数,再确定刚性仿射变换模型的参数,最后经过缩放、平移和旋转得到最终配准图像。     

基于显著性检测的不同视角下红外与可见光图像融合

融合红外图像的热源目标和可见光图像的清晰背景可以实现低照度条件下与场景关联的异常行为识别。现有以特征匹配为主的融合方法,受监控场景下可见光与红外成像的尺度、视角、目标特性等差异影响,配准及融合效率及准确性受限。针对该问题,本文提出了基于显著性检测的不同视角下红外与可见光图像融合方法。通过预设热敏感目标,计算可见光与红外的视场转换模型,预先配准红外与可见光视场。使用Mask R-CNN网络提取红外图像中的行人目标显著性区域,根据视场转换模型点将每个目标区域与可见光图像局部融合。最后,通过违规入侵行为辨识为目标进行实验验证。实验表明,论文提出的融合方法能够有效地将红外图像的热敏目标信息与可见光的场景进行融合,可以准确地判断是否发生违规入侵行为。     

一种基于深度和局部特征的分布式光电图像配准方法北大核心CSCD

针对分布式光电成像系统采集的红外和可见光图像在配准时易受噪声影响,配准精度不高问题,提出一种基于卷积神经网络深度特征和RIFT局部特征的图像配准算法。首先基于改进的AVIRnet提取待配准红外和可见光图像的卷积深度特征,利用深度特征进行初匹配,得到初步的空间关系;然后在重叠图像区域内提取RIFT特征点;最后对局部特征点进行修正,得到最终的匹配点对,估算出精确的变换矩阵。实验结果表明:本文方法通过深度特征和局部特征两次匹配,对非线性辐射差异具有不变性,满足了分布式光电红外和可见光图像配准的精度要求。     

光学被动热补偿方式实现红外与可见光图像融合物镜设计

图像融合的配准精度是关系到图像融合质量的一个重要性能指标。本文所述的红外与可见光图像融合物镜系统采取平行光路布局、光学被动热补偿的方式提高图像融合的配准精度。本文首先分析对比了机械热补偿方式与光学热补偿方式对提高图像配准精度的贡献;其次根据图像融合物镜系统的性能指标对红外物镜和可见光物镜进行光学被动热补偿的优化设计,并分析了对可见光物镜进行光学被动热补偿设计的必要性;第三从光学布局型式及畸变变化来分析图像融合物镜系统的图像配准精度;最后根据图像融合物镜系统的成像质量和图像配准效果,可得出融合图像质量好、能满足指标要求的结论。     

卷积神经网络结合NSST的红外与可见光图像融合

传统的多尺度红外与可见光图像融合方法,所提取的图像特征固定,并不能很好的应用于各类复杂的图像环境,而深度学习可以自主选择合适图像特征,改良特征提取单一性问题,因此提出一种基于卷积神经网络与非下采样剪切波变换（NSST）相结合的红外与可见光图像融合方法。首先,用卷积神经网络提取红外目标与背景的二分类图,利用调频（FT）显著性检测算法对分类图进行精准分割,同时,利用NSST将源图像多尺度、多方向进行分解;其次,利用目标显著性结合自适应模糊逻辑算法进行低频子带融合,利用高频系数局部方差对比度方法进行高频子带融合;最后,通过NSST逆变换得到融合后图像。实验结果表明:相比于传统图像融合算法,该方法在信息熵、平均梯度、空间频率、互信息和交叉熵等多个客观评价指标上至少分别提高了0.01%、0.30%、1.43%、2.32%、1.14%。一定程度提高了融合图像对比度,丰富了背景细节信息,更有利于人眼识别,可以广泛的应用于光电侦察、光电告警、多传感器信息融合等光电信息领域。     

基于PCNN与IFS的可见光与红外图像融合方法

鉴于传统的可见光与红外图像融合方法存在的边缘 模糊与清晰度低等问题,提出了一种基于脉冲耦合神经网络(PCNN)与直觉模糊集(IFS) 的可见光与红外图像融合改进算法。该方法首先利用IHS变换,分离可见光图像的亮度信息 I;其次,利用非下采样轮廓波变化(NSCT)将I分量与红外图像分别进行分解,得到高低频系数;对低频部分采用高斯隶属函数 和直觉模糊集进行融合,对高频部分采用PCNN模型进行融合;再次,通过非下采样轮廓波逆 变化得到融合图像的I分量;最后,进行IHS逆变换得到彩色融合 图像。大量仿真结果表明,这种融合方法能很好地保留可见光与红外光源图像的特征信息和 细节信息,融合后的图像的轮廓更加清晰,具有更良好的视觉效果。与现有的其它红外光和 可见光图像融合方法相比,本文提出的方法,其融合图像的熵值、边缘保持度、互信息、标 准差、结构相似度等指标都有明显的提高,有效地验证了本文算法的有效性。     

基于Tetrolet变换的近红外与彩色可见光图像融合算法研究

针对近红外与彩色可见光图像融合后出现的对比度降低、细节丢失、颜色失真等问题,提出一种基于Tetrolet变换和自适应脉冲耦合神经网络PCNN(PCNN-Pulse Coupled Neural Network)的近红外与彩色可见光图像融合的新算法。首先将彩色可见光源图像转换到各个分量相对独立的HSI空间(HSI-Hue Saturation Intensity),将其亮度分量与近红外图像进行Tetrolet分解,对分解后得到的低频系数,提出一种从给定不完备数据集中寻找潜在分布最大似然估计的期望最大算法融合规则;对分解后得到的高频系数,采用一种Sobel算子自动调节阈值的自适应PCNN模型作为融合规则;处理后的高低频图像经Tetrolet逆变换作为融合后的亮度图像,提出一种饱和度分量自适应拉伸方法来解决图像饱和度下降的问题。处理后的各个分量反向映射到RGB空间,完成融合。将本文算法与多种高效融合算法进行对比分析,实验表明,本方法取得的图像,细节清晰,色彩对比度得到提升,在图像饱和度、颜色恢复性能、结构相似性和对比度等客观评价指标上均具有明显的优势。     

基于拉普拉斯金字塔变换的小波域图像融合

在深入分析了小波变换融合方法及拉普拉斯金字塔变换融合方法的原理及优缺点的基础上,通过优势互补将二者巧妙结合,提出了一种新的图像融合算法。实验结果表明,该方法计算量小、运行速度快,在红外与可见光图像的融合、多聚焦图像融合以及局部模糊图像融合等应用中优于其他融合方法。