卷积神经网络结合NSST的红外与可见光图像融合

传统的多尺度红外与可见光图像融合方法,所提取的图像特征固定,并不能很好的应用于各类复杂的图像环境,而深度学习可以自主选择合适图像特征,改良特征提取单一性问题,因此提出一种基于卷积神经网络与非下采样剪切波变换（NSST）相结合的红外与可见光图像融合方法。首先,用卷积神经网络提取红外目标与背景的二分类图,利用调频（FT）显著性检测算法对分类图进行精准分割,同时,利用NSST将源图像多尺度、多方向进行分解;其次,利用目标显著性结合自适应模糊逻辑算法进行低频子带融合,利用高频系数局部方差对比度方法进行高频子带融合;最后,通过NSST逆变换得到融合后图像。实验结果表明:相比于传统图像融合算法,该方法在信息熵、平均梯度、空间频率、互信息和交叉熵等多个客观评价指标上至少分别提高了0.01%、0.30%、1.43%、2.32%、1.14%。一定程度提高了融合图像对比度,丰富了背景细节信息,更有利于人眼识别,可以广泛的应用于光电侦察、光电告警、多传感器信息融合等光电信息领域。     

基于显著性检测的不同视角下红外与可见光图像融合

融合红外图像的热源目标和可见光图像的清晰背景可以实现低照度条件下与场景关联的异常行为识别。现有以特征匹配为主的融合方法,受监控场景下可见光与红外成像的尺度、视角、目标特性等差异影响,配准及融合效率及准确性受限。针对该问题,本文提出了基于显著性检测的不同视角下红外与可见光图像融合方法。通过预设热敏感目标,计算可见光与红外的视场转换模型,预先配准红外与可见光视场。使用Mask R-CNN网络提取红外图像中的行人目标显著性区域,根据视场转换模型点将每个目标区域与可见光图像局部融合。最后,通过违规入侵行为辨识为目标进行实验验证。实验表明,论文提出的融合方法能够有效地将红外图像的热敏目标信息与可见光的场景进行融合,可以准确地判断是否发生违规入侵行为。     

可见光与红外融合图像反射与辐射光谱分析

可见光图像与红外图像融合是近年来热门的研究领域.根据日光的光谱分布、目标的反射系数以及黑体的红外辐射,详细分析了人体、深色涂层、高温玻璃杯等常见目标的反射辐射光谱分布和红外辐射光谱分布.利用研制的可见光与红外融合图像采集系统,采集了常见目标的可见光与红外融合图像,得到了从可见光波段到红外波段融合图像的全光谱曲线.对可见...     

夜视环境下红外与可见光图像真彩色快速融合方法研究

为解决红外图像和可见光图像在夜视环境下成像效果不理想的问题,搭建一种由红外相机与RGB相机组合而成的具有结构简单、实时性高等特点的双目异型成像系统。利用双线程方式实时采集红外与可见光图像,针对非局部均值滤波(Non Local Mean,NLM)提出了一种基于熵的自适应h求解方法,能够较好的消除红外图像的噪声；之后将红外图像与可见光图像的特征点匹配后,引入基于斜率一致性的方法进行图像配准,最后采用改进基础图像融合规则的双尺度融合算法(Twoscale Image Fusion,TIF)以及多种融合算法将红外与可见光图像进行融合,获得目标明显、信息丰富且真实色彩的(Infrared Radiation and RGB,IR RGB)融合图像。TIF算法能够高效快速地将红外图像与可见光图像融合,在保留了可见光图像对周围环境的真实颜色信息特征的同时,又保留了红外图像温度提取的特点。分析数据可知,TIF算法的IR RGB图像的熵值提升了约514；其边缘强度均达到最大39991、 22433、 52880；相比普通的像素级融合规则,该方法的运行速度提升了10倍的量级。该研究在夜视环境下通过红外与可见光的实时成像在目标识别和监测等实际应用中具有非常重要的意义。     

一种基于生成对抗网络与注意力机制的可见光和红外图像融合方法

针对低照度可见光图像中目标难以识别的问题,提出了一种新的基于生成对抗网络的可见光和红外图像的融合方法,该方法可直接用于RGB三通道的可见光图像和单通道红外图像的融合.在生成对抗网络中,生成器采用具有编码层和解码层的U-Net结构,判别器采用马尔科夫判别器,并引入注意力机制模块,使得融合图像可以更关注红外图像上的高强度信...     

基于改进区域生长的红外与可见光图像融合方法

针对红外图像和可见光图像的成像特点, 提出了一种红外与可见光图像融合方法。首先, 采用改进的区域生长法, 提取红外图像目标区域。将提取到的红外目标区域映射到可见光图像中, 进行一次局部信息融合。然后, 将第一步的融合结果与原始红外图像通过一种边缘增强的小波变换融合法得到最终的融合图像。实验结果表明, 该方法得到的融合图像红外热目标突出、背景清晰, 具有良好的目视效果。     

基于SCM和CST的红外与可见光图像融合算法

针对红外与可见光图像的成像特点及目前红外与可见光图像融合中融合图像信息量不足的问题,结合复剪切波变换(Complex Shearlet transform,CST)及脉冲发放皮层模型(Spiking cortical model,SCM)的优点,本文提出了一种新的红外与可见光图像融合算法。首先,利用红外图像目标与背景灰度的显著差异,通过区域生长方法从红外图像提取目标区域;然后用CST对源图像进行分解,对源图像的目标区域和背景区域系数分别采用不同的融合规则进行融合,其中背景区域的高频子带系数利用SCM进行选择;最后,经过CST逆变换重构融合图像。研究结果表明,与其它的红外与可见光图像融合算法相比,本方法在视觉效果和客观评价指标上都得到了提升。     

航空机载红外图像的车辆目标自主检测识别

红外光学成像载荷利用目标的热辐射强度特性成像,具有一定的揭伪能力,可规避可见光成像装备无法在夜间和恶劣气象条件下成像的限制,但红外图像对比度低、边缘不清晰,大大降低了成像目标识别的准确率。本文提出一种基于YOLOv5的红外车辆目标检测算法,在浅层特征层引入RFBs模块,以提高小目标的感受野及检测效果,在颈部网络(Neck)部分,使用BiFPN结构,实现对底层特征的再次利用,以融合更多的特征,并添加CBAM注意力机制以提升检测精度。实验结果表明:在DroneVehicle 数据集上的检测效果要优于原始网络,精确率(Precision)提升28,召回率(Recall)提升16,平均精度(mAP)提升23。结论:可有效应用于航空红外图像的车辆自主检测识别。     

短波红外成像技术及其军事应用

短波红外可以提供可见光、微光夜视、中波、长波红外所不能提供的信息。实现短波红外成像,填补微光夜视和中波红外成像之间的光谱空缺,实现在三个大气红外透射窗口的“无缝隙探测”,对在红外波段全面获取目标的信息具有重要意义,可应用于夜视、侦察与监视、遥感、遥感系统、红外成像制导、光电对抗等领域。     

采用卷积神经网络的红外和可见光图像块匹配

红外和可见光图像块匹配在视觉导航和目标识别等任务中有着广泛的应用。由于红外和可见光传感器有不同的成像原理,红外和可见光图像块匹配更加具有挑战。深度学习在可见光领域图像的块匹配上取得了很好的性能,但是它们很少涉及到红外和可见光的图像块。文中提出了一种基于卷积神经网络的红外和可见光的图像块匹配网络。此网络由特征提取和特征匹配两部分组成。在特征提取过程中,使用对比和三重损失函数能够最大化不同类的图像块的特征距离,缩小同一类图像块的特征距离,使得网络能够更加关注于图像块的公共特征,而忽略红外和可见光成像之间差异。在红外和可见光图像中,不同尺度的空间特征能够提供更加丰富的区域和轮廓信息。红外和可见光图像块的高层特征和底层特征融合可以有效地提升特征的表现能力。改进后的网络相比于先前卷积神经匹配网络,准确率提升了9.8%。     

基于多源数据多特征融合的弱小目标关联研究

异质传感器弱小群目标关联是传感器协同探测首先要解决的问题。即使在同视场下,由红外光电系统和雷达组成的异质传感器探测目标也不完全一致,特别是远距离探测时,雷达探测目标多而密集,红外光电系统探测目标相对较少,此时目标航迹关联结果具有很大不确定性。针对这一难题,采用基于多源数据多特征融合的弱小目标关联方法,首先基于多模型估计方法筛选同类型目标作为潜在关联目标,再基于航迹关联算法对同类型目标粗关联,最后基于多特征最大联合概率分布对目标精细关联。经红外光电系统/雷达同站址探测仿真试验验证,相比于仅利用航迹进行目标关联,该方法有效提高了弱小目标关联的准确性。     

基于数学形态学的红外图像小目标检测

针对红外成像跟踪系统的低信噪比、背景和噪声干扰严重的小目标图像,以及后续的目标识别处理需要目标的灰度信息的特点,设计了一种基于数学形态学的红外灰度图像小目标检测算法,并用FPGA硬件实现。实验表明,数学形态学滤波能够大大提高目标的信噪比,去除背景和噪声干扰,保留目标的灰度信息,满足系统实时性要求,是一种有效的红外灰度图像小目标检测算法。     

基于融合的红外图像预处理技术

介绍了一种基于图像融合的红外图像预处理技术。分析了红外成像过程中引入的噪声类型,采用修正的阿尔法均值滤波方法来抑制噪声并利用边缘检测来增强目标的边缘成分,通过融合的处理方法来合并处理后的红外图像。实验表明该方法能够有效地增强复杂背景下的红外图像,从而有利于后续的目标识别处理。     

基于深度学习的激光干扰成像评估方法

可见光主动成像系统被广泛应用于成像侦察领域,激光压制干扰是一种可以利用的反制手段。合理地对激光干扰效果进行评估,对于干扰一方具有重要意义。为了更客观地评价激光干扰对成像侦察的影响,从可见光成像侦察的特点出发,对激光干扰可见光成像效果进行划分,确定了干扰效果评估需求。建立了可见光图像的激光干扰效果评估模型,结合基于YOLOv4的目标检测置信度及WFSIM算法的三个图像特征表征指标,形成了对应的评估体系。构建了一套参数可调的激光干扰图像采集及评估分析实验系统,对人体目标进行图像采集,验证了提出的评估体系及方法。     

机载光电平台自主引导精度分析

航空侦察是为获取敌情、地形和有关作战情报而采取的重要手段,各种电磁信号侦察、光电信号侦察在同一飞机平台的应用越来越广泛,电磁信号侦察以及地面其他系统发现目标后,通过目标的位置信息引导光电侦察系统对目标进行搜索、跟踪、查证的应用也越来越多.当机载光电平台接收到目标的坐标值后,自行接收GPS和惯导信息,并实时解算出被测目标在光电平台坐标系下的方位角和俯仰角,引导目标进入光学载荷视场内,并用图像视频跟踪的方法捕获和跟踪目标.针对飞机平台对地面固定目标或者运动目标的引导进行研究,将目标点坐标从大地坐标系转换到光电平台载机坐标系,并建立自主引导测量方程,利用蒙特卡罗统计的方法分析自主引导测量方程中各个误差因素对最终引导精度的影响,针对如何提高引导精度提出了一些建议.并在某光电平台上进行飞行试验验证,目标均能很好地进入跟踪视场内,完成捕获、跟踪功能.     

基于深度空时域特征融合的高动态空中多形态目标检测方法(特邀)

针对复杂背景下,依靠高超声速飞行器搭载的红外探测器对高动态空中目标的可靠探测和精确识别问题,提出了一种基于深度空时域特征融合的空中多形态目标检测方法。设计了加权双向循环特征金字塔结构提取多形态目标静态特征,并引入可切换空洞卷积,增大感受野的同时减少空域信息损失。对于时序运动特征的提取,为了抑制复杂背景噪声的同时将角点信息集中到运动区域中,通过特征点匹配法生成掩膜图,之后进行光流计算,根据计算结果设计稀疏光流特征图,利用3D卷积提取多个连续帧图像中包含的时序特征,生成三维时序运动特征图。最后,通过对图像静态特征与时序运动特征进行通道维度的拼接,实现深度空时域特征融合。大量的对比实验表明,文中方法可明显减少复杂背景下的虚假识别概率,具备高实时性的同时目标识别准确率达89.87%,满足高动态下的红外目标智能检测识别需求。     

海天背景下红外小目标检测的背景抑制及海天线检测方法

针对复杂海天背景下红外弱小目标难以检测与识别的问题,提出了基于海天线检测实现远距离弱小目标识别的方法。该方法对采集到的红外图像进行相关处理。通过用多级小波变换方法抑制背景杂波噪声提高目标信杂比;然后使用多方向Gabor滤波融合方法增强海天线边缘,并通过霍夫变换方法实现海天线定位和检测;最后通过定位海天线确定海天线附近区域的目标搜寻范围,缩小目标点潜在区,从而提高弱小目标在海天背景下的检测和识别概率。     

基于筛选深度特征的红外图像目标识别方法

红外成像是现代战场侦察的重要手段,基于红外图像的目标识别技术可为情报解译提供重要支撑。针对红外图像目标识别,提出基于筛选深度特征的方法。设计适当结构的ResNet对红外图像进行特征学习,对于每个卷积层的输出特征图进行矢量化处理,获得相应的特征矢量。针对各个特征图的深度特征矢量,基于斯皮尔曼等级相关系数评价它们与原始图像的相关性。然后,通过门限判决算法选取若干具有高相关性的深度特征。经过筛选得到的深度特征可剔除了不必要的冗余成分,从而提升后续分类的精度和稳健性。采用联合稀疏表示模型对筛选得到的若干深度特征进行表征和分类,最终获取待识别样本的所属类别。因此,方法可有效结合ResNet多层次深度特征的鉴别力,从而提高最终的识别性能。实验在公开的中波红外目标图像数据集（MWIR）开展,利用原始测试样本、模拟噪声样本和模拟遮挡样本对方法性能进行测试和分析。实验结果表明:相比现有的部分红外目标识别方法,提出方法可取得更强的有效性和稳健性。     

基于多特征融合的弱小目标检测方法研究

提出了一种基于多特征距离图的红外弱小目标检测方法。弱小目标的许多特征,如局部熵、平均梯度强度等,不但刻画了弱小目标的特点而且易于提取。通过特征融合技术,可以将弱小目标检测问题转化成在一个多特征空间的极值求取问题。该方法利用已经提取的多个特征,采用特征融合技术构造一个距离图像,再对该图像进行二值化处理,达到目标检测的目的。通过对实际的红外图像序列进行小目标检测,验证了所提方法的可行性和有效性。