可见光和红外图像决策级融合目标检测算法

为了提高可见光和红外图像决策级融合目标检测算法的性能,提出了一种基于模型可靠性的决策级融合策略。首先采取图像预处理技术提高红外图像的整体质量,之后对可见光与热红外目标检测模型分别进行训练测试,根据模型测试结果得到融合策略所需参数,依据所提出的融合策略对模型检测结果进行融合,得到最后的融合检测结果。实验结果表明,相比于单一目标检测模型的检测结果,所采用的融合算法在白天的漏检率比可见光检测模型降低了8.16%,夜间漏检率比红外检测模型降低了9.85%。     

基于决策融合的红外与可见光图像人脸识别研究

可见光图像受光源影响较大,红外图像可以独立光源,但对温度变化比较敏感,而红外与可见光融合的人脸识别方法被证明比任意单一识别更有效.为了提高人脸识别的鲁棒性,提出了一种基于决策融合的红外与可见光图像人脸识别方法,即加权求和与求最大值组合的图像决策融合方法.对红外与可将光人脸图像分别采用PCA与线性辨别分析相结合的方法进行特征提取和识别,并利用获得的识别结果与它们各自的置信度进行决策融合,确定最终的人脸识别结果.实验表明,可以有效提高人脸识别性能和对各种应用环境的适用性.     

基于决策级融合的多波段SAR目标检测方法

为了提高SAR图像目标检测性能,提出了一种目标检测方法。该方法首先利用智能索引变量恒虚警和二次检测对多波段SAR图像进行目标检测,然后利用Neym an-Pearson准则对检测结果进行决策级融合,在保证融合前后虚警概率一致的前提下,可大幅度提高检测概率。给出了应用该方法的具体步骤,并通过实际数据证明了该方法的有效性。     

深度学习框架下的红外与可见光图像融合算法综述

红外与可见光图像融合是图像融合领域的重要分支。将红外与可见光传感器获取的图像进行互补融合,融合后的图像既具有红外图像的整体信息又具有可见光图像的细节信息,并广泛应用于日常生活和军事领域。由于深度学习在计算机视觉和图像处理领域具有显著优势,因此将深度学习框架应用于红外与可见光图像融合领域成为近年来的研究热点。本文首先根据融合算法的特点及原理,对现有基于深度学习框架的融合算法进行分类概述,并详细介绍算法的研究进展;其次,对图像融合领域的评价指标进行介绍;再次,选取不同分类中的典型算法进行融合试验,利用六种评价指标对实验结果进行评价;最后,分析总结融合算法存在的缺陷,对红外与可见光图像融合算法的发展方向进行展望。     

基于红外与可见光图像的目标检测算法

针对现有基于可见光的目标检测算法存在的不足,提出了一种红外和可见光图像融合的目标检测方法。该方法将深度可分离卷积与残差结构相结合,构建并列的高效率特征提取网络,分别提取红外和可见光图像目标信息;同时,引入自适应特征融合模块以自主学习的方式融合两支路对应尺度的特征,使两类图像信息互补;最后,利用特征金字塔结构将深层特征逐层与浅层融合,提升网络对不同尺度目标的检测精度。实验结果表明,所提网络能够充分融合红外和可见光图像中的有效信息,并在保障精度与效率的前提下实现目标识别与定位;同时,在实际变电站设备检测场景中,该网络也体现出较好的鲁棒性和泛化能力,可以高效完成检测任务。     

基于决策级融合的RX高光谱影像异常检测算法

对高光谱影像的RX异常检测算法进行了研究。针对RX算法中对高维数据局部背景协方差矩阵估计存在较大误差的局限性,提出一种基于决策级融合的RX算子高光谱影像异常目标检测算法。首先,对同一场景下的可见近红外数据和短波红外数据分别运用经典的RX算子进行异常检测,得到初步异常检测的目标判决。在此基础上,利用传感器获取信息的冗余性和互补性特性,结合基于规则的决策级融合方法,得到最终的RX异常检测判决结果。在实测高光谱数据上进行了实验仿真,验证了本算法的有效性。     

基于双鉴别器的红外与可见光图像融合算法

为确保源图像同时包含可见光图像的细节纹理信息和红外图像的红外亮度信息,提出了一种基于双鉴别器的红外与可见光图像融合方法.首先对红外图像进行显著性检测,获取到红外图像中显著的区域,然后对其取反,获取到可见光图像中的显著区域,最后设计两个鉴别器分别鉴别源图像与融合图像中显著区域的差异,通过对抗性学习,可以使融合图像包含更多...     

多源入侵检测警报的决策级融合模型

为了大幅降低对训练样本的要求,摒弃苛刻的约束条件,提出了一种支持在线增量训练的警报融合模型。将初级警报向量映射为表决模式,以缩小统计空间。通过训练统计出各种表决模式在正常或攻击流量下的条件概率分布,依据统计特征的变化即时推断待检测流量的构成情况,使用阈值约束法和贝叶斯推断做出融合决策。从而拓展了适用范围,并且能较好地跟踪适应待检测流量,仅需少量训练样本便可显著提升检测性能。     

基于深度学习的电力设备红外与可见光图像配准

针对现有电力设备红外与可见光图像配准难度大、配准时间长等问题,提出一种基于深度学习的电力设备红外与可见光图像配准融合的方法。本文将特征提取与特征匹配联合在深度学习框架中,直接学习图像块对与匹配标签之间的映射关系,用于后续的配准。此外为了缓解训练时红外图像样本不足的问题,提出一种利用红外图像及其变换图像学习映射函数的自学习方法,同时采用迁移学习来减少训练时间,加速网络框架。实验结果表明：本文方法与其他4种配准算法相比性能指标均有显著提升,本文平均准确率为89.909,同其余4种算法相比分别提高了2.31%、3.36%、2.67%、0.82%,本文平均RMSE(Root Mean Square Error)为2.521,同其余4种配准算法相比分别降低了14.68%、15.24%、4.90%、1.04%,算法平均用时为5.625 s,较其余4种算法分别降低了5.57%、6.82%、2.45%、1.75%,有效提高了电力设备红外与红外可见光图像配准的效率。     

深度学习框架下的红外与可见光图像融合算法综述

红外与可见光图像融合方法中存在信息提取和特征解耦不充分、可解释性较低等问题,为了充分提取并融合源图像有效信息,本文提出了一种基于信息瓶颈孪生自编码网络的红外与可见光图像融合方法（DIBF：Double Information Bottleneck Fusion）。该方法通过在孪生分支上构建信息瓶颈模块实现互补特征与冗余特征的解耦,进而将互补信息的表达过程对应于信息瓶颈前半部分的特征拟合过程,将冗余特征的压缩过程对应于信息瓶颈后半部分的特征压缩过程,巧妙地将图像融合中信息提取与融合表述为信息瓶颈权衡问题,通过寻找信息最优表达来实现融合。在信息瓶颈模块中,网络通过训练得到特征的信息权重图,并依据信息权重图,使用均值特征对冗余特征进行压缩,同时通过损失函数促进互补信息的表达,压缩与表达两部分权衡优化同步进行,冗余信息和互补信息也在此过程中得到解耦。在融合阶段,将信息权重图应用在融合规则中,提高了融合图像的信息丰富性。通过在标准图像TNO数据集上进行主客观实验,与传统和近来融合方法进行比较分析,结果显示本文方法能有效融合红外与可见光图像中的有用信息,在视觉感知和定量指标上均取得较好的效果。     

红外与可见光图像深度学习融合方法综述

红外与可见光图像融合技术充分利用不同传感器的优势,在融合图像中保留了原图像的互补信息以及冗余信息,提高了图像质量。近些年,随着深度学习方法的发展,许多研究者开始将该方法引入图像融合领域,并取得了丰硕的成果。根据不同的融合框架对基于深度学习的红外与可见光图像融合方法进行归类、分析、总结,并综述常用的评价指标以及数据集。另外,选择了一些不同类别且具有代表性的算法模型对不同场景图像进行融合,利用评价指标对比分析各算法的优缺点。最后,对基于深度学习的红外与可见光图像融合技术研究方向进行展望,总结红外与可见光融合技术,为未来研究工作奠定基础。     

基于红外与可见光图像融合的交通标志检测

针对大多数交通标志检测方法易受光照和天气影响的问题,提出一种基于红外与可见光融合的交通标志检测方法。首先,分别在红外与可见光图像中提取交通标志的形状和颜色特征,对目标进行粗定位,并将结果放入候选组内进行分类与整理;然后,将候选组放入卷积神经网络,对粗定位结果赋予相应的置信度;最后,根据置信度对红外与可见光的粗定位结果进行决策融合,并将融合结果展示在可见光图像中。实验结果表明,该算法对检测环境的变化更加鲁棒,在白天、夜晚和不良天气等多种环境下有效地提高了检测效率,具有良好的适用范围。     

基于特征融合的可见光与红外图像目标检测

为提升目标检测任务在复杂环境下的识别效果,提出了一种基于特征融合的红外与可见光目标检测方法。该方法首先采用并列的卷积神经网络分别提取红外和可见光特征信息,并利用通道和空间注意力机制提升有效特征的权重;其次,为充分利用红外和可见光特征进行信息互补,设计了特征自适应融合结构,以自主学习方式将红外与可见光特征以最优方式加权融合;最后,针对不同尺度目标,通过交替采样方式充分融合深层和浅层特征,保障各维度目标检测效果。通过实验表明,所提方法可以充分利用并融合不同模式、尺度的目标特征信息,实现目标准确识别及定位。同时,在实际电网设备检测中,该方法也体现出较优的鲁棒性和泛化性。     

基于深度学习的轻量化红外弱小车辆目标检测算法研究

伴随高速飞行器的不断发展,目标检测识别作为精确制导的关键一环,需要更高实时性、高准确性地进行目标定位和识别。当前,针对装甲车辆、车辆阵地等时间敏感目标精确检测识别的需求日益迫切,深度学习算法在特征提取及分类器设计上具备优势。文中以特定复杂背景下的小尺寸红外车辆目标为研究对象,针对样本数据少、平台资源受限、实时性要求高、检测精度高等需求,开展基于红外弱小车辆目标检测识别的轻量化深度学习算法研究。项目基于YOLOv5算法进行轻量化剪裁,减小模型的结构,提高实时性;提出了混合域注意力机制模块EPA,该模块通过不降维的局部跨信道交互策略使算法更快速有效地关注重要通道,抑制无效通道,并将通道注意力机制与空间注意力机制结合,使得算法更关注与目标相关的像素信息。提出了残差密集注意模块（RDAB）,该模块由密集残差块与注意力机制EPA构成,通过密集卷积层来提取充分的局部特征,通过注意力机制获取更有效的通道与像素信息,可以使得算法以较小的模型结构获得较好的检测效果。运用设计的网络对数据增广后的小尺寸红外车辆目标数据进行检测识别,并与多种典型算法进行对比实验。由实验结果可知,文中提出的JH-YOLOv5-RDAB网络检测识别效果优于其他网络,权重大小仅为6.6 MB,仅为YOLOv5s算法模型权重的一半,但算法检测效果更优,与93.7 MB的YOLOv5l算法的检测效果接近,mAP50达到95.1%。实验结果表明:该网络在红外弱小车辆目标检测上的优越性和可行性。     

基于多形态红外特征与深度学习的实时驾驶员疲劳检测

疲劳驾驶是导致车祸的重要诱因,严重危害道路交通安全,而车辆行驶过程中的光照条件变化、驾驶员姿态调整和眼镜遮挡等因素将对疲劳检测任务产生不利的影响。针对以上问题,提出了基于深度学习的驾驶员疲劳检测算法。首先,使用850nm红外光源补光,在复杂光照和遮挡形态下采集驾驶员的面部图像;其次,利用红外图像中的多种特征,通过级联CNN确定人脸边框和特征点位置,提取眼睛区域并识别眼睛的睁闭状态;最后,将眼睛状态识别结果和连续图像中的特征点坐标差值输出至LSTM网络,检测驾驶员疲劳状态。实验结果表明:该疲劳检测算法的准确率可达94.48%,平均检测时间为65.64ms。     

红外与可见光图像融合的汽车抗晕光系统

针对夜间汽车晕光现象引起的交通安全问题,从规避碰撞物的角度出发,设计了一种红外与可见光图像融合的视频抗晕光系统。系统通过对可见光图像和红外图像做MSR图像增强,解决了夜间可见光图像亮度低,暗处信息不易获取的问题,并提高了红外图像对比度,提升了融合图像的清晰度;通过YUV与小波变换结合的方式对增强后的可见光图像和红外图像进行融合,消除了晕光现象。实验结果的主客观分析表明:该融合算法比YUV与小波融合算法在熵、均值、平均梯度、标准差上分别提高了1.6%、13.5%、25.3%、0.6%,该系统不仅能有效消除晕光,还对融合后图像的亮度和暗处细节信息有较大提升,提高了夜间驾驶安全性。     

基于深度学习的红外小目标检测算法综述北大核心CSCD

红外检测技术具有受环境负面影响小、抗外界干扰能力强等优势,在众多领域皆有极为重要的应用价值。然而,由于红外小目标存在缺少明显的可用信息、边界模糊等问题,对其检测的难度较大,因而成为目标检测领域的研究热点与难点。本文通过分析困扰红外小目标检测研究发展的难题所在,首先就目前针对其检测的传统算法原理进行简要说明。其次,详细阐述了基于深度学习的多类型红外小目标检测算法,并对相关算法的分类、评估指标、相关数据集等多方面内容进行了介绍,随之以实例说明对当前算法改进的有效方式。最后,归纳总结现有检测算法的优缺点,探讨了红外小目标检测研究领域的未来发展趋势,即向高精度、高实时性、强鲁棒性、低复杂度的算法方面深入研究。     

基于深度学习的红外弱小目标检测算法研究综述

目标检测技术是安防监控、预警探测、遥感成像等装备的核心要素,也是当前深度学习研究领域的热点之一。红外探测系统通过被动接收物体发射的红外电磁波进行成像,具备温度灵敏度高、探测距离远、被动探测隐蔽性强等优点,在目标探测领域有广泛的应用。文中从红外弱小目标图像的特点出发,针对基于深度学习的视觉图像目标检测算法进行分类描述,并对深度学习在红外弱小目标检测中的有效手段进行总结,最后对未来的发展趋势做出展望。