可见光和红外图像决策级融合目标检测算法

为了提高可见光和红外图像决策级融合目标检测算法的性能,提出了一种基于模型可靠性的决策级融合策略。首先采取图像预处理技术提高红外图像的整体质量,之后对可见光与热红外目标检测模型分别进行训练测试,根据模型测试结果得到融合策略所需参数,依据所提出的融合策略对模型检测结果进行融合,得到最后的融合检测结果。实验结果表明,相比于单一目标检测模型的检测结果,所采用的融合算法在白天的漏检率比可见光检测模型降低了8.16%,夜间漏检率比红外检测模型降低了9.85%。     

基于卷积特征和贝叶斯决策的双波段场景分类

针对可见光和近红外双波段场景分类存在图像标注样本少和特征融合质量低的问题,提出了一种基于卷积神经网络(CNN)特征提取和朴素贝叶斯决策融合的双波段场景分类方法。首先,将基于预训练的CNN模型作为双波段图像的特征提取器,避免标注样本少导致的过拟合问题;然后,通过主成分分析降维和特征归一化方法,提高支持向量机的计算速度和每个波段的分类性能;最后,以双波段后验概率为朴素贝叶斯先验概率,构建了决策融合模型,实现场景融合分类。在公开数据集上的实验结果表明,相比单一波段分类和双波段特征级联融合分类方法,本方法的识别率有明显提升,可达到94.3%;比基于传统特征的最优方法高6.4个百分点,与基于CNN的方法识别率相近,且执行简单高效。     

基于深度学习的红外图像超分辨率重建方法

为了提高红外图像的超分辨率重建效果,提出基于深度学习的红外图像超分辨率重建方法。利用红外图像的反射特性与红外辐射特性建立红外图像的显著性区域检测模型;通过可见光与近红外图像之间样貌差异度水平检测图像的边缘轮廓特征,提取可见光与近红外光融合性特征参数;根据融合层次不同对图像信号级、像素级、特征级、决策级四个维度进行重建,提取图像的边缘、形状、纹理特征;根据特征分布的噪声水平与配准质量,采用深度学习算法实现对红外图像超分辨率重建。仿真测试结果得出,该方法进行红外图像重建的显著性特征检测能力较强,重建后将图像分辨率提升到1 280×960 PPI,模板匹配准确率为49.4%,峰值信噪比PSNR值高于36.34 dB,结构相似度SSIM值高于0.972,重建效果较好,更适合用于特定场景下的红外图像目标特征识别。     

NSST框架下结合局部自适应亮度与DCAPCNN的双波段图像融合

针对现有红外与可见光图像融合后,易出现边缘平滑严重、纹理细节恢复不足、对比度低、显著目标不突出、部分信息缺失等问题,提出一种基于非下采样剪切波变换(non-subsampled shearlet transform,NSST)的红外与可见光双波段图像融合算法。首先,采用基于自适应引导滤波(adaptive guided filter,AGF)的方法对源红外、可见光图像增强。其次,利用NSST正变换分别对源红外与可见光图像分解,得到红外、可见光图像的低、高频子带分量。然后,分别通过基于局部自适应亮度(local adaptive intensity,LAI)与双通道自适应脉冲耦合神经网络(dual channel adaptive pulse coupled neural network,DCAPCNN)规则融合低、高频子带分量。最后,通过NSST逆变换得到最终融合图像。实验结果表明,本文算法整体对比度更适宜,对红外热目标及可见光背景的边缘与纹理的细节恢复性更好,融合图像信噪比高,有效结合了红外及可见光图像的各自优势,与现有传统图像融合与深度学习融合算法相比,本文算法达到了更好的实验效果,在主观视觉感知和客观指标评价中均具有更好的融合性能。     

基于红外双波段数据融合点目标检测算法的实现

在红外系统中,采用单波段的目标检测,通常不能很好地满足系统要求,考虑到红外系统的双波段探测特性,提出了一种基于双波段的红外点目标检测算法,并进行优化,采用迭代方式,容易得到次优的融合后的探测概率。实验表明,该融合后的检测概率与单波段探测概率相比有较大幅度的提高,并且即使在一个探测器水平退化的情况下,仍能优于单波段的探测器。系统仿真实验显示采用该融合算法有着相当稳健性和较大的应用价值。     

一种双/多波段红外目标融合检测方法

针对双/多波段红外目标检测问题,提出了一种基于自适应加权投票融合准则的红外目标融合检测方法。该方法首先对双/多波段红外传感器进行图像配准,然后对单传感器红外图像进行处理,得到单传感器目标检测结果,最后使用提出的自适应加权投票融合准则,对单传感器目标检测结果进行融合,得到最终判决。实验结果显示,该算法能在较大程度上降低目标检测过程中的不确定性,从而提高了系统的检测性能,同单波段检测结果和其他的融合结果相比,该方法能有效地降低漏警概率和虚警概率;并且该方法易于实现,并在实际工程中得到了应用。     

基于小波变换与灰度形态学滤波的双波段红外图像弱目标融合检测

针对舰载红外搜索与跟踪系统中的弱目标检测问题,本文首先提出了一种采用小波变换与灰度形态学滤波相结合的背景抑制与目标增强算法;然后基于所提出的背景抑制与目标增强算法设计了一种双波段红外图像弱目标融合检测方法;最后采用实际的双波段红外图像序列对所提出的背景抑制与目标增强算法和所设计的双波段红外图像弱目标融合检测方法进行了实验测试,并给出了详细的分析与比较。实验结果显示所提出的背景抑制与目标增强算法在较大程度上改善了在信噪比条件下的红外图像弱目标检测效率,而双波段红外图像的应用进一步提高了系统的目标检测性能。     

基于改进生成对抗网络模型的红外与可见光图像融合

为增强融合图像的视觉效果,减少计算的复杂度,解决传统红外与可见光图像融合算法存在的背景细节丢失问题,提出了一种生成对抗网络框架下基于深度可分离卷积的红外与可见光图像融合方法。首先,在生成器中对源图像进行深度卷积与逐点卷积运算,得到源图像的特征映射信息;其次,通过前向传播的方式更新网络参数,得到初步的单通道融合图像;再次,在红外及可见光判别器中,使用深度可分离卷积分别对源图像与初步融合图像进行像素判别;最后,在损失函数的约束下,双判别器不断将更多的细节信息添加到融合图像中。实验结果表明,相比于传统的融合算法,该方法在信息熵、平均梯度、空间频率、标准差、结构相似性损失和峰值信噪比等评价指标上分别平均提高了1.63%、1.02%、3.54%、5.49%、1.05%、0.23%,在一定程度上提升了融合图像的质量,丰富了背景的细节信息。     

一种基于多传感器多级信息融合的红外目标检测方法

针对远距离低信噪比条件下目标检测难的实际问题,该文提出一种基于多传感器多级信息融合的目标检测方法。该算法包括两个部分:特征级融合和决策级融合。在特征级融合阶段,首先提取双波段红外图像的各个特征图像;然后,采用自适应加权方法对所得到的特征图像进行融合,得到目标判决置信图;最后根据置信度最大规则对置信图进行目标位置搜索,得到各级目标判决结果。在决策级融合阶段,对各级目标判决结果采用组合逻辑进行融合,得到系统的目标检测输出。实验结果显示了该算法的有效性。     

基于多源图像融合的光伏面板缺陷检测

传统光伏面板缺陷检测任务以人工目视方法为主，存在效率低、精度差、成本高等问题。提出基于深度学习的融合光伏面板可见光图像与红外图像的缺陷检测网络，即多源图像融合网络（MultisourceFusionNetwork,MF-Net），实现光伏面板的缺陷检测。MF-Net以YOLOv3tiny为主干结构，并针对光伏面板缺陷特征进行网络结构改进。其中包括：在特征提取模块中增加网络深度并融入密集块结构，使得MF-Net能够融合更多高层语义信息的同时增强特征的选择；将双尺度检测增加为三尺度检测，以提高网络对不同尺寸缺陷的适用度。此外，提出自适应融合模块，使特征图融合过程中可以根据像素邻域信息自适应分配融合系数。实验结果表明，相比基于YOLOv3 tiny的融合网络，改进后的融合检测网络m AP提高7.41%；自适应融合模块使m AP进一步提升2.14%，且自适应融合模块能够有效提高特征的显著性；在与单一图像（仅有可见光图像或红外图像）的检测网络及其他融合图像检测网络的对比实验中，所提出的网络F1 score最高（F1=0.86）。     

基于多模态的车辆行人检测技术研究

针对单一传感器在复杂路况以及恶劣天气情况下车辆行人检测效果不佳,搭建了一套可见光、可见光偏振、短波红外和长波红外多模态数据采集系统,构建了一个多模态数据集,并提出了一种多模态车辆行人检测算法。首先,提出了一种基于改进型SIFT特征点的多尺度部分强度不变特征的异源图像配准算法;然后,提出基于YOLOv5多模态数据目标检测网络。最终实现了平均精度在日间数据集1.0%的提升,日间夜间混合数据集10.9%的提升。     

Object detection in seriously degraded images with unbalanced training samples

Uncertain environments, especially uneven lighting and shadows, can degrade an image, which causes a great negative impact on object detection. Moreover, unbalanced training samples can cause overfitting problem. Since available data that is collected at night is much rarer than that collected in the daytime, the nighttime detection effect will be relatively poor. In this paper, we propose a novel data augmentation method named Mask Augmentation, which reduces the brightness and contrast of objects, and also weakens the edge of objects to simulate the degraded scene. In addition, we propose a new architecture, by adding a classification loss branch and a feature extraction module named Multi-Feature Attention Module, which combines the attention mechanism and feature fusion on the basis of Darknet-53. This architecture makes the features extracted in daytime and nighttime images distinguishable. We also increase the loss weight of nighttime images during the training process. We achieved 78.68% mAP on nighttime detection and 73.14% mAP on daytime detection. Compared with other models, our method greatly improves the accuracy of nighttime detection, and also performs satisfactorily on daytime detection. We deployed our model on an intelligent garbage collection robot for real-time detection, which implements automatic picking at night and assists cleaning staff during the day.     

基于红外与可见光图像的目标检测算法

针对现有基于可见光的目标检测算法存在的不足,提出了一种红外和可见光图像融合的目标检测方法。该方法将深度可分离卷积与残差结构相结合,构建并列的高效率特征提取网络,分别提取红外和可见光图像目标信息;同时,引入自适应特征融合模块以自主学习的方式融合两支路对应尺度的特征,使两类图像信息互补;最后,利用特征金字塔结构将深层特征逐层与浅层融合,提升网络对不同尺度目标的检测精度。实验结果表明,所提网络能够充分融合红外和可见光图像中的有效信息,并在保障精度与效率的前提下实现目标识别与定位;同时,在实际变电站设备检测场景中,该网络也体现出较好的鲁棒性和泛化能力,可以高效完成检测任务。     

基于图像退化模型的红外与可见光图像融合方法

基于深度学习的红外与可见光图像融合算法依赖人工设计的相似度函数衡量输入与输出的相似度,这种无监督学习方式不能有效利用神经网络提取深层特征的能力,导致融合结果不理想。针对该问题,该文首先提出一种新的红外与可见光图像融合退化模型,把红外和可见光图像视为理想融合图像通过不同退化过程后产生的退化图像。其次,提出模拟图像退化的数据增强方案,采用高清数据集生成大量模拟退化图像供训练网络。最后,基于提出的退化模型设计了简单高效的端到端网络模型及其网络训练框架。实验结果表明,该文所提方法不仅拥有良好视觉效果和性能指标,还能有效地抑制光照、烟雾和噪声等干扰。     

基于迁移学习的红外图像多目标检测技术

针对用传统方法难以解决城市背景下红外图像多目标检测的问题,采用迁移学习技术把深度学习中可见光域的目标检测框架迁移到红外域中。利用该方法建立的模型的小目标检测性能非常好,在制作的测试集上平均精度mAP（IoU=0.50）为0.858。还对训练数据与模型检测性能之间的关系进行了初步研究。制作了大数据量和小数据量2个训练集,对模型进行训练,然后在相同的测试集上进行测试。通过小数据量训练的模型在制作的测试集上的平均精度mAP(IoU=0.50)为0.615。实验结果表明,数据的多样性、数量、质量等都会影响模型的好坏。     

复杂环境下多尺度行人实时检测方法

作为计算机视觉和图像处理研究领域中的经典课题,行人检测技术在智能驾驶、视频监控等领域中具有广泛的应用空间。然而,面对一些复杂的环境和情况,如阴雨、雾霾、被遮挡、照明度变化、目标尺度差异大等,常见的基于可见光或红外图像的行人检测方法的效果尚不尽如人意,无论是在检测准确率还是检测速度上。该文分析并抓住可见光和红外检测系统中行人特征差异较大,但在不同环境中又各有优势的特点,并结合多尺度特征提取方法,提出一种适用于多样复杂环境下多尺度行人实时检测的方法——融合行人检测网络(FPDNet)。该网络主要由特征提取骨干网络、多尺度检测和信息决策融合3个部分构成,可自适应提取可见光或红外背景下的多尺度行人。实验结果证明,该检测网络在多种复杂视觉环境下都具有较好的适应能力,在检测准确性和检测速度上均能满足实际应用的需求。     

基于双模态特征增强的目标检测算法研究与应用北大核心CSCD

为提升目标检测算法在复杂环境下的精确性和实用性,将多源信息和深度学习技术相结合,提出了一种基于双模态特征增强的目标检测方法。该方法以红外和可见光图像作为输入,利用颜色空间转换、边缘提取、直方图均衡化等传统图像处理方法丰富图像信息,达到数据增强效果;特征提取部分采用卷积神经网络结构分别提取目标红外及可见光信息,并设计混合注意力机制分别从通道和空间位置角度提升有效特征权重;同时,针对目标双模态信息,引入了自适应交叉融合结构,提高特征多样性;最后,利用交替上下采样将目标全局和局部特征充分融合,并以自主选择方式提取目标相关特征实现检测。通过在标准数据集以及实际场景数据集上的实验结果表明,所提方法有效融合并增强了目标多模态特征,提升了目标检测效果,并能较好的应用于电网场景中,辅助机器人完成目标设备检测。