基于非参数估计的双模态红外图像差异特征频次分布构造

差异特征频次属性的分布构造对建立双模态红外图像差异特征多属性融合有效度分布合成具有重要意义。针对双模态红外图像差异特征频次属性分布构造的问题,提出了基于K最近邻(KNN)概率密度估计的差异特征频次分布构造方法。利用累积分布函数得到差异特征频次真实序列值,计算所构造的差异特征频次分布中具有统计意义的频次序列值与真实序列值的相似性测度,对结果进行了验证。实验结果表明,将非参数概率密度估计运用于差异特征频次分布构造中具有可行性,且本文方法相较于MISE最优带宽高斯核密度估计更能准确构造差异特征频次分布。     

差异特征与融合算法的集值映射关系的建立

针对红外偏振和光强图像现有融合算法无法随着图像差异特征的变化而优化选择的问题,提出了图像差异特征和融合算法的集值映射关系的建立方法.通过图像差异特征的分析与提取构建了差异特征集,将典型融合算法构建为融合算法集,利用数据包络分析法计算每个差异特征对各融合算法的融合有效度并构造融合有效度分布,通过对多组图像的融合有效度分布合成,建立差异特征与融合算法的集值映射关系.实验证明,所建立的集值映射关系可以优化选择融合算法,将互补性强的差异特征有效融合.     

基于特征融合的RGBT双模态孪生跟踪网络

热红外成像技术被广泛地应用于军事、遥感和安防等领域中的目标跟踪,但热红外图像对对比度较低、目标模糊等跟踪场景效果一般。因此,将热红外图像与可见光图像进行融合提高跟踪性能具有重要意义。与基于可见光或热红外图像的单模态跟踪算法相比,基于可见光/热红外(RGB/Thermal, RGBT)图像的双模态跟踪算法对光照变化、云雾遮挡具有更强的鲁棒性。提出了一种基于特征融合的RGBT双模态孪生跟踪网络架构。该网络将双模态图像中提取的深度特征进行融合,提高目标外观特征的判别力。该网络可以利用训练数据进行端到端的离线训练。公开数据集RGBT234上的实验结果表明,所提出的RGBT双模态孪生特征融合跟踪网络能够实现复杂场景下鲁棒持续的目标跟踪。     

一种二型模糊可能性聚类红外图像分割算法

提出了一种新的基于二型模糊可能性聚类的红外图像分割算法。针对受概率约束的模糊聚类算法和不受概率约束的可能性聚类算法在红外图像分割时存在的问题,采用二型模糊系统融合两种分割算法的隶属度函数,将隶属度函数看作一个区间型分布,而不是单独采用两种算法输出的确定模糊值。这种处理方式不但能有效抑制噪声及野值,而且能有效防止红外图像的过分割。实验仿真结果表明,该算法较传统聚类算法能获得更好的分割效果,可有效抑制噪声对目标区域分割的干扰。     

面向双模态红外图像差异的拟态融合方法

针对传统融合方法无法根据双模态红外图像差异特征的不同选择有效的融合策略的问题,提出了一种面向红外光强与偏振图像差异的拟态融合方法。首先计算图像特征差异度对差异特征进行粗筛,制定主差异特征类型的选取规则来确定图像组的主差异特征;然后构造特征融合度,以建立差异特征与拟态变元集中各层变元的映射,确定变元分层结构;最后在变元分层结构选择主差异特征类型的各层变元,比较不同拟态结构变元组合时差异特征的特征融合度,确定其最大值占比最高的拟态结构,形成变体。实验结果表明,经主观分析本文方法结果的视觉效果比对比方法结果的效果更优;经客观评价本文方法结果均为有效融合,因此本文方法实现了对融合策略的自适应选择并提高了图像的融合质量。     

基于二维正态云模型算法的红外图像弱小目标检测

针对红外图像弱小目标检测的特点,采用二维正态云模型算法。首先利用一维云的特性建立二维云模型,由两个相互独立的一维云模型函数组成,目标像素的分布点为一个云滴,整个像素分布区域形成的云团反映了图像中目标的特性;接着依据目标判别条件函数来通过函数发生器产生正态云模型;最后在红外图像弱小目标检测误差函数下构造各云层的目标函数。实验仿真显示本文算法对红外图像弱小目标检测效果最好,能检测率高,虚警率低,耗时少。     

RGBT双模态加权相关滤波跟踪算法

与基于可见光的单模态跟踪算法相比,基于可见光/热红外(RGB-Thermal, RGBT)的双模态跟踪算法对光照变化具有更强的鲁棒性。但在实际应用场景中,双模态跟踪算法仍然会受到局部遮挡目标形变的影响。为了解决以上问题,本文提出了一种可见光/热红外RGBT双模态加权相关滤波跟踪算法。该算法首先利用可见光图像和热红外图像联合求解权重图,然后利用权重图引导相关滤波器求解过程,最后根据权重图推断前景目标是否被遮挡。该算法在公开数据集RGBT234上的结果表明,本文提出的RGBT双模态加权相关滤波跟踪算法能够有效处理目标局部遮挡和目标畸变等情况,实现复杂场景下鲁棒持续的目标跟踪。      

基于双模态特征增强的目标检测算法研究与应用北大核心CSCD

为提升目标检测算法在复杂环境下的精确性和实用性,将多源信息和深度学习技术相结合,提出了一种基于双模态特征增强的目标检测方法。该方法以红外和可见光图像作为输入,利用颜色空间转换、边缘提取、直方图均衡化等传统图像处理方法丰富图像信息,达到数据增强效果;特征提取部分采用卷积神经网络结构分别提取目标红外及可见光信息,并设计混合注意力机制分别从通道和空间位置角度提升有效特征权重;同时,针对目标双模态信息,引入了自适应交叉融合结构,提高特征多样性;最后,利用交替上下采样将目标全局和局部特征充分融合,并以自主选择方式提取目标相关特征实现检测。通过在标准数据集以及实际场景数据集上的实验结果表明,所提方法有效融合并增强了目标多模态特征,提升了目标检测效果,并能较好的应用于电网场景中,辅助机器人完成目标设备检测。     

基于红外可见光融合的低能见度道路目标检测算法

红外图像与可见光图像均被广泛用于目标检测领域,但单模态图像难以满足低能见度道路目标检测的需求,因此本文从双模态融合角度出发,提出一种基于红外可见光融合的低能见度道路目标检测算法。首先,运用多种红外可见光双模态图像融合算法对输入图像进行预处理,并对融合图像的均值、标准差、信息熵、平均梯度、空间频率等5个参数进行定量分析,然后,优化训练检测网络得到针对低能见度道路目标的检测模型,最后,从模型训练结果和目标检测结果的角度评估算法和模型的正确性。实验结果表明,本文算法训练出的模型误检率和漏检率较其他算法明显降低,检测精度较现有算法使用单模态图像由75.51%提升到88.86%,且图像处理速度能够满足实时检测的需求。     

基于红外多光谱图像相关性的自动目标识别算法

提出了一种基于红外多光谱图像相关性的自动目标识别新算法．根据目标、背景和干扰物的红外多光谱特征信息(辐射强度、光谱分布)构造出目标场景的红外多光谱特征矩阵；采用最大距离法分割图像，融合空间和光谱信息重构出研判目标的红外多光谱特征矩阵；根据研判目标的光谱辐射差异特性建立了红外多光谱图像相关识别准则．实验表明，该识别算法正确可行．     

基于深度阴影特征增强的任意至任意重光照

任意至任意重光照利用隐含在引导图像中的光照重新照明源图像。现有的任意至任意重光照方法由于采用端到端的学习方式,导致阴影特征与色温特征高度耦合,进一步影响了阴影生成的准确性。为此,本文提出了一个基于深度阴影特征增强的任意至任意重光照方法。该方法的关键是设计一个额外的阴影解码器,从隐式表征中直接生成对应的阴影图像。同时,为了充分利用学习到的阴影特征,我们引入一个基于注意力机制的特征融合模块,实现重光照特征与阴影特征的自适应融合。另外,我们实验性地发现,利用多项式核函数把源图像映射到高维特征后,再作为网络输入,能进一步提升性能。在VIDIT数据集上的实验表明了本文所提方法的有效性。      

一种改进的基于模糊似然函数的特征选择算法

本文在Shang模糊似然函数的基础上,提出了基于特征空间的可信度函数和特征分量影响函数以改进Shang模糊似然函数的可靠性,采用改进的模糊似然函数评价任意特征子集的有效性,可更真实地描述模式在特征空间的分布,是一种有效的特征选择算法。论文将改进算法与原算法进行了测试比较,结果表明改进的特征选择算法具有更好的可靠性和实用性。     

基于筛选深度特征的红外图像目标识别方法

红外成像是现代战场侦察的重要手段,基于红外图像的目标识别技术可为情报解译提供重要支撑。针对红外图像目标识别,提出基于筛选深度特征的方法。设计适当结构的ResNet对红外图像进行特征学习,对于每个卷积层的输出特征图进行矢量化处理,获得相应的特征矢量。针对各个特征图的深度特征矢量,基于斯皮尔曼等级相关系数评价它们与原始图像的相关性。然后,通过门限判决算法选取若干具有高相关性的深度特征。经过筛选得到的深度特征可剔除了不必要的冗余成分,从而提升后续分类的精度和稳健性。采用联合稀疏表示模型对筛选得到的若干深度特征进行表征和分类,最终获取待识别样本的所属类别。因此,方法可有效结合ResNet多层次深度特征的鉴别力,从而提高最终的识别性能。实验在公开的中波红外目标图像数据集（MWIR）开展,利用原始测试样本、模拟噪声样本和模拟遮挡样本对方法性能进行测试和分析。实验结果表明:相比现有的部分红外目标识别方法,提出方法可取得更强的有效性和稳健性。     

基于分形理论的改进型二维最大熵红外图像分割算法

提出了一种基于分形理论的改进型二维最大熵红外图像阈值分割算法。该算法利用图像分形维数挖掘像素的空间分布信息,然后将原图像灰度及其分形维数映射图像灰度相结合组成二维随机向量,并构造出联合离散概率分布。在此基础上,以二维最大熵原则来确定一个最佳二维分割阈值,进而取得分割结果。实验结果表明,该算法在分割效果上优于传统的二维最大熵分割算法。     

基于LGBM的Zernike特征选取及红外图像目标识别方法

红外传感技术有效解决了夜间观测的难题,成为现代战场侦察的重要手段之一。不断提升基于红外图像的目标识别能力是实施精确打击、态势感知的有力途径。针对红外图像识别问题,提出基于轻量级梯度提升机（Light Gradient Boosting Machine, LGBM）的Zernike特征选取算法,并结合稀疏表示分类器（Sparse Representation-based Classification, SRC）完成目标类别确认。首先,基于红外图像中的目标区域提取多阶Zernike矩特征,表征待识别目标的本质特性;其次,采用LGBM特征选择算法对多阶矩特征进行二次筛选,减少冗余的同时提高特征的针对性;最后,基于SRC对最终选择的Zernike矩特征矢量进行分类。该方法通过LGBM的特征选择有效提高了最终特征的有效性,同时降低了分类的计算复杂度,有利于提高整体识别性能。采用公开的中波红外目标图像数据集（MWIR）开展验证实验,对10类典型军事目标进行区分识别。实验分别在原始样本、噪声干扰样本以及部分缺失样本三种条件下进行并与几类现有红外目标识别方法进行对比讨论。结果表明:所提方法可取得更优性能,证明其有效性。     

双色中波红外图像差异纹理特征分析方法研究

针对双色中波红外图像特征空间维数高,不易于对其双波段成像差异进行综合分析的问题,提出了一种基于赋权思想及雷达图的双波段图像差异纹理特征的分析方法。该方法首先构造一个特征选择矩阵,利用其选择出能够满足双波段图像差异分布规律的有效纹理特征;然后利用赋权思想将差异不显著的纹理特征去除;最后采用雷达图对保留下的差异特征进行高维显示,并由雷达图中多边形的形状信息得到维数较少的图形特征。实验数据表明,降维后的特征能够综合反映双波段图像的纹理差异幅度,为后期差异特征驱动的多级融合方法探索奠定了基础。     

基于多尺度和注意力模型的红外与可见光图像融合

针对红外与可见光图像在融合后容易出现伪影,小目标轮廓不清晰等问题,提出一种基于多尺度特征与注意力模型相结合的红外与可见光图像融合算法。通过5次下采样提取源图像不同尺度的特征图,再将同一尺度的红外与可见光特征图输入到基于注意力模型的融合层,获得增强的融合特征图。最后把小尺度的融合特征图进行5次上采样,再与上采样后同一尺度的特征图相加,直到与源图像尺度一致,实现对特征图的多尺度融合。实验对比不同融合框架下融合图像的熵、标准差、互信息量、边缘保持度、小波特征互信息、视觉信息保真度以及融合效率,本文方法在多数指标上优于对比算法,且融合图像目标细节明显轮廓清晰。     

多尺度多特征融合的高分辨率遥感影像分类

针对高分辨率遥感影像多尺度、空间分布复杂以及特征繁多的特点,从遥感影像特征提取的尺度效应以及各类地物显著性特征各异入手,提出了基于多尺度多特征融合的高分辨率遥感影像分类的方法。该方法构建最优尺度分割函数模型,寻找出各地物的最优尺度,分别提取影像的纹理、颜色和形状特征。在此基础上,利用各地物特征的显著性差异实现多尺度下多特征的加权融合。该加权融合方法突破了常规的最优尺度分割算法未能充分考虑各类地物特征差异性的局限性,通过分析各类地物的显著性,建立了各个特征在分类中所占权重的模型。实验结果表明：相对传统无监督分类算法,该方法准确率提高约7%,且运行效率高。