基于光流法与伪三维残差网络的微表情识别

微表情是一种动态变化的面部表情,具有复杂的时空特征,给其识别带来了极大的困难。本文提出一种基于光流法与伪三维残差网络（P3D ResNet）的微表情识别方法,通过光流法对微表情运动信息建模,为网络提供关键信息的同时丰富数据空间维度,采用伪三维残差网络进一步学习微表情的时间和空间特征。首先,将三个主流的微表情数据集进行融合,并对融合的数据集进行预处理;然后使用TVL1光流法提取表征微表情运动信息的光流特征序列,将得到的光流特征序列与微表情灰度图像序列进行通道连接,形成一个新的三通道微表情图像序列;最后将获得的微表情数据进行数据增强送入伪三维残差网络同时提取微表情的时空特征以实现微表情的识别。其中,P3D ResNet是在残差网络的框架中采用二维卷积滤波器提取微表情的空间特征,一维卷积滤波器提取微表情的时间特征来模拟三维卷积滤波器。在融合数据集上的实验表明,本文方法的性能相对基准方法有了显著的改进,UF1和UAR分别提高了14.71%、14.58%。本文提出的方法在融合数据集及三个独立数据集上的识别性能优于现有较先进的方法,从而证明了本文的微表情识别方法的先进性和鲁棒性。      

卷积神经网络结合NSST的红外与可见光图像融合

传统的多尺度红外与可见光图像融合方法,所提取的图像特征固定,并不能很好的应用于各类复杂的图像环境,而深度学习可以自主选择合适图像特征,改良特征提取单一性问题,因此提出一种基于卷积神经网络与非下采样剪切波变换（NSST）相结合的红外与可见光图像融合方法。首先,用卷积神经网络提取红外目标与背景的二分类图,利用调频（FT）显著性检测算法对分类图进行精准分割,同时,利用NSST将源图像多尺度、多方向进行分解;其次,利用目标显著性结合自适应模糊逻辑算法进行低频子带融合,利用高频系数局部方差对比度方法进行高频子带融合;最后,通过NSST逆变换得到融合后图像。实验结果表明:相比于传统图像融合算法,该方法在信息熵、平均梯度、空间频率、互信息和交叉熵等多个客观评价指标上至少分别提高了0.01%、0.30%、1.43%、2.32%、1.14%。一定程度提高了融合图像对比度,丰富了背景细节信息,更有利于人眼识别,可以广泛的应用于光电侦察、光电告警、多传感器信息融合等光电信息领域。     

卷积神经网络结合显著性目标掩图的红外与可见光图像融合

传统的基于多尺度变换理论的红外与可见光融合,提取特征单一,融合规则需要手动设计,难以应对多场景的需求,而深度学习的方法具有良好的特征提取能力,能够对多种特征进行学习.使用基于卷积神经网络的方法对图像融合进行研究,将网络分为特征提取网络和特征融合网络2个部分.首先使用图像处理软件获得红外图像的显著性目标掩图,然后以目标掩...     

基于多模态特征融合网络的空时分组码识别算法

针对现有算法在空时分组码（Space-Time Block Code,STBC）识别过程中存在的低信噪比下误判概率高、识别效率低等问题，本文提出了一种基于多模态特征融合网络（Multi-Modality Features Fusion Network,MMFFN）的空时分组码自动识别方法 .首先，在合并卷积层将STBC时域样本映射为一维特征向量的基础上，采用多扩张率下的扩张卷积提取非连续时间窗的STBC码内特征，实现多时延特征自提取；然后，构建多时序特征自提取模块以提取码间时序特征，进一步扩展映射特征类型；最后，将多时延拼接层获取的最大时延特征作为深层融合特征，并增加了带跨越连接的残差层以提升融合特征利用率，实现空时分组码识别.仿真实验结果表明，本文算法在-9dB下对6类STBC信号的识别准确率达到了90%以上，较现有识别算法的性能获得了显著提升，对低信噪比有较强的适应性.本文提出的STBC多时延特征提取和融合方法，为结合传统算法设计深度学习网络结构提供了新思路，其思想同样可应用于其他通信信号识别领域.     

基于红外与可见光图像的目标检测算法

针对现有基于可见光的目标检测算法存在的不足,提出了一种红外和可见光图像融合的目标检测方法。该方法将深度可分离卷积与残差结构相结合,构建并列的高效率特征提取网络,分别提取红外和可见光图像目标信息;同时,引入自适应特征融合模块以自主学习的方式融合两支路对应尺度的特征,使两类图像信息互补;最后,利用特征金字塔结构将深层特征逐层与浅层融合,提升网络对不同尺度目标的检测精度。实验结果表明,所提网络能够充分融合红外和可见光图像中的有效信息,并在保障精度与效率的前提下实现目标识别与定位;同时,在实际变电站设备检测场景中,该网络也体现出较好的鲁棒性和泛化能力,可以高效完成检测任务。     

基于VGG网络的双波段图像融合方法

针对红外与可见光图像中物体信息具有各自优点的情况,提出了基于VGG网络的红外与可见光图像融合方法来提高对夜间或复杂背景情况下的物体检测识别能力。首先将图像分别输入到一个经过训练得到的VGG网络中,经过不同的卷积层提取各自的特征图;然后将特征图经过ZCA白化处理,去除冗余信息;再通过归一化处理,将特征图的维度降到二维,并通过双三次插值法将其缩放到与源图像尺寸一致;最后通过加权取平均得到融合后的图像。实验结果表明,本文的方法在第四和第五层卷积得到的融合结果优于前三层的融合结果。同时,本文融合方法与其他3种融合方法相比视觉效果较好,在标准差、平均梯度、相关系数、熵值等评价指标上分别平均提升了12.79 %、11.04 %、9.94 %和2.54 %,并且在融合时间上保持在1秒以内。这说明该方法融合效果较好,速度较快,能够较多地保留红外与可见光图像信息和较好地提升目标的显著性。     

基于卷积神经网络融合编码与解码特征的降水强度识别

为高效地利用红外降雨图进行雨量强度分类，提出了一个融合编码与解码卷积特征的雨量强度识别模型。引入编码与解码卷积于深度卷积神经网络分类模型中，在减少局部信息丢失的同时提取深层次的雨纹信息特征。于编码、解码卷积模块中考虑多尺度感受野卷积，融合不同范围的局部特征，同时在解码时融合相同尺度的编码与解码卷积特征图，提高特征利用率，从而构建一种融合编码与解码卷积特征的雨量强度识别模型。所提模型的分类精度优于主流卷积神经网络框架，分类正确率最高达到了91.7%，且消融实验结果验证了编码与解码模块的有效性。     

红外与可见光图像注意力生成对抗融合方法研究

目前,基于深度学习的融合方法依赖卷积核提取局部特征,而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性.为此,本文提出了红外与可见光图像注意力生成对抗融合方法.该方法采用编码器和解码器构成的生成器以及两个判别器.在编码器中设计了多尺度模块与通道自注意力机制,可以有效提取多尺度特征,并建立特征通道长...     

基于筛选深度特征的红外图像目标识别方法

红外成像是现代战场侦察的重要手段,基于红外图像的目标识别技术可为情报解译提供重要支撑。针对红外图像目标识别,提出基于筛选深度特征的方法。设计适当结构的ResNet对红外图像进行特征学习,对于每个卷积层的输出特征图进行矢量化处理,获得相应的特征矢量。针对各个特征图的深度特征矢量,基于斯皮尔曼等级相关系数评价它们与原始图像的相关性。然后,通过门限判决算法选取若干具有高相关性的深度特征。经过筛选得到的深度特征可剔除了不必要的冗余成分,从而提升后续分类的精度和稳健性。采用联合稀疏表示模型对筛选得到的若干深度特征进行表征和分类,最终获取待识别样本的所属类别。因此,方法可有效结合ResNet多层次深度特征的鉴别力,从而提高最终的识别性能。实验在公开的中波红外目标图像数据集（MWIR）开展,利用原始测试样本、模拟噪声样本和模拟遮挡样本对方法性能进行测试和分析。实验结果表明:相比现有的部分红外目标识别方法,提出方法可取得更强的有效性和稳健性。     

复杂电磁环境下基于信号时频图像的调制识别

为解决调制识别研究中较少考虑到不同信号的特征之间联系性的问题,搭建了卷积神经网络(CNN)来提取信号的彩色时频图对应的特征,并利用时频变换的分析方法,将一维信号处理成彩色时频图,通过卷积神经网络架构提取图像特征;同时为了提升算法在低信噪比下的分类识别准确率,对时频图像的纹理特征进行了特征提取,将提取到的纹理特征与卷积神经网络中提取到的特征进行特征融合。仿真实验结果表明,采用的时频卷积神经网络(TF–CNN)和TF–Resnet网络框架能够达到高精确度信号自动调制识别分类的目的。     

基于特征融合的可见光与红外图像目标检测

为提升目标检测任务在复杂环境下的识别效果,提出了一种基于特征融合的红外与可见光目标检测方法。该方法首先采用并列的卷积神经网络分别提取红外和可见光特征信息,并利用通道和空间注意力机制提升有效特征的权重;其次,为充分利用红外和可见光特征进行信息互补,设计了特征自适应融合结构,以自主学习方式将红外与可见光特征以最优方式加权融合;最后,针对不同尺度目标,通过交替采样方式充分融合深层和浅层特征,保障各维度目标检测效果。通过实验表明,所提方法可以充分利用并融合不同模式、尺度的目标特征信息,实现目标准确识别及定位。同时,在实际电网设备检测中,该方法也体现出较优的鲁棒性和泛化性。     

一种多光谱红外舰船目标融合检测方法

针对复杂岸岛背景下的红外舰船目标检测问题,提出了一种多光谱融合红外舰船目标检测方法。首先根据不同谱段信息相互间的关系进行基于非下采样轮廓波变换(Nonsubsampled Contourlet Transform, NSCT)域的多级多光谱图像融合,然后利用LSD线段检测和聚类对融合后的图像进行岸岛线检测。采用选择性搜索算法生成初始目标候选区域,然后结合岸岛线空间位置以及舰船目标的几何特征和灰度特征约束剔除部分虚假目标区域,最后提取候选区域的方向梯度直方图(Histogram of Oriented Gradient, HOG)特征算子。利用线性支持向量机(Support Vector Machine, SVM)分类器进行分类识别,以检测出真实舰船目标。实验结果表明,与单谱段红外舰船目标检测方法相比,本文方法在检测精度上有较大提升。     

基于多尺度特征融合的红外小目标检测方法

红外小目标检测因其探测距离远、抗干扰能力强等特点,在空中目标探测与跟踪系统中得到了广泛的应用。针对目前红外小目标检测算法在复杂背景下检测准确率低、虚警率高等缺点。提出了一种基于多尺度特征融合的端到端红外小目标检测模型（multi-scale feature fusion single shot multibox detecto,MFSSD）。考虑到红外小目标的特点,通过细化和融合特征图的方法提出了一种特征融合模块,通过SP模块提高特征图不同通道的相关性,3种不同序列红外图像的实验结果表明,该算法在红外小目标检测中的平均检测精度高达87.8%。与传统的多尺度目标检测算法相比,准确率和召回率都有显著提高。     

背景自适应的多特征融合的弱小目标检测

针对红外复杂背景下的弱小目标检测难题,提出一种基于背景自适应的多特征融合的复杂背景下弱小目标的检测算法。首先,通过对红外图像进行空域滤波去除孤立噪声点,并利用恒虚警率分割消除大面积平稳背景,获得疑似目标集。然后融合红外图像的背景信息、弱小运动目标的灰度特征、目标与周围像素的方向梯度特征等多个典型特征,消除疑似目标集中的大部分假目标,最后运用运动特征获取真实目标的轨迹,最终实现复杂背景下的红外弱小目标的检测。实验表明:该算法能实现复杂背景下低信噪比的红外弱小目标快速检测,具有检测概率高,算法速度快,鲁棒性好的特点。     

基于YOLOv5s的改进实时红外小目标检测

针对红外图像分辨率低、背景复杂、目标细节特征缺失等问题,提出了一种基于YOLOv5s的改进实时红外小目标检测模型Infrared-YOLOv5s。在特征提取阶段,采用SPD-Conv进行下采样,将特征图切分为特征子图并按通道拼接,避免了多尺度特征提取过程中下采样导致的特征丢失情况,设计了一种基于空洞卷积的改进空间金字塔池化模块,通过对具有不同感受野的特征进行融合来提高特征提取能力;在特征融合阶段,引入由深到浅的注意力模块,将深层特征语义特征嵌入到浅层空间特征中,增强浅层特征的表达能力;在预测阶段,裁减了网络中针对大目标检测的特征提取层、融合层及预测层,降低模型大小的同时提高了实时性。首先通过消融实验验证了提出各模块的有效性,实验结果表明,改进模型在SIRST数据集上平均精度均值达到了95.4%,较原始YOLOv5s提高了2.3%,且模型大小降低了72.9%,仅为4.5 M,在Nvidia Xavier上推理速度达到28 f/s,利于实际的部署和应用。在Infrared-PV数据集上的迁移实验进一步验证了改进算法的有效性。提出的改进模型在提高红外图像小目标检测性能的同时,能够满足实时性要...     

结合时序注意力机制的多特征融合行人序列图像属性识别方法

目前绝大多数的行人属性识别任务都是基于单张图像的,单张图像所含信息有限,而图像序列中包含丰富的有用信息和时序特征,利用序列信息是提高行人属性识别性能的一个重要途径.本文提出了结合时序注意力机制的多特征融合行人序列图像属性识别网络,该网络除了使用常见的空-时二次平均池化特征聚合和空-时平均最大池化特征聚合提取序列的特征外...     

基于特征显著性融合的红外小目标检测

复杂背景下的红外图像通常存在信噪比低、邻近像素灰度变化不明显以及易被杂波信号和噪声干扰的特点,导致红外小目标检测困难。为解决上述问题,提出一种基于特征显著性融合的红外小目标检测算法。首先,在空间域中利用目标与其局部背景灰度差异来计算得到灰度显著图,在频域中结合谱残差计算得到背景抑制后的频域显著图;其次,将灰度显著图和频域显著图归一化后通过哈达玛乘积相互融合;最后,通过自适应阈值分割并使用Unger滤波器剔除较小的噪声点,从而提取出目标区域。实验结果表明,所提算法对图像的信噪比有了数十倍的提升,对背景抑制效果显著,并有着检测率高和虚警率低的优点,是一种有效的小目标检测算法。