用时空能量图和小波变换方法表征和识别步态

该文提出一种基于时空能量图和小波变换的步态特征表达和步态识别方法,步态特征由时空能量图经过小波变换后来表示,不必进行严格的时间配准或步态周期的定位。时空能量图将一个序列的多帧图像用一幅灰度图替代,集成了人的运动信息中时间与空间变化的特点,减少了特征的数据量,经证明,时空能量图对噪声不敏感。实验结果表明该算法具有较好的识别性能和较低的空间需求和计算量。     

SA-Siam++:基于双分支孪生网络的目标跟踪算法

为了解决SiamFC在目标快速移动、背景与前景相似、光照强烈等复杂场景下鲁棒性低的问题,提出了一种新的基于语义和外观双分支孪生网络的跟踪方法SA-Siam++,包括通过沙漏-通道注意力机制提取语义信息的语义分支和通过SiamFC提取外观信息的外观分支.此外,将AlexNet网络更换为经过改进的VGG-16网络能显著增加特征提取能力.在OTB-2013、OTB-2015、UAV123和VOT2018等目标跟踪标准数据集上进行了实验.实验结果表明,所提算法获得的测试结果相比现有主流算法有较大提高,平均帧率为49帧/s,满足实时性要求.     

基于关键帧的双流卷积网络的人体动作识别方法

针对视频序列中人体动作识别存在信息冗余大、准确率低的问题,提出基于关键帧的双流卷积网络的人体动作识别方法.该方法构建了由特征提取、关键帧提取和时空特征融合3个模块构成的网络框架.首先将空间域视频的单帧RGB图像和时间域多帧叠加后的光流图像作为输入,送入VGG16网络模型,提取视频的深度特征;其次提取视频的关键帧,通过不断预测每个视频帧的重要性,选取有足够信息的有用帧并汇聚起来送入神经网络进行训练,选出关键帧并丢弃冗余帧;最后将两个模型的Softmax输出加权融合作为输出结果,得到一个多模型融合的人体动作识别器,实现了对视频的关键帧处理和对动作的时空信息的充分利用.在UCF-101公开数据集上的实验结果表明,与当前人体动作识别的主流方法相比,该方法具有较高的识别率,并且相对降低了网络的复杂度.     

多层次特征融合与超图卷积的生成对抗壁画修复

针对现有深度学习图像修复方法在修复壁画时,存在特征利用率低及对上下文信息关注不足等问题,提出了一种多层次特征融合与超图卷积的生成对抗壁画修复模型。首先,设计金字塔特征提取层结构,利用金字塔特征分层对壁画进行多尺度层次特征提取,并采用混合空洞卷积单元扩大多层特征提取感受野,克服了单尺度卷积操作对于壁画特征提取能力不足的问题。然后,提出多分支短链融合层及门控机制融合多分支特征,将相邻分支间的特征信息进行融合,使融合后的壁画特征图中既有同分支的特征,又有相邻分支的特征,提高特征信息的利用率,并引入门控机制对特征进行选择融合,减少细节信息的丢失。接着,将融合特征通过ConvLSTM特征注意力,增强对壁画上下文信息的关注。最后,设计超图卷积壁画长程特征增强模块,通过在编码器和解码器的跳跃连接之间建立超图卷积层,利用超图卷积来捕获编码器的空间特征信息,将其迁移到解码器中,有助于解码器更好地生成壁画图像,加强特征的长程依赖关系,并与SN-PatchGAN判别网络对抗完成壁画修复。通过对人为添加破损和真实破损壁画图像进行数字化修复实验,结果可以发现：所提方法在PSNR和SSIM等客观评价指标均优于对比算法。多组实验结果表明：所提方法的对于破损壁画修复结果更加清晰自然。     

用于遥感图像变化检测的深度监督网络

为了解决大多数全卷积网络出现的特征提取单一、遥感图像变化检测（CD）能力差的问题，借助Unet++网络构建用于遥感图像CD的深度监督网络（DSNet）.设计多尺度残差模块替换传统卷积层，通过融合孪生网络双分支上的空间与光谱特性，获取遥感图像在不同层次间的语义信息，有效解决了特征提取单一的问题.在模型解码端设计横向输出层，实现节点从低级向高级特征聚合的深度监督过程.将具备信息差异化的不同特征融合结果传输至基于归一化的注意力模块(NAM)中.在不引入额外参数的前提下增强了变化区域的信息权重.实验结果表明，所提模型在遥感图像CD任务中的召回率和精度分别为90.39%和92.04%，模型的参数量和计算量为6.38 M和60 G.与不同网络模型的对比表明，该方法具有检测精度高、速度快和轻量化等优点.     

基于门控特征融合与中心损失的目标识别

针对目标活动、光线及摄像头距离等问题，提出一种基于门控特征融合与中心损失的目标识别方法.门控特征融合是为了弥补单一特征信息丢失时，身份识别准确率下降的缺陷.门控结构指导网络对输入的人脸、行人特征进行贡献量评估,再根据贡献量去分配权值，组合产生识别性更强的身份特征.通过添加中心损失函数，在引导网络下减少了特征的类内距离，使得特征更具判别性.实验结果表明，在自建数据集上所提方法的最终识别准确率最高可以达到76.35%，优于单特征识别方法以及多种融合方法，使用所提的融合损失函数后，平均识别准确率可提高2.63%.     

融合多分支与多粒度特征的东北虎重识别

为解决东北虎重识别研究中存在的细节特征提取不充分等问题,提出了一种融合多分支与多粒度特征的东北虎重识别模型CMM-Net。其中,全局分支负责提取宏观上的粗粒度特征;注意力分支通过插入坐标注意力模块加深了网络对重要特征的关注度;局部分支通过将特征图切分成不同条带块,从而提取东北虎更细粒度的局部特征。通过多个分支结构和多个细粒度特征结合来对模型进行优化学习,加强全局特征与局部特征的关联性。同时提出用Circle Loss与Softmax的联合损失来提高网络精度。实验结果表明,在ATRW数据集上所提模型在单摄像头环境下mAP为93.6%,跨摄像头环境下mAP为77.4%,均优于多数文献所提方法,证明了本文模型的有效性。     

基于傅立叶描述子和人工神经网络的步态识别

提出了一种基于傅立叶描述子和神经网络的步态识别方法.对于每个步态序列,通过背景减差检测运动目标的轮廓,使用傅立叶描述子对轮廓线进行描述,获取步态特征.运用人工神经网络分析方法,对步态进行自动识别.结果表明所提的步态识别方法具有较高的识别性能.     

基于深度学习的自动驾驶车辆运动规划研究

针对交通状况的复杂性和边缘情况的不确定性,很难设计一个通用的自动驾驶车辆运动规划系统,采用深度学习的方法,提出了一个时空LSTM(长短期记忆网络)的运动规划模型,它能够根据提取的时空信息产生实时处理。该模型有三个主要结构,依次完成,基于Conv-LSTM(卷积长短期记忆网络)提取连续图像数据的隐藏特征。然后,基于3D-CNN(3D卷积神经网络)提取多帧特征信息中的时空信息以及FCNN(全连接神经网络)构建车辆自动转向角的控制模型。最后,对提出的LSTM时空网络模型方法和经典方法在数据集上进行性能评估。实验结果表明,该方法能够为自动驾驶车辆生成实时鲁棒准确的视觉运动规划,可以达到99%的准确率。     

基于全局时空注意力机制和PCA＿3DNet的动作识别方法

针对基于3D卷积神经网络的动作识别方法存在参数量过大、无法捕捉时空特征的全局依赖关系等问题,提出了一种基于全局时空注意力机制(Global spatiotemporal attention mechanism, GSTAM)和PCA＿3DNet的动作识别方法。该方法引入伪3D卷积结构减少网络参数,在伪3D卷积结构中嵌入通道注意力机制(Channel attention mechanism, CAM)来增强通道特征,并采用全局时空注意力机制来捕捉特征信息的全局依赖关系,加强时空特征的表征能力,从而提高动作识别的准确率。该方法在两个公开数据集UCF101和HMDB51上的识别准确率分别为93.5%和70.5%,模型参数量为13.46 Mi,浮点运算量为8.73 Gi;在准确率、参数量和计算量上的综合表现优于现有的传统方法和深度学习方法。实验结果表明该方法能够获取丰富的时空特征信息,有效提升动作识别的性能。     

基于多特征融合的表情识别算法

针对轻量级面部表情识别算法泛化能力的不足，提出了一种结合多特征融合和注意力机制的表情识别方法。使用局部二值模式(Local Binary Pattern, LBP)算子减少面部图像中无关信息的干扰，双分支神经网络提取原始人脸图像和LBP图像的特征，融合两个网络提取的中高层特征，并通过注意力机制加强重要特征，在保持较少参数量的同时生成大量的有效特征信息提高算法的识别效果。实验结果表明，该方法在Fer2013和CK+数据集上的识别率分别为70.21%和95.59%，有效地提高了轻量级表情识别算法的性能。     

基于图游走和图注意力的点云分类与分割

针对点云特征提取中远距离特征和局部几何结构信息欠缺的问题,提出了一种基于图游走和图注意力的点云分类与分割网络。首先,利用带有导向性的图游走算法,对点云全局特征补充额外的几何信息和远距离特征信息;其次,嵌入图注意力机制,使模型聚焦于点云的关键区域,提升网络的特征提取能力;最后,在初始点云中提取距离特征作为初始残差嵌入到网络中,避免网络过平滑。在ModelNet40数据集、ScanObjectNN数据集进行了点云分类实验,在ShapeNetPart数据集与Toronto-3D数据集上分别进行了点云部件分割与点云语义分割实验,实验结果表明：相较于基准网络DGCNN,分类精度分别提升了1.3百分点、5.6百分点;分割精度分别提升了1.2百分点、33.1百分点。通过在ModelNet40-C数据集上进行稳健性分析,验证了所提网络具有较强的鲁棒性。     

基于时空注意力的双分支视频超分辨率网络

视频超分方法对多幅低分辨图像进行融合、运动补偿等处理,重构一幅高分辨率图像.基于时空注意力的双分支视频超分辨率网络对运动补偿后的低分辨率图像分配不同的权重,并且引入梯度信息避免超分辨率图像出现结构失真等问题.本网络由一个重建高分辨率图像的图像分支和一个产生高分辨率梯度图的梯度分支组成.图像分支采用一组运动补偿后的低分辨...     

基于WPD和(2D)~2PCA的步态识别方法

为了提高步态识别率,在步态能量图(gait energy image,GEI)基础上,提出了基于小波包分解(waveletpacket decomposition,WPD)和完全主成分分析(two-directional two-dimensional principal component analysis,(2D)2PCA)的步态识别方法.该方法采用基于人体轮廓的GEI来解决步态数据量过大的问题,并采用WPD和(2D)2PCA进行步态特征提取,解决了已有基于小波变换的步态识别方法中高频分量丢失或维数过高问题.在NLPR步态数据库上对该方法进行了评测,并与经典方法进行了比较.实验结果表明:该方法具有更高的识别率和视角变化的鲁棒性.     

基于R-VGG和多分支注意力的无人机图像配准模型

无人机图像通常分辨率较大且含有大面积的弱纹理区域,导致在配准时图像特征提取不足和误匹配增加.针对这些问题,提出一种基于R-VGG特征提取和多分支注意力的无监督配准模型.首先,利用两个具有共享权重参数的特征提取网络来提取运动图像和参考图像的低、高层融合特征;然后,在初步特征匹配之后,加入以残差块为单位的多分支注意力(Multi-Branch Attention, MBA)以滤除错误特征匹配;最后,采用卷积神经网络进行单应性估计,使用空间变换网络(Spatial Transform Network, STN)将运动图像根据单应性矩阵扭曲得到配准结果图像.通过实验将其与另外4种图像配准方法进行了比较,并根据结构相似性(SSIM)、互信息量(MI)和平均绝对误差(MAE)三种评价指标进行了衡量.结果表明,所提方法具有很好的性能表现,能够准确、稳定地完成无人机图像的配准任务.     

基于时空特征和神经网络的视频超分辨率算法

提出了一种基于时空特征和神经网络的视频超分辨率重建算法,实现了视频视觉分辨率质量和细节清晰度的提升. 该算法综合考虑了外部图像块之间的关联映射关系和内部图像块间的相似性,利用深度卷积神经网络学习得到的拟合系数快速地重建视频细节. 采用时空非局部特征相似性优化重建结果,将相邻视频帧间的非局部互补冗余信息融入学习视频帧结果中,解决了误匹配等问题,进一步提升了超分辨率性能. 实验结果表明,所提方法在客观评价指标和主观视觉效果上均取得了较好的重建效果.     

无线传感器网络时空信息集成框架研究

针对协作信号信息处理是构建无线传感器网络的关键技术之一。网络中有效信息分布时空变化的特点，提出了一种基于移动代理的时空信息集成框架。通过定义传感节点的目标检测信令和观测节点的时间延迟窗“节拍”，得到信息集成的时空坐标系；移动代理携带集成算法执行基于系统效能函数优化的访问路径，完成时域和空域的信息集成。节拍是空域信息集成的时间点，节拍序列构成时域信息集成的时间轴。仿真实验结果证明了框架的有效性。     

一种识别表情序列的卷积神经网络

传统的人脸表情识别方法需要人为指定特征训练方向,卷积神经网络方法虽然可以自动训练分类特征,但是存在无法识别表情序列的弊端．针对此问题,运用一种多网络融合技术,使构建的网络能够对表情序列进行识别．网络构建方法为:首先构建多个卷积神经网络,使每个网络处理一帧图片;然后将处理结果在融合层进行融合;最后通过一个分类器输出识别结果．在CK+人脸表情数据库上,分别对3帧、4帧和5帧表情序列进行实验,均获得了较高的识别率．     

基于Inception-V3网络的双阶段数字视频篡改检测算法

为了克服现有数字视频取证算法识别准确率低、定位能力差等缺点，提出一种具有高识别率且定位准确的基于Inception-V3网络的二级分类取证算法.在第一级分类器中提出简单的阈值判断方法来区分原始和篡改视频，第二级分类器将采用Inception-V3网络的稠密卷积核结构来自动提取篡改视频帧的高维多尺度特征.高维多尺度特征有助于提升篡改视频帧的识别率.实验结果表明，本文提出的算法不仅能准确地检测出篡改视频，还能从篡改视频中精确定位出篡改帧.     

基于多任务联合学习的多目标跟踪方法

为提高多目标跟踪方法的跟踪效率,提出一种基于锚框对齐卷积特征的目标检测-表观特征提取联合网络（AAC-JDAN）。首先,在YOLOv3目标检测网络的基础上,引入锚框变换网络与锚框对齐卷积,使网络在获得旋转目标检测能力的同时,缓解现有方法中存在的检测-表观联合网络提取的表观特征与旋转目标之间关联性弱的问题;其次,通过在检测头部网络中加入目标表观特征提取分支,以多任务联合学习的方式对目标检测和目标表观特征提取两个子任务进行合并,实现对图像底层特征的共享,在检测目标的同时输出目标对应的表观特征向量,提高跟踪算法的整体效率;最后,提出一种快速的在线数据关联方法,结合AACJDAN获取的目标表观特征和卡尔曼滤波得到的目标运动状态预测结果,计算目标与轨迹段间的相似度矩阵并使用KM(Kuhn-Munkres)算法进行匹配,实现对视频中多个旋转目标的高效跟踪。在两个公共数据集和一个自定义数据集上进行实验,TPR指标、MOTA指标和IDF-1指标分别达到了80.4%、71.3%和69.5%,帧速率达到20帧/s,表明本文方法在跟踪的实时性和准确性上达到了更好的平衡。