基于时空异构双流卷积网络的行为识别

目前大多数基于双流卷积网络的行为识别方法采用同样的时空网络结构,双流合并时会产生大量的冗余信息,从而降低识别的精确度.对此提出一种基于双流网络的时空异构网络结构.该网络采用两种不同的时空网络结构对行为进行分类.此外,对视频序列的长时间结构采用分段形式进行建模,使整个行为视频的学习变得高效.在UCF101和HMDB51数...     

基于双流步态网络的跨视角步态识别

通过增强样本数据和网络特征,提出双流步态网络,增强模型对携带物、衣物变化影响的鲁棒性.首先构造双流步态网络,分别提取步态视频数据中的全局特征和协变量影响范围外的局部判别信息.再将两组网络的特征信息相加融合后,得到步态的双流特征表达.提出的限制随机遮挡策略增广用于训练样本的难度和多样性,提高网络对局部特征的学习能力,减弱协变量的不利影响.另外,改进三元组损失采样方法,加速网络模型的训练收敛速度.在大型步态数据集CASIA-B和OU-MVLP上的实验表明,在携带背包和穿着不同衣物的行走状态下,双流步态网络步态识别准确率较高.     

基于双流网络融合与时空卷积的人体行为识别

针对视频中存在噪音,无法更好地获取特征信息,造成动作识别不精准的问题.提出了一种基于时空卷积神经网络的人体行为识别网络.将长时段视频进行分段处理,分别把RGB图片和计算出的光流图输入到两个卷积神经网络(CNN)中,使用权重相加的融合算法将提取的时域特征和空域特征融合成时空特征.形成的中层语义信息输入到R(2+1)D的卷积中,利用ResNet提高网络性能,最后在softmax层进行行行为识别.在UCF-101和HMDB-51数据集上进行实验,获得了92.1％和66.1％的准确率.实验表明,提出的双流融合与时空卷积网络模型有助于视频行为识别的准确率提高.     

基于双流网络的视频级对比学习

对比学习在自监督视频表示学习领域受到广泛关注。现有的方法大多是在片段级或帧级上进行对比学习,从而限制在长时间范围内对视频全局时空的利用。为了解决上述问题,论文提出了一种基于双流网络的视频级对比学习方法（VCTN）。该方法从网络结构和数据增强两个方面加强了对全局时空的利用。在网络结构上,论文采用卷积神经网络（CNN）和Transformer的双流架构提取视频的时间和空间特征。在数据增强上,论文提出了一种基于时间段的数据增强采样方法。该方法融合了随机、稀疏和整体采样策略,用来形成视频级的正对。大量的实验表明,论文的方法（VCTN）能学到良好的视频表示,并在下游动作分类任务上取得较高的准确率。     

基于双流卷积神经网络的人体行为识别方法

时序行为检测是指在一段未分割的长视频中,检测出其中包含的若干行为片段的起止时间和类别.针对该项任务,提出基于双流卷积神经网络的行为检测模型.首先使用双流卷积神经网络提取视频的特征序列,然后使用TAG （Temporal Actionness Grouping）生成行为提议,为了构建高质量的行为提议,将行为提议送入边界回归网络中修正边界,使之更为贴近真实数据,再将行为提议扩展为含有上下文信息的三段式特征设计,最后使用多层感知机对行为进行识别.实验结果表明,本算法在THUMOS 2014数据集和ActivityNet v1.3数据集获得较好的识别率.     

基于有监督注意力网络的伪造人脸视频检测

在伪造人脸视频检测中,大多数方法都以单一的卷积神经网络作为特征提取模块,提取的特征可能与人类的视觉机制不符。针对此类问题,提出基于有监督注意力网络的伪造人脸视频检测方法。基于胶囊网络检测伪造人脸视频,使用注意力分支提高对伪造人脸图像细节特征的提取能力,使用焦点损失提高模型对难检测样本的检测能力。在数据集FaceForensics++上的实验结果表明,提出方案有更优越的性能。     

双流时间域信息交互的微表情识别卷积网络

目前主流的深度学习方法用于微表情识别存在实验数据非常稀缺的问题,导致神经网络在学习的过程中知识获取有限进而难以提升精度.针对目前存在的问题,提出双流网络时间域信息交互的微表情识别方法,构建了双流时间域信息交互卷积神经网络(DSTICNN),网络对微表情序列进行处理,进而实现微表情自动识别.该算法通过改进深度互学习策略引...     

基于时移和片组注意力融合的双流行为识别网络

基于深度学习的行为识别算法往往由于复杂的网络设计而难以在实际应用中达到快速、准确的识别效果.针对以上情况,提出一种轻量型的基于时移和片组注意力融合的端到端双流神经网络模型.算法在RGB与光流分支网络中,采用时间稀疏分组随机采样策略实现长时程建模,利用时移模块在时间维度上置换部分通道从而结合邻帧信息来提升时序表征能力,同...     

基于双流YOLOv4的金属表面缺陷检测方法

目前有许多学者使用深度学习进行表面缺陷检测研究,由于这些研究大都沿用主流目标检测算法的思路,注重高级语义特征,而忽视了低级语义信息(色彩、形状)对表面缺陷检测的重要性,因此导致缺陷检测效果不够理想。为解决上述问题,提出了一种金属表面缺陷检测网络——双流YOLOv4网络,骨干网络分成两个分支,输入分为高分辨率图像和低分辨率图像,浅分支负责从高分辨率图像中提取低级特征,深分支负责从低分辨率图像中提取高级特征,通过削减两分支的层数和通道数来减少模型总参数量;为了强化低级语义特征,提出了一种树形多尺度融合方法(Tree-structured Multi-scale Feature Fusion Me-thod, TMFF),并设计了一个结合极化自注意力机制和空间金字塔池化的特征融合模块(Feature Fusion Module with Polarized Self-Attention Mechanism and Spatial Pyramid Pooling, FFM-PSASPP)应用到TMFF中。在东北大学热轧带表面缺陷数据集NEU-DET、金属表面缺陷数据集GC10-DET和伊莱特电...     

一种改进的基于R-FCN模型的人脸检测算法

基于区域的卷积神经网络在目标检测中有着广泛的应用,吸引了研究者的广泛兴趣。针对人脸检测问题,本文基于区域的全卷积网络（Region-based Fully Convolutional Networks, R-FCN）,提出一种改进的人脸检测算法。为了使模型训练更加充分,利用在线难例样本挖掘法放宽正负样本的约束,扩充训练集的范围,针对人脸目标存在重叠问题,采用线性非极大值抑制法避免漏检重叠人脸。在人脸检测数据库（FDDB）上的实验结果表明,改进的R-FCN模型比原始的R-FCN模型有着更高的精度。     

深度伪造与检测技术综述

深度学习在计算机视觉领域取得了重大成功,超越了众多传统的方法.然而近年来,深度学习技术被滥用在假视频的制作上,使得以Deepfakes为代表的伪造视频在网络上泛滥成灾.这种深度伪造技术通过篡改或替换原始视频的人脸信息,并合成虚假的语音来制作色情电影、虚假新闻、政治谣言等.为了消除此类伪造技术带来的负面影响,众多学者对假...     

基于多尺度优化感知网络的口罩检测方法

佩戴口罩是全球医学专家公认最有效的预防新冠肺炎感染的方法之一。基于视觉的智能口罩检测技术对于督促人们在公共场合佩戴口罩具有重要的作用。然而,目前专用口罩检测算法较为缺乏,通用目标检测算法对于多尺度、多角度和外观多样的戴口罩人脸目标识别仍然无法满足检测精度的要求。针对该问题,提出了一种基于多尺度优化感知网络的口罩检测方法——PyramidMask。首先,PyramidMask从骨干网络的不同尺度获取图像的多层特征;然后设计尺度感知分支进行不同层的高密度先验框独立预测,以端到端的方式对图像中多尺度的人脸进行精准定位和佩戴口罩检测。此外,为了提高模型对复杂环境的鲁棒性,在训练阶段以图像拼接的方式对训练样本进行数据增强。实验结果表明,在公开的口罩检测数据集上,PyramidMask优于当前主流方法。相较于基准方法,PyramidMask在检测戴与未戴口罩的召回率上分别有5.4%和12.5%的提升,精确率上分别有6.0%和4.1%的提升。     

一种改进的深度残差网络行人检测方法

为了提高行人检测方法的准确率,针对行人图像特征,提出一种基于深度残差网络和YOLO(You Only Look Once)方法的行人检测方法。以加强行人特征表达为目的,通过分析行人在图像中的表达和分布特征,提出一种不影响实时性的矩形输入深度残差网络分类模型以改进YOLO检测方法,使模型能够更好的表征行人;为了进一步提高模型的准确率和泛化能力,采用了混合行人数据集训练的方式,提取VOC数据集的行人数据与INRIA数据集组成混合数据集进行训练,明显降低了漏检率;并且利用聚类分析预测框的方法重新设计了初始预测框,提高行人定位能力并加快收敛。经公开的INRIA数据集的测试实验证明,本方法较主流的行人检测方法每张图片误检率有明显改善,降低至13.86%,有1.51%至58.62%不同程度的提升,并且本方法拥有良好的实时性和泛化能力,实用性强。     

基于深度卷积神经网络的行人检测

行人检测一直是目标检测研究与应用中的热点。目前行人检测主要通过设计有效的特征提取方法建立对行人特征的描述,然后利用分类器实现二分类。卷积神经网络作为深度学习的重要组成,在图像、语音等领域得到了成功应用。针对人工设计的特征提取方法难以有效表达复杂环境下行人特征的问题,提出采用多层网络构建深度卷积神经网络实现对行人检测的方法。系统分析了卷积神经网络层数、卷积核大小、特征维数等对识别效果的影响,优化了网络参数。实验结果表明该方法对于行人检测具有很高的识别率,优于传统方法。     

基于Transformer人像关键点检测网络的研究

为解决目前基于卷积网络的关键点检测模型无法建模远距离关键点之间关系的问题,提出一种Transformer与CNN(卷积网络)多分支并行的人像关键点检测网络,称为MCTN(multi-branch convolution-Transformer network),其利用Transformer的动态注意力机制建模关键点之间的远距离联系,多分支并行的结构设计使得MCTN包含共享权重、全局信息融合等特点。此外,提出一种新型的Transformer结构,称为Deformer,它可以将注意力权重更快地集中在稀疏且有意义的位置,解决Transformer收敛缓慢的问题;在WFLW、300W、COFW数据集的人像关键点检测实验中,归一化平均误差分别达到4.33%、3.12%、3.15%,实验结果表明,MCTN利用Transformer与CNN多分支并联结构和Deformer结构,性能大幅超越基于卷积网络的关键点检测算法。     

基于残差网络的小型车辆目标检测算法

城市道路中车辆检测与识别对于提升交通安全,发展智能化交通具备非常重要的意义。传统的检测方式依赖于人工提取的特征,已难以适用于复杂多变的交通场景,存在识别精确度低、时间复杂度高等缺陷。深度学习模型可以自动提取有用特征,泛化能力强,但难以对相似型车辆进行更加精细的分类,为此提出一种基于残差网络的小型车辆目标检测算法。算法将传统卷积神经网络的连接形式改为一种基于局部连接和权值共享的残差连接模式,同时更改网络结构控制参数数量,将图片不同层次的特征融合计算,应用感兴趣区域池化层规格化前层特征,最后经过分类层和回归层得到目标框的置信度以及修正参数。实验表明,改进模型能够在保证时间效率的前提下增强网络的学习能力,提高平均精度,在相似小型车辆的检测问题上取得了良好的检测结果。     

改进的基于BiLSTM的网络入侵检测方法

针对传统的基于机器学习的网络入侵检测技术存在准确率偏低和泛化能力较差的问题,提出一种改进的基于BiLSTM的网络入侵检测方法,融合BiLSTM和Batch Normalization机制的优点,更好解析数据之间潜在的联系。在NSLKDD的两个数据集上的实验结果表明,与循环神经网络入侵检测方法相比,在二分类实验的两个测试集中的准确率分别提高了2.9%和8.41%,五分类实验中的准确率也有所提高。     

基于深度对比网络的印刷缺陷检测方法

基于传统图像处理技术的印刷缺陷检测方法鲁棒性差,而基于深度学习的目标检测方法则不完全适用于印刷缺陷检测任务的问题。为解决上述问题,将模板匹配方法中的对比思想与深度学习中的语义特征结合,提出用于印刷缺陷检测任务的深度对比网络（CoNet）。首先,提出基于孪生结构的深度对比模块（DCM）在语义空间提取并融合检测图像与参考图像的特征图,挖掘二者间的语义关系;然后,提出基于非对称双通路特征金字塔结构的多尺度变化检测模块（MsCDM）,定位并识别印刷缺陷。在公开的印刷电路板缺陷数据集DeepPCB与立金缺陷数据集上,CoNet的平均精度均值（mAP）分别为99.1%和69.8%,与同样采用变化检测思路的最大分组金字塔池化（MP-GPP）和变化检测单次检测器（CD-SSD）相比,分别提升了0.4、3.5个百分点和0.7、2.4个百分点,CoNet的检测精度更高。此外,当输入图像分辨率为640×640时,CoNet的平均耗时为35.7 ms,可见其完全可以满足工业检测任务的实时性要求。     

基于深度卷积神经网络的航空器检测与识别

针对军用机场大尺寸卫星图像中航空器检测识别的具体应用场景,建立了一套实时目标检测识别框架,将深度卷积神经网络应用到大尺寸图像中的航空器目标检测与识别任务中。首先,将目标检测的任务看成空间上独立的bounding-box的回归问题,用一个24层卷积神经网络模型来完成bounding-box的预测;然后,利用图像分类网络来完成目标切片的分类任务。大尺寸图像上的传统目标检测识别算法通常在时间效率上很难突破,而基于卷积神经网络的航空器目标检测识别算法充分利用了计算硬件的优势,大大缩短了任务耗时。在符合应用场景的自采数据集上进行测试,所提算法目标检测实时性达到平均每张5.765 s,在召回率65.1%的工作点上达到了79.2%的精确率,分类网络的实时性达到平均每张0.972 s,Top-1错误率为13%。所提框架在军用机场大尺寸卫星图像中航空器检测识别的具体应用问题上提出了新的解决思路,同时保证了实时性和算法精度。     

基于度量学习的行人检测算法

针对拥挤场景下行人漏检率较高的问题,设计了新的类平衡策略.其次,采用度量学习方法改进目前的行人语义提取效果,并设计了新的距离度量方法.最后,结合提取的行人语义信息设计了新的非极大值抑制算法.在行人检测数据集CityPersons和CrowdHuman上,与目前的行人检测器进行对比,效果优于目前最优无锚框的行人检测器,同时也证明了度量学习方法在行人检测中的有效性.