基于3D-CBAM注意力机制的人体动作识别

针对已有的动作识别方法的特征提取不足、识别率较低等问题,结合双流网络、3D卷积神经网络和卷积LSTM网络的优势,提出一种融合模型. 该融合模型为了更好地提取人体动作特征,采用SSD目标检测方法将人体目标分割出作为局部特征和原视频的全局特征共同训练,并采用后期融合进行分类; 将3D卷积块注意模块采用shortcut结构的方式融合到3D卷积神经网络中,加强神经网络对视频的通道和空间特征提取; 并且通过将神经网络中部分3D卷积层替换为ConvLSTM层的方法,更好地得到视频的时序关系. 实验在公开的KTH数据集     

基于3D Res-Inception网络结构的密集人群行为识别

针对密集人群行为识别,结合传统计算机视觉和深度学习,提出一种双路3D Res-Inception网络结构。在二维卷积神经网络基础上扩展时间维度,设计一种时空残差单元用于提取时空特征,以此为基本单元设计融合人群的外观和运动特征的双路3D Res-Inception结构,并采用镜像、裁剪的方式扩增香港中文大学人群视频数据集(CUHK crowd dataset)。实验结果表明:数据扩增的方法适用于密集人群视频识别;与基于群体变迁的人群描述子算法、卷积神经网络-长短期记忆网络(CNN-LSTM)、三维卷积网络(3D CNN)相比,提出的双路3D Res-Inception网络结构对密集人群行为识别的准确率显著提升,可达95.48%。     

基于关键帧的双流卷积网络的人体动作识别方法

针对视频序列中人体动作识别存在信息冗余大、准确率低的问题,提出基于关键帧的双流卷积网络的人体动作识别方法.该方法构建了由特征提取、关键帧提取和时空特征融合3个模块构成的网络框架.首先将空间域视频的单帧RGB图像和时间域多帧叠加后的光流图像作为输入,送入VGG16网络模型,提取视频的深度特征;其次提取视频的关键帧,通过不断预测每个视频帧的重要性,选取有足够信息的有用帧并汇聚起来送入神经网络进行训练,选出关键帧并丢弃冗余帧;最后将两个模型的Softmax输出加权融合作为输出结果,得到一个多模型融合的人体动作识别器,实现了对视频的关键帧处理和对动作的时空信息的充分利用.在UCF-101公开数据集上的实验结果表明,与当前人体动作识别的主流方法相比,该方法具有较高的识别率,并且相对降低了网络的复杂度.     

N-DenseNet的城市声音事件分类模型

针对城市声音事件分类领域中现有模型分类准确率不高、泛化能力不强的问题,提出了一种N阶密集卷积神经网络的城市声音事件分类模型。首先,介绍了密集卷积神经网络的结构;其次,基于N阶马尔可夫模型将密集连接改进为N阶有关连接;然后,结合两者提出了一种更适合音频分类的模型——N阶密集卷积神经网络。该模型在避免梯度消失的前提下, 有针对性、规律性减少了特征图层之间的连接,更高效地融合了前N特征图层的信息,使得模型的收敛速度更快;最后,为了验证该模型,采用N阶密集卷积神经网络的一阶、二阶子模型,基于UrbanSound8K和Dcase2016数据集开展了城市声音事件分类研究。研究结果表明,其模型准确率分别为83.63%、81.03%,验证了该模型具有良好的分类准确率和泛化能力。     

基于图卷积的3D骨架数据的双人交互行为识别

针对图卷积神经网络的双人交互行为识别方法存在交互语义信息表达不充分的问题,提出了一种新的双人交互时空图卷积神经网络（DHI-STGCN）用于行为识别的方法。该网络包含空间子网络模块和时间子网络模块。将基于交互动作视频获取的3D骨架数据生成一种双人交互动作的空间动作图用于空间信息的表示,图中根据关节点位置信息对双人之间的连接边赋予不同的权重。时间信息处理中,在构造的邻接矩阵中增加了上下文时间信息的联系,图中关节点与其一定时间范围内的节点增加连接。将生成的时空图数据送入空间图卷积网络模块,结合时间图卷积网络模块增强帧间运动特征连续性进行时序建模。该模型充分考虑了双人交互动作的紧密关系,具有较强的鲁棒性,获得了比现有模型更好的交互动作识别效果。     

基于3D SE-Densenet网络的视频暴力行为识别改进算法

针对传统暴力行为识别算法精度不高和三维卷积神经网络参数多的问题,本文提出一种基于3D SE-Densenet网络的视频暴力行为识别改进算法。采用3D Densenet模型提取视频中的时空特征信息,SENet(Squeeze-and-Excitation Networks)按照时空特征的重要性程度进行加权处理,根据加权的时空特征识别视频中的暴力行为。实验结果表明,本文提出的3D SE-Densenet方法在Hockey Fights Dataset和Movies Dataset上识别准确率分别达到99.1%和100%,可较准确地识别暴力行为,准确率高于传统方法。     

结合全局与局部池化的深度哈希人脸识别算法

针对采用大型卷积神经网络提取高维特征进行人脸识别时占用内存空间较大以及消耗大量计算资源的问题,提出一种结合全局与局部池化的深度哈希全卷积神经网络．第一,提出一种基于全局平均池化层的全卷积网络,用以减少网络参数以及压缩模型尺寸;第二,提出一种学习不同特征的融合损失方法,将哈希量化误差损失与分类损失进行加权融合,用以学习具有多分类性质的近似哈希编码．实验表明,该方法能够在Visual Geometry Group(VGG)框架下将识别效率提高68%,且准确率略有提升;融合损失方法扩展到Face Residual Network (Face-ResNet)框架时,在保持准确率的情况下将识别效率提高了23.7%。结果表明,该方法可在保证准确率的前提下有效地从特征提取和特征降维两方面提高识别效率,同时该方法还可扩展用于其他网络．     

混合式三稳态压电能量俘获器动力性能分析

针对传统暴力行为识别算法精度不高和三维卷积神经网络参数多的问题,本文提出一种基于 3DSE-Densenet 网络的视频暴力行为识别改进算法。采用 3D Densenet 模型提取视频中的时空特征信息,SENet（Squeeze-and-Excitation Networks）按照时空特征的重要性程度进行加权处理,根据加权的时空特征识别视频中的暴力行为。实验结果表明,本文提出的 3D SE-Densenet 方法在 Hockey Fights Dataset 和 Movies Dataset 上识别准确率分别达到 99.1% 和 100%,可较准确地识别暴力行为,准确率高于传统方法。     

眼底病变OCT图像的轻量化识别算法

为了准确、方便地识别多类型眼底病变，提出光学相干断层扫描技术（OCT）图像的轻量化分类模型MB-CNN.降低卷积核的使用个数，调节每个阶段卷积块的使用比例，设计轻量化主干网络L-Resnet，通过加深网络深度增强对深层语义信息的提取.使用深度可分离卷积设计多尺度卷积块MultiBlock，利用MultiBloc深度挖掘病灶区域的特征，使用不同的卷积核提取不同尺寸病变的特征，提高网络对病变OCT图像的识别能力.构建特征融合模块FFM，融合浅层信息和深层信息，充分提取病变特征的纹理和语义信息，提高对小目标病变的识别能力.实验结果显示，MB-CNN在UCSD、 Duke和NEH3个数据集上的总体分类精度分别达到97.2%、 99.92%和94.37%，模型参数量明显降低，所提模型能够针对眼底的多种病变进行分类.     

基于改进深度学习模型C-GRBM的人体行为识别

为了提高复杂视频中人体行为识别的性能,在Gate限制玻尔兹曼机(gate restricted boltzmann machine,GRBM)模型基础上提出一种结合卷积神经网络的Convolutional-GRBM(C-GRBM)模型。利用视频图像平稳性的特点,通过不同的卷积核提取可见层不同的特征,提高模型局部特征提取能力,进而得到更好的人体行为识别率;加入池化操作,对卷积层输出的不同位置上的特征进行聚合统计,降低卷积层输出特征量的维度,从而解决原模型参数过多、容易过拟合等缺陷,进而降低人体行为识别复杂度。在人体行为测试库上的测试表明,本文提出的CGRBM模型能够较好地提高人体行为识别性能。     

采用词向量注意力机制的双路卷积神经网络句子分类模型

针对句子中不同的词对分类结果影响不同以及每个词对应的词向量受限于单一词向量训练模型的特点,提出一种基于词向量注意力机制的双路卷积神经网络句子分类模型（AT-DouCNN）.该模型将注意力机制和卷积神经网络相结合,以不同训练算法得到的词向量同时作为输入,分别进行卷积和池化,并在全连接层进行融合,不仅能够使得具体分类任务下句子中的关键信息更易被提取,还能够有效地利用不同种类的词向量得到更加丰富的句子特征,进而提高分类的准确率.实验结果表明：所提出的模型在3个公开数据集上的分类准确率分别达到50.6%、88.6%和95.4%,具有良好的句子分类效果.     

基于深度学习的行为识别算法综述

人体行为识别一直是计算机视觉研究中的热点.随着近几年人体行为识别在虚拟现实、短视频等方面的广泛应用, 以及深度学习算法的快速发展, 基于深度学习的行为识别算法层出不穷.相较于传统方法, 基于深度学习的行为识别算法具有鲁棒性强、准确率高的优点.基于此, 本文对近年来提出的基于深度学习的行为识别算法进行了梳理, 并对由双流卷积网络和3D卷积网络结构发展而来的行为识别的系列算法进行了重点介绍, 并总结了各种算法的性能和成果, 最后对该领域进行了展望.     

基于深度学习的行为识别算法综述

人体行为识别一直是计算机视觉研究中的热点.随着近几年人体行为识别在虚拟现实、短视频等方面的广泛应用, 以及深度学习算法的快速发展, 基于深度学习的行为识别算法层出不穷.相较于传统方法, 基于深度学习的行为识别算法具有鲁棒性强、准确率高的优点.基于此, 本文对近年来提出的基于深度学习的行为识别算法进行了梳理, 并对由双流卷积网络和3D卷积网络结构发展而来的行为识别的系列算法进行了重点介绍, 并总结了各种算法的性能和成果, 最后对该领域进行了展望.     

基于局部特征融合Transformer的牛身识别算法

目前，牛身识别技术大多采用卷积神经网络(Convolutional Neural Networks, CNN),CNN只能处理局部邻域信息，容易丢失细节信息。为此，提出一种基于局部特征融合Transformer的牛身识别算法。首先，运用卷积将相邻空间内的牛身局部信息进行融合，增强融合后局部特征信息在不同姿态下的辨别力和鲁棒性；其次，将融合后的局部信息和全局分类信息通过数个多层感知机模块进行分类训练，损失函数采用三元组和标签平滑交叉熵损失，有效提高了牛只多姿态场景下特征的提取。仿真实验结果表明，在复杂场景下，与基于CNN的牛身识别算法相比，提出的算法有效降低了拒识率，提高了Top1排序性能和AUC值。     

基于3D-ResNet双流网络的VR病评估模型

为了准确地评估VR视频引起不适的程度，提出基于3D双流卷积神经网络的VR病评估模型.模仿人类视觉系统的2条通路，建立外观流和运动流2个子网络；将2D-ResNet50模型改为3D模型，增加一个深度通道，用以学习视频中的时序信息.加入3D-CBAM注意力模块提高了各帧通道之间的空间关联，增强关键信息，去除冗余信息.采用后端融合的方法，实现2个子网络结果的融合.在公开视频数据集上进行实验验证，结果表明，通过3D-CBAM注意力模块引入注意力机制，使得外观流和运动流网络的VR病评估精度分别提升了1.7%和3.6%，与现有文献相比，融合的双流网络模型的精度得到了较大的提升，精度达到93.7%.     

基于智能手机感知的人体运动状态深度识别

为提高智能手机对人体运动状态识别的准确率,提出一种基于并联卷积神经网络（PCNN）的深度识别方法.首先,使用三维数据矩阵规范传感器数据输入格式;其次,使用2个PCNN分别对人体运动的加速度传感器和陀螺仪数据进行卷积和池化操作,实现部分权重共享;最后,在全连接层对两组卷积神经网络进行合并,并使用softmax函数对人体运动状态进行分类.实验结果表明,采用该方法可以从传感器原始数据中提取人体运动状态的深层特征,与传统的机器学习方法相比较,提高了运动状态的识别率.     

面向助老行为识别的三维卷积神经网络设计

针对室内老人跌倒问题,提出一种室内人体跌倒行为识别方法.首先,提出基于卷积核分解与分组卷积的轻量化3D网络;之后融合浅层2D子网络与轻量化3D子网络,并采用随机滑动组合采样策略改进3D卷积行为识别网络.为进一步提高网络泛化性能,对视频帧进行视觉显著性检测,通过加强背景纹理与人物行为之间关联性提高真实场景识别准确度.实验结果表明:该网络参数量为6.9×106,时间复杂度降低至8.04×109;实现算法在室内跌倒行为识别任务上达到81.5％的准确度.     

基于公共空间视频的人脸情绪识别

针对公共空间中人脸情绪识别准确率不高的问题,提出一种结合不同感受野和双流卷积神经网络的人脸情绪识别方法。首先建立基于公共空间视频的人脸表情数据集;然后设计一个双流卷积网络,以尺寸为224×224的单帧人脸图像输入卷积神经网络(convolution neural network,CNN),分析图像纹理静态特征;以尺寸为336×336视频序列输入CNN网络,再将提取的特征送入长短期记忆网络(long short term memory network,LSTM)分析局部、全局运动特征;最后通过Softmax分类器将两通道网络的描述子进行加权融合,得到分类结果。结果表明,本文方法能有效利用不同感受野的信息特征清晰识别公共空间的4种典型人脸情绪,识别准确率达88.89%。     

基于整体和个体分割融合的双人交互行为识别

在人类交互行为识别领域,基于RGB视频的局部特征往往不能有效区分近似动作,将深度图像（Depth）与彩色图像（RGB）在识别过程中进行融合,提出一种融合Depth信息的整体和个体分割融合的双人交互行为识别算法。该算法首先分别对RGB和Depth视频进行兴趣点提取,在RGB视频上采用3DSIFT进行特征描述,在Depth视频上利用YOLO网络对左右两人兴趣点进行划分,并使用视觉共生矩阵对局部关联信息进行描述。最后使用最近邻分类器分别对RGB特征和Depth特征进行分类识别,进一步通过决策级融合两者识别结果,提高识别准确率。结果表明,结合深度视觉共生矩阵可以大大提高双人交互行为识别准确率,对于SBU Kinect interaction数据库中的动作可以达90%的正确识别率,验证了所提算法的有效性。     

基于弱监督迁移网络的3D人体关节点识别

针对2D图像缺少深度信息,行为姿态空间结构信息不完备的问题,提出一种基于弱监督迁移网络的3D人体关节点识别方法。首先,提出一种用于真实图像的端到端3D人体姿态估计框架,使用2D与3D混合标签图像对深度神经网络进行训练,在2D人体姿态识别子网络中,添加深度回归模块对2D人体姿态识别子网络进行改进,解决3D人体姿态识别出现的深度歧义性问题;其次,在3D人体姿态识别子网络中,引入3D几何约束对人体姿态识别进行规范化操作,针对无真实深度标签的情况,可更好地学习深度特征,有效解决存在遮挡情况的人体姿态识别问题。在Human 3.6M和MPII数据集中关节点预测平均误差低于其他方法,具有更好的3D人体姿态识别效果。