基于关键帧的双流卷积网络的人体动作识别方法

针对视频序列中人体动作识别存在信息冗余大、准确率低的问题,提出基于关键帧的双流卷积网络的人体动作识别方法.该方法构建了由特征提取、关键帧提取和时空特征融合3个模块构成的网络框架.首先将空间域视频的单帧RGB图像和时间域多帧叠加后的光流图像作为输入,送入VGG16网络模型,提取视频的深度特征;其次提取视频的关键帧,通过不断预测每个视频帧的重要性,选取有足够信息的有用帧并汇聚起来送入神经网络进行训练,选出关键帧并丢弃冗余帧;最后将两个模型的Softmax输出加权融合作为输出结果,得到一个多模型融合的人体动作识别器,实现了对视频的关键帧处理和对动作的时空信息的充分利用.在UCF-101公开数据集上的实验结果表明,与当前人体动作识别的主流方法相比,该方法具有较高的识别率,并且相对降低了网络的复杂度.     

基于多时长特征融合的人体行为识别方法

对于视频中的人体行为识别问题,提出了多时长特征融合模块以提取多种具有不同时长的行为信息,多时长特征融合模块由多个具有不同时间维度的3D卷积核计算并联组成,并结合密集连接模块设计了一种基于多时长信息特征融合的密集连接卷积神经网络。该网络对从视频中提取的序列图像进行特征学习,有效地提取了动态行为特征,并对其进行分类。同时,提出了一种3D卷积神经网络预训练策略,实现了从2D到3D卷积神经网络的迁移学习。实验结果表明:该方法能够对视频中的人体行为进行有效地识别,在UCF101与HMDB51数据集上分类准确率分别达到87.1%与58.3%。     

基于三流卷积神经网络模型的图像分类方法

为了提高卷积神经网络在提取图像特征的充分性与有效性,提出了一种基于三流卷积神经网络模型的图像分类方法.第一个和第二个网络流的特征提取部分采用交叉"间隔"的方式训练提取图像的不同特征,第三个网络流的特征提取部分采用初始参数,以此来构建三流卷积神经网络模型,提取到更充分有效的图像特征.同时针对每个网络流训练一个分类器,然后运用分类器融合算法对每个网络流的分类器赋予不同权重,得到3个网络流的融合输出,实现最终的分类.在CIFAR-100、Stanford Dogs和UEC FOOD-100和数据集上的实验结果验证了该方法的有效性和鲁棒性.     

深度连续卷积神经网络模型构建与性能分析

为了提升卷积神经网络特征提取能力,设计了一种基于连续卷积的深度卷积神经网络模型.该模型采用小尺度的卷积核来更细致地提取局部特征,并借助连续的两个卷积层增加模型的非线性表达能力,结合Dropout技术降低神经元之间的相互依赖,利用抑制网络过拟合对模型进行优化.人脸表情、手写数字字符和彩色图像的目标识别实验表明,在图像较为复杂时,该模型在识别的准确性和泛化性能上比手工特征提取方法及一般的2、3层卷积结构具有明显的优势.     

基于改进深度学习模型C-GRBM的人体行为识别

为了提高复杂视频中人体行为识别的性能,在Gate限制玻尔兹曼机(gate restricted boltzmann machine,GRBM)模型基础上提出一种结合卷积神经网络的Convolutional-GRBM(C-GRBM)模型。利用视频图像平稳性的特点,通过不同的卷积核提取可见层不同的特征,提高模型局部特征提取能力,进而得到更好的人体行为识别率;加入池化操作,对卷积层输出的不同位置上的特征进行聚合统计,降低卷积层输出特征量的维度,从而解决原模型参数过多、容易过拟合等缺陷,进而降低人体行为识别复杂度。在人体行为测试库上的测试表明,本文提出的CGRBM模型能够较好地提高人体行为识别性能。     

基于运动学动态图的人体动作识别方法

为了识别RGB-D视频中的人体动作,针对视频中运动信息利用不充分的问题,提出了一种基于运动学动态图的人体动作识别方法。首先利用RGB视频序列和对应的深度图序列生成场景流特征图,基于场景流特征图计算运动学特征图序列,其中包含丰富的运动信息;使用分层排序池化将运动学特征图序列编码为运动学动态图,同时将RGB视频序列编码为外观动态图,最后将运动学动态图和外观动态图输入到双流卷积网络进行人体动作识别。结果表明:基于运动学动态图和双流卷积网络的人体动作识别方法融合了外观信息和运动信息,不仅充分表征了视频的动态,而且使用了视频中具有丰富运动信息的运动学特征;在公开的数据集上对本方法进行验证,在M2I数据集和SBU Kinect Interaction数据集的动作识别率分别为91.8%和95.2%。     

基于3D-ResNet双流网络的VR病评估模型

为了准确地评估VR视频引起不适的程度，提出基于3D双流卷积神经网络的VR病评估模型.模仿人类视觉系统的2条通路，建立外观流和运动流2个子网络；将2D-ResNet50模型改为3D模型，增加一个深度通道，用以学习视频中的时序信息.加入3D-CBAM注意力模块提高了各帧通道之间的空间关联，增强关键信息，去除冗余信息.采用后端融合的方法，实现2个子网络结果的融合.在公开视频数据集上进行实验验证，结果表明，通过3D-CBAM注意力模块引入注意力机制，使得外观流和运动流网络的VR病评估精度分别提升了1.7%和3.6%，与现有文献相比，融合的双流网络模型的精度得到了较大的提升，精度达到93.7%.     

基于3D Res-Inception网络结构的密集人群行为识别

针对密集人群行为识别,结合传统计算机视觉和深度学习,提出一种双路3D Res-Inception网络结构。在二维卷积神经网络基础上扩展时间维度,设计一种时空残差单元用于提取时空特征,以此为基本单元设计融合人群的外观和运动特征的双路3D Res-Inception结构,并采用镜像、裁剪的方式扩增香港中文大学人群视频数据集(CUHK crowd dataset)。实验结果表明:数据扩增的方法适用于密集人群视频识别;与基于群体变迁的人群描述子算法、卷积神经网络-长短期记忆网络(CNN-LSTM)、三维卷积网络(3D CNN)相比,提出的双路3D Res-Inception网络结构对密集人群行为识别的准确率显著提升,可达95.48%。     

基于双注意力卷积神经网络模型的情感分析研究

卷积神经网络（Convolutional Neural Networks,CNN）无法判别输入文本中特征词与情感的相关性.因此提出一种双注意力机制的卷积神经网络模型（Double Attention Convolutional Neural Networks,DACNN）,将词特征与词性特征有效融合后得到本文的特征表示,确定情感倾向.本文提出局部注意力的卷积神经网络模型,改进卷积神经网络的特征提取能力,采用双通道的局部注意力卷积神经网络提取文本的词特征和词性特征.然后使用全局注意力为特征分配不同的权重,有选择地进行特征融合,最后得到文本的特征表示.将该模型在MR和SST-1数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.7%和1%的提升.     

基于卷积神经网络的目标检测

为了完成视频图像中人体检测,将卷积神经网络和梯度算法结合.将YOLO网络模型结构以及算法函数进行了优化调整.为了保留视频时间信息,引入了卷积神经网络反馈时间维度.采用长短记忆卷积神经网络(LSTM)进行训练,通过将迭代过程的最优解保留,加快了梯度算法中的搜索速度,并且保证收敛于全局最优解.     

基于3D SE-Densenet网络的视频暴力行为识别改进算法

针对传统暴力行为识别算法精度不高和三维卷积神经网络参数多的问题,本文提出一种基于3D SE-Densenet网络的视频暴力行为识别改进算法。采用3D Densenet模型提取视频中的时空特征信息,SENet(Squeeze-and-Excitation Networks)按照时空特征的重要性程度进行加权处理,根据加权的时空特征识别视频中的暴力行为。实验结果表明,本文提出的3D SE-Densenet方法在Hockey Fights Dataset和Movies Dataset上识别准确率分别达到99.1%和100%,可较准确地识别暴力行为,准确率高于传统方法。     

高效通道注意力和特征融合的协同显著性检测算法

针对现有的协同显著性检测算法在多显著目标复杂场景下表现不佳的问题,提出了一种基于高效通道注意力和特征融合的协同显著性检测算法。首先,检测算法利用预训练的深度卷积神经网络对场景进行多尺度特征的提取,结合边缘显著信息设计了显著性语义特征提取模块,以避免全卷积神经网络导致边缘信息的缺失;其次,通过内积基本原理得到组内图片间的关联性信息并根据其关联程度进行自适应加权,结合高效通道注意力层设计了协同特征提取算法;最后,为了将各级高层语义特征经过协同显著性特征提取之后的结果与浅层次的特征进行融合,并实现对预测结果进行多分支同步监督,设计了基于高效通道注意力的特征融合模块。通过对3个经典的数据集进行测试,并与6种现有的协同显著检测算法进行对比,结果表明本文所提算法提高了复杂场景中图像的协同显著性检测的精度以及边缘信息的丰富程度,并具有更优的协同显著性信息检测性能;通过消融实验进一步验证了所提设计算法各个模块的有效性和必要性。     

基于深度学习的变压器图像识别系统

针对变压器型号多、图像复杂,以及传统基于机器学习的人工设计特征的方法不能对大规模变压器图像准确分类等问题提出了基于深度学习的变压器图像识别系统直接对原始图像进行"端对端"的学习。为实现变压器图像的准确分类,提出了改进VGG-16卷积神经网络的变压器图像识别模型。在VGG-16模型的基础上,重新构建了全连接层,针对原有的SoftMax分类器,采用3标签的SoftMax分类器进行替换,以实现网络结构优化,并通过迁移学习共享V GG-16模型卷积层和降采样层的权值参数。通过构建变压器图像的训练集和测试集对改进模型进行了训练,并进行性能测试。结果表明,与深度神经网络、卷积神经网络模型相比,改进VGG-16模型具有更好的效果,识别误差达到了9.17%,并实现了对3种变压器的准确区分。     

基于深度卷积神经网络的车型识别方法

针对现有车辆车型视觉识别技术中的检测精度不高、难以适应天气环境变化、难以从视频图像中准确提取出用于识别的车辆图像、难以对车辆车型子类进行识别分类、难以兼顾识别精度和检测效率等不足,将深度卷积神经网络引入车辆目标定位、识别和分类（子类）问题中.利用深度卷积神经网络自动完成车型的深度特征学习,在特征图上进行逻辑回归,从道路复杂背景中提取出感兴趣区域;利用softmax分类器训练特征实现车型识别;为了优化softmax在深度卷积神经网络分类过程中出现的类内间距大的问题,引入中心损失函数对softmax损失函数进行优化,提高类间分散性与类内紧密性.在BIT-Vehicle车型数据集中的实验结果显示,提出方法的平均精度为89.67%,检测和识别时间为159 ms;与传统的分类方法相比,识别精度提高约20%,效率提高10倍以上,检测鲁棒性有明显提升;与未改进前的深度卷积神经网络相比,检测精度提高0.6%,速度提高0.29倍.     

一种识别表情序列的卷积神经网络

传统的人脸表情识别方法需要人为指定特征训练方向,卷积神经网络方法虽然可以自动训练分类特征,但是存在无法识别表情序列的弊端．针对此问题,运用一种多网络融合技术,使构建的网络能够对表情序列进行识别．网络构建方法为:首先构建多个卷积神经网络,使每个网络处理一帧图片;然后将处理结果在融合层进行融合;最后通过一个分类器输出识别结果．在CK+人脸表情数据库上,分别对3帧、4帧和5帧表情序列进行实验,均获得了较高的识别率．     

Convolutional Neural Network Based on Spatial Pyramid for Image Classification

A novel convolutional neural network based on spatial pyramid for image classification is proposed. The network exploits image features with spatial pyramid representation. First, it extracts global features from an original image, and then different layers of grids are utilized to extract feature maps from different convolutional layers. Inspired by the spatial pyramid, the new network contains two parts, one of which is just like a standard convolutional neural network, composing of alternating convolutions and subsampling layers. But those convolution layers would be averagely pooled by the grid way to obtain feature maps, and then concatenated into a feature vector individually. Finally, those vectors are sequentially concatenated into a total feature vector as the last feature to the fully connection layer. This generated feature vector derives benefits from the classic and previous convolution layer, while the size of the grid adjusting the weight of the feature maps improves the recognition efficiency of the network. Experimental results demonstrate that this model improves the accuracy and applicability compared with the traditional model.     

基于深度学习的洗衣机异常音检测

基于卷积神经网络框架,提出一种洗衣机异音识别模型,根据卷积神经网络显著特征提取能力和平移不变性,学习洗衣机的异音特征,实现生产线洗衣机的异音自动智能识别。给出完整的过程解决训练数据集的建立、数据样本不平衡等问题。提出一种用于数据增强的网络模型——音频深度卷积生成对抗网络解决训练样本的稀缺性问题。该模型对传统的深度卷积生成对抗网络进行改进,以更好地适应工业音频的生成。利用该模型能够对原始数据进行扩展,生成洗衣机异音增强数据集,在该数据集的基础上进行卷积神经网络训练,经测试准确率达到0.999。利用添加背景噪声信号的数据集测试洗衣机异音识别模型的泛化能力,正确识别率达到0.902,表明该网络在识别洗衣机异音方面具有良好的鲁棒性。     

一种改进卷积神经网络的教学图像检索方法

针对卷积神经网络在提取图像特征时所造成的特征信息损失以及降低高维度图像特征数据等问题,提出了一种改进卷积神经网络的图像检索优化方法。该方法首先利用融合的卷积层提取图像特征,并在融合的卷积层之间添加全连接层以减少特征信息的丢失;然后采用主成分分析法对高维的特征数据进行有效的降维处理;最后采用余弦相似度的方法进行相似度匹配,以实现相似图像的检索。采用当前经典的LeNet-L、LeNet-5等方法同文中方法在图像检索性能评价指标上进行对比实验。实验结果表明,所提出的检索方法比文中其他检索方法在查全率和平均查准率方面提高了3%27.3%。     

基于不变矩和神经网络的三维物体识别

为了提高三维物体识别系统的识别率,研究了将三维物体的不变矩作为物体特征,结合改进的BP神经网络应用于三维物体分类识别。理论分析和仿真实验表明,利用三维物体的不变矩特征能够有效地进行识别,对不变矩特征进行主成分分析可以进一步提高识别性能,达到100%的识别率,并降低神经网络结构复杂性和减少训练时间。