基于深度残差网络的人体行为识别算法研究

针对原始C3D卷积神经网络的层数较少、参数量较大和难以关注关键帧而导致的人体行为识别准确率较低的问题,提出一种基于改进型C3D的注意力残差网络模型;首先,增加原始网络卷积层并采用卷积核合并与拆分操作实现(3×1×7)和(3×7×1)的非对称式卷积核,之后采用全预激活式残差网络结构来增加构建的非对称卷积层,并且在残差块中增加时空通道注意力模块;最后,为展示该算法的先进性和应用性,则将该算法与原始C3D网络以及其他流行算法分别在基准数据集HMDB51和自建的43类别体育运动数据集上相比较;实验结果表明,该算法与原始C3D网络相比,在HMDB51和43类体育运动数据集上分别提高了9.88%和21.61%,参数量比原来降低了38.68%,并且结果也优于其他流行算法。     

一种基于SR3D网络的人体行为识别算法

针对三维卷积神经网络无法高效地提取时空特征,提出了一种基于SR3D网络的人体行为识别算法。首先,将三维残差模块的BN层和Relu激活函数放置在三维卷积层之前,更好地提取时空特征;然后,将改进的三维残差块和SE模块组合成SR3D模块,增加重要通道的利用率,提高了网络的识别率。在UCF-101和自制异常行为数据集上进行了大量实验结果表明,SR3D算法分别达到了47.7%和83.6%的识别率(top-1精度),与三维卷积网络(C3D)相比分别提高了4.6和17.3个百分点。     

基于显著性检测和稠密轨迹的人体行为识别

稠密轨迹的人体行为识别对每一帧全图像密集采样导致特征维数高、计算量大且包含了无关的背景信息。提出基于显著性检测和稠密轨迹的人体行为识别方法。首先对视频帧进行多尺度静态显著性检测获取动作主体位置,并与对视频动态显著性检测的结果线性融合获取主体动作区域,通过仅在主体动作区域内提取稠密轨迹来改进原算法;然后采用Fisher Vector取代词袋模型对特征编码增强特征表达充分性;最后利用支持向量机实现人体行为识别。在KTH数据集和UCF Sports数据集上进行仿真实验,结果表明改进的算法相比于原算法识别准确率有所提升。     

基于残差时空图卷积网络的3D人体行为识别

人体行为识别是智能监控、人机交互等诸多应用领域的一项基本技术。人体骨骼的动态变化为人体行为识别提供了重要的信息。传统方法通常只是采取人工信息标注或遍历规则,从而导致模型的表征能力有限、泛化性能差。采用一种引入了残差项的动态骨架模型——基于残差连接的时空图卷积网络,不仅克服了以往方法的限制,而且能够学习骨骼数据中的时空模型。在大型骨骼NTU-RGB+D数据集上,该网络模型不仅提高了人体行为特征的表征能力,而且增强了泛化能力,取得了比现有的模型更好的识别效果。     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。     

基于视觉的人体行为识别算法研究综述*

人体行为识别应用广泛,是人工智能领域研究的热点问题,针对人体行为识别算法进行归纳总结,具有很重要的参考价值。以行为识别为核心,同时包含数据集、动作分割等内容。引言部分主要讲述人体行为识别的基础流程,数据集部分归纳了人体行为识别常用的数据集,动作分割方法总结了时域分割的发展现状和常用的方法,传统方法讲解了人体行为识别比较经典的方法,深度学习方法归纳了人体行为识别最新最热的深度学习方法。引入了动作分割,再结合行为识别,能够实现连续的人体行为识别,使得行为识别适用于实际场景,而不再是对经过人工剪辑好的单个视频进行识别,这在实际应用中意义重大。     

基于最小类内方差的伪三维残差网络

作为一种提取视频时空特征的深度学习方法,伪三维残差网络(pseudo-3D residual net,P3D ResNet)利用SVM目标函数来驱动深度网络学习,这样该方法继承了SVM的不足——仅考虑了不同类别间的间隔,忽略了同类样本数据的分布信息.针对该问题,提出了基于最小类内方差的伪三维残差网络方法,不仅体现了大间隔原理,同时又利用了样本数据的分布信息.该方法首先使用P3D ResNet提取的特征向量计算类内散度矩阵;然后利用该矩阵构建了新的目标函数;最后通过新构建的目标函数来驱动P3D ResNet的学习.将该方法应用到行为识别领域,多个数据集上的实验结果表明,相比于传统的P3D ResNet,所提出的方法获得了更高的识别准确率,体现出了更好的泛化性能.     

一种改进的多尺度融合并行稠密残差去噪网络

卷积神经网络在图像去噪方面取得了很好的效果,但是传统的压缩-解压缩结构的神经网络会不可避免地损坏原始图像信息.为了更有效地去除图像中的噪声,本文提出一种改进的多尺度特征融合并行稠密残差去噪神经网络框架,旨在更好地恢复图像边缘和纹理信息.首先使用并行网络结构以结合不同深度的图像信息,每个分支由一些残差稠密块构成,在此基础上加入残差块之间的远程跳跃连接以克服网络训练过程中出现的梯度消失和梯度弥散问题并提高网络训练性能.另外,在结合图像浅层信息与深层信息的基础上,在每个网络分支内部加入多尺度特征融合模块以获取不同深度下的多尺度图像特征信息.最后,采用残差学习的方式进一步提高网络性能.对比试验表明,本文方法在不同噪声强度下均取得了良好的效果,证明了所提出网络能够在抑制噪声的同时有效地保留原始图像的边缘和纹理信息.     

多尺度密集残差网络的单幅图像超分辨率重建

目的 近几年应用在单幅图像超分辨率重建上的深度学习算法都是使用单种尺度的卷积核提取低分辨率图像的特征信息,这样很容易造成细节信息的遗漏。另外,为了获得更好的图像超分辨率重建效果,网络模型也不断被加深,伴随而来的梯度消失问题会使得训练时间延长,难度加大。针对当前存在的超分辨率重建中的问题,本文结合GoogleNet思想、残差网络思想和密集型卷积网络思想,提出一种多尺度密集残差网络模型。方法 本文使用3种不同尺度卷积核对输入的低分辨率图像进行卷积处理,采集不同卷积核下的底层特征,这样可以较多地提取低分辨率图像中的细节信息,有利于图像恢复。再将采集的特征信息输入残差块中,每个残差块都包含了多个由卷积层和激活层构成的特征提取单元。另外,每个特征提取单元的输出都会通过短路径连接到下一个特征提取单元。短路径连接可以有效地缓解梯度消失现象,加强特征传播,促进特征再利用。接下来,融合3种卷积核提取的特征信息,经过降维处理后与3×3像素的卷积核提取的特征信息相加形成全局残差学习。最后经过重建层,得到清晰的高分辨率图像。整个训练过程中,一幅输入的低分辨率图像对应着一幅高分辨率图像标签,这种端到端的学习方法使得训练更加迅速。结果 本文使用两个客观评价标准PSNR（peak signal-to-noise ratio）和SSIM（structural similarity index）对实验的效果图进行测试,并与其他主流的方法进行对比。最终的结果显示,本文算法在Set5等多个测试数据集中的表现相比于插值法和SRCNN算法,在放大3倍时效果提升约3.4 dB和1.1 dB,在放大4倍时提升约3.5 dB和1.4 dB。结论 实验数据以及效果图证明本文算法能够较好地恢复低分辨率图像的边缘和纹理信息。     

基于滑动窗特征融合的深信度网络驾驶行为识别*

针对动态突变行为原始信息量较少、行为不易区分以及浅层结构分类算法分类正确率较低的问题,提出一种改进的基于加速度数据特征融合的深信度网络驾驶行为识别算法。采用从手机传感器中获取的实时三轴加速度数据,进行预处理后利用端点检测算法确定行为切换点,通过滑动窗实时提取时间序列信息并计算序列片段的时频域特征,选取有效特征后,融合原始行为信息与特征建立完整时间序列段作为受限玻尔兹曼机的输入端,隐层转换为网络可识别的伯努力分布方式,优化预设参数的多隐层受限玻尔兹曼机对输入端信息的特征进行提取,最终通过DBN(Deep Belief Network,深信度网络)实现驾驶行为的识别。实验结果表明,改进的滑动窗特征融合的深信度网络驾驶行为识别算法整体识别率为85.2%,能有效进行驾驶行为的识别。     

基于改进的深度残差网络的表情识别研究

提出了一种基于改进的深度残差网络（residual network,ResNet）的表情识别算法。采用小卷积核和深网络结构,利用残差模块学习残差映射解决了随着网络深度的增加网络精度下降问题,通过迁移学习方法克服了因数据量不足导致训练不充分的缺点;网络架构使用了线性支持向量机（SVM）进行分类。实验中首先利用ImageNet数据库进行网络参数预训练,使网络具有良好的提取特征能力,根据迁移学习方法,利用FER-2013数据库以及扩充后的CK+数据库进行参数微调和训练。该算法克服了浅层网络需要依靠手工特征,深层网络难以训练等问题,在CK+数据库以及GENKI-4K数据库上分别取得了91.333%和95.775%识别率。SVM在CK+数据库的分类效果较softmax提高了1%左右。     

基于残差的优化卷积神经网络服装分类算法

针对目前服装分类算法在解决多类别服装分类问题时分类精度一般的问题,提出了一种基于残差的优化卷积神经网络服装分类算法,在网络中使用了如下三种优化方法:(1)调整批量归一化层、激活函数层与卷积层在网络中的排列顺序;(2)"池化层+卷积层"的并行池化结构;(3)使用全局均值池化层替换全连接层。经过由香港中文大学多媒体实验室提供的多类别大型服装数据集(DeepFashion)和标准数据集CIFAR-10上的实验表明,所提出的网络模型在处理图片的速度和分类精度方面都优于VGGNet和AlexNet,且得到了目前为止已知的在DeepFashion数据集上最好的分类准确率。该网络也可以更好地应用于目标检测和图像分割领域。     

基于稠密卷积神经网络的烟雾识别方法

针对传统烟雾检测方法中提取的图像特征鲁棒性较差的问题,提出了基于稠密卷积神经网络(DenseNet)的烟雾识别方法。首先,利用卷积操作和特征图融合构建稠密网络块,在卷积层之间设计稠密连接机制,以增强稠密网络块结构内的信息流通和特征重利用;然后,将已构建的稠密网络块叠加成稠密卷积神经网络用于烟雾识别,节省计算资源的同时提升对烟雾图像特征的表达能力;最后,针对烟雾图像数据量较小的问题,采取数据增强技术进一步改善训练模型的识别能力。在公开烟雾数据集上对提出的方法进行实验验证,实验结果表明,所提方法的模型大小只有0.44 MB,在两个测试集上的准确率分别为96.20%和96.81%。     

基于三维卷积神经网络的航运监控事件识别

针对传统的机器学习算法对大数据量的航运监控视频识别分类的效果不佳,以及现有的三维（3D）卷积的识别准确率较低的问题,基于3D卷积神经网络模型,结合较为流行的视觉几何组（VGG）网络结构以及GoogleNet的Inception网络结构,提出了一种基于VGG-16的3D卷积网络并引入Inception模块的VIC3D模型对航运货物实时监控视频进行智能识别。首先,将从摄像头获取到的视频数据处理成图片;然后,将等间隔取帧的视频帧序列按照类别进行分类并构建训练集与测试集;最后,在保证运行环境相同并且训练方式相同的前提下,将结合后的VIC3D模型与原模型分别进行训练,根据测试集的测试结果对各种模型进行比较。实验结果表明,VIC3D模型的识别准确率在原模型的基础上有所提升,相较于组约束循环卷积神经网络（GCRNN）模型的识别准确率提高了11.1个百分点,且每次识别所需时间减少了1.349 s;相较于C3D的两种模型的识别准确率分别提高了14.6个百分点和4.2个百分点。VIC3D模型能有效地应用到航运视频监控项目中。     

基于深度学习的人体动作识别方法

对基于机器视觉的人体动作识别的成果进行研究,为提高视频数据集中人体动作的识别率,提出一种改进的深度网络模型。采用稠密光流方法处理数据,结合二维卷积神经网络(2DCNN)、三维卷积神经网络(3DCNN)和长短期记忆神经网络(LSTM)对动作特征进行提取,利用Softmax分类器识别分类。通过KTH数据集进行实验对比验证,分析结果表明,改进模型相比其它已有模型具有更高的识别率,动作识别效果更优。     

基于残差网络的小型车辆目标检测算法

城市道路中车辆检测与识别对于提升交通安全,发展智能化交通具备非常重要的意义。传统的检测方式依赖于人工提取的特征,已难以适用于复杂多变的交通场景,存在识别精确度低、时间复杂度高等缺陷。深度学习模型可以自动提取有用特征,泛化能力强,但难以对相似型车辆进行更加精细的分类,为此提出一种基于残差网络的小型车辆目标检测算法。算法将传统卷积神经网络的连接形式改为一种基于局部连接和权值共享的残差连接模式,同时更改网络结构控制参数数量,将图片不同层次的特征融合计算,应用感兴趣区域池化层规格化前层特征,最后经过分类层和回归层得到目标框的置信度以及修正参数。实验表明,改进模型能够在保证时间效率的前提下增强网络的学习能力,提高平均精度,在相似小型车辆的检测问题上取得了良好的检测结果。     

自适应增强卷积神经网络图像识别

目的 为了进一步提高卷积神经网络的收敛性能和识别精度,增强泛化能力,提出一种自适应增强卷积神经网络图像识别算法。方法 构建自适应增强模型,分析卷积神经网络分类识别过程中误差产生的原因和误差反馈模式,针对分类误差进行有目的地训练,实现分类特征基于迭代次数和识别结果的自适应增强以及卷积神经网络权值的优化调整。自适应增强卷积神经网络与多种算法在收敛速度和识别精度等性能上进行对比,并在多种数据集上检测自适应卷积神经网络的泛化能力。结果 通过对比实验可知,自适应增强卷积神经网络算法可以在很大程度上优化收敛效果,提高收敛速度和识别精度,收敛时在手写数字数据集上的误识率可降低20.93%,在手写字母和高光谱图像数据集上的误识率可降低11.82%和15.12%;与不同卷积神经网络优化算法对比,误识率比动态自适应池化算法和双重优化算法最多可降低58.29%和43.50%;基于不同梯度算法的优化,误识率最多可降低33.11%;与不同的图像识别算法对比,识别率也有较大程度提高。结论 实验结果表明,自适应增强卷积神经网络算法可以实现分类特征的自适应增强,对收敛性能和识别精度有较大的提高,对多种数据集有较强的泛化能力。这种自适应增强模型可以进一步推广到其他与卷积神经网络相关的深度学习算法中。     

基于时空注意力图卷积网络模型的人体骨架动作识别算法

针对现有的人体骨架动作识别算法不能充分发掘运动的时空特征问题,提出一种基于时空注意力图卷积网络(STA-GCN)模型的人体骨架动作识别算法.该模型包含空间注意力机制和时间注意力机制:空间注意力机制一方面利用光流特征中的瞬时运动信息定位运动显著的空间区域,另一方面在训练过程中引入全局平均池化及辅助分类损失使得该模型可以关...