3D多支路聚合轻量网络视频行为识别算法研究

为构建拥有2D神经网络速度同时保持3D神经网络性能的视频行为识别模型,提出3D多支路聚合轻量网络行为识别算法.首先,利用分组卷积将神经网络分割成多个支路;其次,为促进支路间信息流动,加入具有信息聚合功能的多路复用模块;最后,引入自适应注意力机制,对通道与时空信息进行重定向.实验表明,本算法在UCF101数据集上的计算成本为11.5GFlops,准确率为96.2%;在HMDB51数据集上的计算成本为11.5GFlops,准确率为74.7%.与其他行为识别算法相比,提高了视频识别网络的效率,体现出一定识别速度和准确率优势.     

基于改进自适应网络的行为识别

行为识别在识别人体动作的过程中容易受到光照,遮挡等外界因素的不良影响,而骨架数据恰好能减轻上述因素的不良影响。对于行为识别数据量数据过大导致工作量增加的问题,深度学习技术的出现不仅提供了一个新的出路,而且其特殊的结构对于处理骨架数据比较容易。行为识别主要的挑战也来自行人的自主性太强导致观测视角随着行人不断变化,多变的视角不利于深度学习网络进行行为识别,容易导致动作误判。因此,首先针对视角变化的进行了研究并在网络框架中借鉴了一种新的视图自适应方案,使行为识别在动作持续时间内可以自动确定虚拟观察视点。然后研究了两种视图自适应神经网络,分别是基于带有长短期记忆(Long Short-Term Memory,LSTM)的递归神经网络和卷积神经网络(Convolutional Neural Network,CNN),在此研究之下构建了自适用深度卷积网络和自适应长短时记忆网络。接着在这两种网络中,通过一个新的视图适应模块学习并确定最优的观察视点,同时利用LSTM和CNN特性进行网络优化。最后对两种网络的最终预测结果进行融合,在NTU RGB+D数据集上的进行了广泛的实验来评估改进的自适应视点网络的效果。实验结果证明行为识别的效果得到了提高和优化,具有一定的鲁棒性。     

基于改进卷积神经网络的羊行为识别

本文根据羊不同行为的特征,提出一种基于改进卷积神经网络的羊行为识别方法。构建卷积核尺寸全部为3×3的卷积神经网络(Convolutional Neural Networks, CNN);使用缩放指数线性单元(scaled exponential linear units,SeLU)为激活函数,使网络具有自归一化功能;以最大池化(max pooling)为下采样;在全连接层中采用丢弃(Alpha dropout)操作提高网络泛化能力,使用余弦退火动态学习率进行动态微调;进一步使用softmax分类器作为网络输出,最终构建出羊行为识别网络模型。实验结果表明：本文方法对羊进食行为识别准确率达到90.30%,站立行为识别准确率达到94.16%。坐卧行为识别准确率能达到91.90%。该模型能够实现羊不同行为的监测,且有较高的准确性,有助于提高畜牧管理效率和养殖智能化水平。     

一种基于3D-BN-VGG网络的行为识别算法

针对当前人体行为识别准确率低、计算量大等缺陷,提出了一种基于三维卷积神经网络（3D Convolutionnal Neural Network,3D-CNN）结合批量归一化（Batch Normalization,BN）及改进的视觉几何组(Visual Geometry Group,VGG)网络的行为识别算法。该算法首先对3D-CNN结构进行优化,在三维空间采用了多个小卷积核卷积层堆叠的Block结构;同时在网络结构中引入BN算法,将卷积层输出的特征图每一维进行独立的批量归一化处理;之后在Block结构中增加了Dropout层以提高网络泛化能力以及将3D-CNN网络层数加深到了13层,提高了高层次抽象特征的提取能力;最终使用softmax进行分类得出结果。实验结果表明所设计的3D-BN-VGG网络在行为识别方面有较高的识别率。     

基于深度学习的关节点行为识别综述

关节点行为识别由于其不易受外观影响、能更好地避免噪声影响等优点备受国内外学者的关注,但是目前该领域的系统归纳综述较少.该文综述了基于深度学习的关节点行为识别方法,按照网络主体的不同将其划分为卷积神经网络(CNN)、循环神经网络(RNN)、图卷积网络和混合网络.卷积神经网络、循环神经网络、图卷积网络分别擅长处理的关节点数据表示方式是伪图像、向量序列、拓扑图.归纳总结了目前国内外常用的关节点行为识别数据集,探讨了关节点行为识别所面临的挑战以及未来研究方向,高精度前提下快速行为识别和实用化仍然需要继续推进.     

基于深度学习的关节点行为识别综述

关节点行为识别由于其不易受外观影响、能更好地避免噪声影响等优点备受国内外学者的关注,但是目前该领域的系统归纳综述较少。该文综述了基于深度学习的关节点行为识别方法,按照网络主体的不同将其划分为卷积神经网络(CNN)、循环神经网络(RNN)、图卷积网络和混合网络。卷积神经网络、循环神经网络、图卷积网络分别擅长处理的关节点数据表示方式是伪图像、向量序列、拓扑图。归纳总结了目前国内外常用的关节点行为识别数据集,探讨了关节点行为识别所面临的挑战以及未来研究方向,高精度前提下快速行为识别和实用化仍然需要继续推进。     

基于分离卷积的战场目标聚集行为识别

针对大部分行为识别算法效率较低,难以应对大规模影像识别任务的问题,一方面,提出一种结合双流结构与多纤维网络的双流多纤维网络模型,分别以RGB序列、光流序列为输入提取视频的时空信息,然后将两条支路网络的识别结果进行决策相加,提高了对战场目标聚集行为的检测效率与识别准确率;另一方面,提出一种结合分离卷积思想与多纤维网络的双流分离卷积多纤维网络模型,进一步提高网络检测效率与抗过拟合能力。实验表明,在建立的情报影像仿真数据集中,上述算法能够有效识别出战场目标聚集行为,在大幅提升检测效率同时实现了识别准确率的提升。     

引入高阶注意力机制的人体行为识别

现有的视频行为识别方法在特征提取过程中,存在忽略各个特征之间相互作用关系的问题,对近似动作的区分效果不理想。因此,提出引入高阶注意力机制的人体行为识别方法。在深度卷积神经网络中引入高阶注意力模块,通过注意力机制建模和利用复杂和高阶的统计信息,对训练过程中特征图各个部分的权重进行重新分配,从而关注局部细粒度信息,产生有区别性的关注建议,捕获行为之间的细微差异。在UCF101和HMDB51这两个人体行为数据集上的实验结果表明,与现有方法相比,识别率得到了一定的提升,验证了所提出方法的有效性和鲁棒性,提高了对近似行为的辨别能力。      

基于残差独立循环神经网络的空间增强人体骨架行为识别

为解决循环神经网络缺乏空间信息且在训练中易出现的梯度消失和爆炸的问题,提出了一种增强空间尺度特征的残差独立循环神经网络人体骨架行为识别算法。研究了人体骨架的空间表达能力增强方法,将原始骨架关节三维坐标转移到人体坐标系后进行尺度变换,进而输入到改进的残差独立循环神经网络对人体骨架序列行为进行识别。改进后的人体骨架能有效缓解人体骨架大小、形状,摄像机的位置等差异带来的影响,提高模型的鲁棒性。残差独立循环神经网络具有独立的神经元,通过约束递归权值解决了梯度问题,具有较好的性能。在NTU RGB+D数据集上取得跨受试者80.1%的识别率,结果证实该算法的有效性。     

基于深度学习和智能规划的行为识别

现有行为识别方法在未能持续覆盖造成视频监控盲区所引起行为数据缺失的情况,难以有效实施特征分析、行为分类补全,无法准确识别出智能体完整的行为动作序列.为此,本文提出一种基于深度学习和智能规划的行为识别方法.首先,利用深度残差网络对图像进行分类训练,然后使用递归神经网络对图像特征进行提取深度信息以增强分类效果;其次,运用智能规划的STRIPS （Stanford Research Institute Problem Solver）模型,将深度学习提取的图像特征命题信息转化为规划领域的模型描述文档,并使用前向状态空间搜索规划器推导出完整的行为动作序列.在HMDB51等行为识别公共数据集中,本方法与生成式对抗网络、深度卷积逆向图网络、深度信念网络、支持向量机等同类先进方法相比展现出更好的性能.     

基于卷积神经网络的视频行为识别技术应用

为提高视频行为识别技术在实际应用中性能,本研究基于卷积神经网络算法,对视频行为识别进行了深入研究分析。通过引入多层卷积、池化操作及结合注意力机制和多模态融合等技术手段,设计了基于卷积神经网络的视频行为识别模型,并通过损失函数与算法选择、模型优化与改进来完善模型视频行为识别能力。通过在MATLAB仿真软件中进行实验测试,结果表明,本视频行为识别模型在各项指标上表现出了良好性能与鲁棒性,具有较强的应用价值。研究结果可为视频行为识别领域研究带来新进展。     

基于时空图卷积网络的学生在线课堂行为识别

为了有效地识别学生在线课堂行为,提出了一种融合全局注意力机制和时空图卷积 网络的人体骨架行为识别模型。首先在时空图卷积网络的空间图卷积网络和时间卷积网络之 间加入全局注意力模块,空间图卷积网络输出的空间特征图作为注意力模块的输入。其次引 入按时间维度的平均池化和最大池化操作,以增加模型学习全局特征信息的能力。最后用三 个加入注意力机制的时空图卷积神经网络和类激活图(class activation map,CAM),构造对遮挡数据识别能力更强 的丰富激活图卷积网络(RA-GCNv2-A)模型,并通过迁移学习实现学生在线课堂行为识别功 能。 在NTU-RGB+D和NTU-RGB+D120数据集上进行实验验证,与RA-GCNv2模型相比,在NTU-RGB +D 和NTU-RGB+D120数据集上的识别准确率分别提高了(cross-subject,CS)1.3%、(cross-view,CV)1.2%和(cross-subject,CSub)1.6%、 (cross-setup,CSet)1.4%。实验结果表明,提出的方法是一种有效的学生在线课堂 行为识别方法。     

基于计算机视觉的人体异常行为识别综述

人体行为识别是计算机视觉和模式识别领域的研究热点之一。作为人体行为识别的一个重要分支,人体异常行为检测近年来也不断得到学界及工业界的重视。人体行为识别研究从早期的依赖人体形状特征发展到基于梯度设计的特征检测,再到当前随着神经网络的新发展,深度学习开始广泛应用于行为识别。同时由于红外波段具有适应弱光照环境、可全天候检测等优点,基于该波段的人体行为识别研究开始兴起,它也必将成为人体行为识别领域中一个新的研究热点。     

基于深度学习的室内视觉位置识别技术

视觉位置识别技术通过将地点图像与数据库中的图像集进行匹配,根据配对图像标签中的位置信息得到定位结果。现有的视觉位置识别网络都是为了应对室外场景而构建和训练的,在室内场景中的识别性能较差。文中提出了一种基于深度学习的室内视觉位置识别卷积神经网络架构,并在室内场景识别数据集上对网络进行了训练,然后在本地室内数据集上对网络参数进行进一步的微调,较好地解决了室内环境中的位置识别问题。和现有的其它视觉位置识别网络相比,文中训练的网络在实际室内环境测试中最大有30%的识别精度提升。     

基于形变卷积神经网络的行为识别

人类行为识别作为视频分类中的重要问题,成为计算机视觉中的热门话题.由于卷积神经网络(CNN)的几何结构固定统一,这将会使得其几何变形建模受限,使得行为识别网络难以鲁棒性的识别行为类别.本文提出了一种融入可形变卷积的行为识别网络模型.首先,引入可形变卷积,构建了一种可协同学习空间外观和时间运动线索的模块,该模块分别学习视...     

基于改进深度卷积神经网络的纸币识别研究

针对如何提高纸币识别率的问题,该文提出一种改进深度卷积神经网络(DCNN)的纸币识别算法。该算法首先通过融合迁移学习、带泄露整流(Leaky ReLU)函数、批量归一化(BN)和多层次残差单元构造深度卷积层,对输入的不同尺寸纸币进行稳定而快速的特征提取与学习;然后采用改进的多层次空间金字塔池化算法对提取的纸币特征实现固定大小的输出表示;最后通过网络全连接层和softmax层实现纸币图像分类。实验结果表明,该算法在分类性能、泛化能力与稳定性上明显优于常用的纸币分类算法;同时该算法也能够满足纸币清分系统的实时性要求。     

基于通道注意力机制的视频人体行为识别

本文针对人体行为识别模型中鉴别能力有限的问题,同时避免双流中计算光流的较大时间成本,提出基于通道注意力机制和三维卷积时空注意力模型的行为识别方法。首先,该卷积网络模型使用ResNeXt残差模块,利用三维卷积核有效地提取视频帧时空特征。然后,在此基础上给每个残差模块增加通道注意力机制学习不同特征图的权重,进而形成基于通道域的注意力权重,增强网络结构对人体行为的表征能力。最后,在UCF-101和HMDB-51数据集上,通过交叉熵损失函数训练不同网络深度的行为分类模型。实验结果表明,该模型可以有效提取视频中的时空特征,并在人体行为识别任务中有着较高效率和优秀的准确度。