基于紧耦合时空双流卷积神经网络的人体动作识别模型

针对视频人体动作识别中动作信息利用率不高、时间信息关注度不足等问题,提出了一种基于紧耦合时空双流卷积神经网络的人体动作识别模型。首先,采用两个2D卷积神经网络分别提取视频中的空间特征和时间特征;然后,利用长短期记忆（LSTM）网络中的遗忘门模块在各采样片段之间建立特征层次的紧耦合连接以实现信息流的传递;接着,利用双向长短期记忆（Bi-LSTM）网络评估各采样片段的重要性并为其分配自适应权重;最后,结合时空双流特征以完成人体动作识别。在数据集UCF101和HMDB51上进行实验验证,该模型在这两个数据集上的准确率分别为94.2%和70.1%。实验结果表明,所提出的紧耦合时空双流卷积网络模型能够有效提高时间信息利用率和动作整体表达能力,由此明显提升人体动作识别的准确度。     

基于双流卷积神经网络的改进人体行为识别算法

近年来人体行为识别成为计算机视觉领域的一个研究热点,而卷积神经网络(Convolutional Neural Network,CNN)在图像分类和识别领域取得了重要突破,但是人体行为识别是基于视频分析的,视频包含空间域和时间域两部分的信息。针对基于视频的人体行为识别问题,提出一种改进的双流卷积神经网络(Two-Stream CNN)模型,对于空间域,将视频的单帧RGB图像作为输入,送入VGGNet_16模型;对于时间域,将多帧叠加后的光流图像作为输入,送入Flow_Net模型;最终将两个模型的Softmax输出加权融合作为输出结果,得到一个多模型融合的人体行为识别器。基于JHMDB公开数据库的实验,结果证明了改进的双流CNN在人体行为识别任务上的有效性。     

基于可变形卷积神经网络的人体动作识别

针对复杂场景中人体动作识别准确率不高的问题,构建了一种基于可变形卷积网络(DCN)与可变形部件模型(DPM)融合改进的人体动作识别系统.首先将DPM的部件滤波器由5个增加到8个,并结合分支定界算法共同将准确率提高约11个百分点,速度提高3倍左右;其次利用DCN根据人体动作进行感兴趣点采样;然后将改进的DPM与DCN在可...     

基于视频深度学习的时空双流人物动作识别模型

深度学习在人物动作识别方面已取得较好的成效,但当前仍然需要充分利用视频中人物的外形信息和运动信息。为利用视频中的空间信息和时间信息来识别人物行为动作,提出一种时空双流视频人物动作识别模型。该模型首先利用两个卷积神经网络分别抽取视频动作片段空间和时间特征,接着融合这两个卷积神经网络并提取中层时空特征,最后将提取的中层特征输入到3D卷积神经网络来完成视频中人物动作的识别。在数据集UCF101和HMDB51上,进行视频人物动作识别实验。实验结果表明,所提出的基于时空双流的3D卷积神经网络模型能够有效地识别视频人物动作。     

基于卷积神经网络的雷达人体动作识别方法

利用雷达来识别人体动作对环境要求较低,且避免了摄像头带来的的隐私问题。针对这种需求,提出一种基于超宽带雷达和深度学习算法的人体动作识别方法。利用超宽带雷达的高距离分辨力,并针对人体动作的动态特性,提取出人体目标的距离-时间二维特征,弥补单一距离特征的不足。针对特征图采用一种经过优化的卷积神经网络进行识别。通过SIR-20高速探地雷达平台进行数据采集,对8种不同的人体动作进行识别,最终达到了平均99.2%的正确识别率,验证了该方法的可行性和有效性。     

基于改进的深度神经网络的人体动作识别模型

针对现有人体动作识别方法需输入固定长度的视频段、未充分利用时空信息等问题,提出一种基于时空金字塔和注意力机制相结合的深度神经网络模型,将包含时空金字塔的3D-CNN和添加时空注意力机制的LSTM模型相结合,实现了对视频段的多尺度处理和对动作的复杂时空信息的充分利用。以RGB图像和光流场作为空域和时域的输入,以融合金字塔池化层的运动和外观特征后的融合特征作为融合域的输入,最后采用决策融合策略获得最终动作识别结果。在UCF101和HMDB51数据集上进行实验,分别取得了94.2%和70.5%的识别准确率。实验结果表明,改进的网络模型在基于视频的人体动作识别任务上获得了较高的识别准确率。     

面向时空特征融合的GSTIN动作识别网络

视频动作识别是计算机视觉领域一个十分具有挑战性的课题,主要任务是利用深度学习等视频智能分析技术识别的深层信息推导出视频人体行为动作.通过结合双流卷积神经网络和三维卷积神经网络的结构特点,提出了一种面向时空特征融合的GSTIN(GoogLeNet based on spatio-temporal intergration network).GSTIN中设计了时空特征融合模块InBST(inception blend spatio-temporal feature),提升网络对空间特征与时间特征的利用能力;在时空特征融合模块InBST基础上,构建了适合动作识别的多流网络结构.GSTIN在动作识别数据集UCF101、HMDB51上识别精度分别达到了93.8％和70.6％,这表明GSTIN与其他动作识别网络相比具有较好的识别性能.     

基于低秩行为信息和多尺度卷积神经网络的人体行为识别方法

针对人体行为识别中传统行为信息获取方法需要繁琐步骤和各类假设的问题,结合卷积神经网络（CNN）在图像视频处理中的优越性能,提出了一种基于低秩行为信息（LAI）和多尺度卷积神经网络（MCNN）的人体行为识别方法。首先,对行为视频进行分段,并分别对每个视频段进行低秩学习以提取到相应的LAI,然后在时间轴上对这些LAI进行连接以获取整个视频的LAI,进而有效捕获视频中的行为信息,避免了繁琐的提取步骤和各类假设。其次,针对LAI的特点,设计了MCNN模型。该模型通过多尺度卷积核获取不同感受野下的LAI行为特征,并合理设计各卷积层、池化层及全连接层来进一步提炼特征并最终输出行为类别。将所提出的方法在KTH和HMDB51两个基准数据库上进行性能验证,同时设计和进行了三组对比实验。实验结果表明,所提方法在两个数据库上分别取得了97.33%和72.05%的识别率,与双重变换（TFT）方法和深时间嵌入网络（DTEN）方法相比,识别率分别至少提高了0.67和1.15个百分点。所提方法能进一步促进行为识别技术在安防、人机交互等领域的广泛应用。     

基于时空注意力图卷积网络模型的人体骨架动作识别算法

针对现有的人体骨架动作识别算法不能充分发掘运动的时空特征问题,提出一种基于时空注意力图卷积网络(STA-GCN)模型的人体骨架动作识别算法.该模型包含空间注意力机制和时间注意力机制:空间注意力机制一方面利用光流特征中的瞬时运动信息定位运动显著的空间区域,另一方面在训练过程中引入全局平均池化及辅助分类损失使得该模型可以关...     

基于视频分段的空时双通道卷积神经网络的行为识别

针对原始空时双通道卷积神经网络（CNN）模型对长时段复杂视频中行为识别率低的问题，提出了一种基于视频分段的空时双通道卷积神经网络的行为识别方法。首先将视频分成多个等长不重叠的分段，对每个分段随机采样得到代表视频静态特征的帧图像和代表运动特征的堆叠光流图像；然后将这两种图像分别输入到空域和时域卷积神经网络进行特征提取，再在两个通道分别融合各视频分段特征得到空域和时域的类别预测特征；最后集成双通道的预测特征得到视频行为识别结果。通过实验讨论了多种数据增强方法和迁移学习方案以解决训练样本不足导致的过拟合问题，分析了不同分段数、预训练网络、分段特征融合方案和双通道集成策略对行为识别性能的影响。实验结果显示所提模型在UCF101数据集上的行为识别准确率达到91.80%，比原始的双通道模型提高了3.8个百分点；同时在HMDB51数据集上的行为识别准确率也比原模型提高，达到61.39%，这表明所提模型能够更好地学习和表达长时段复杂视频中人体行为特征。     

基于卷积神经网络的车牌字符识别

车牌字符识别是智能车牌识别系统中的重要组成部分。针对车牌字符类别多、背景复杂影响正确识别率的问题,提出了一种基于卷积神经网络（CNN）的车牌字符识别方法。首先对车牌字符图像进行大小归一化、去噪、二值化、细化、字符区域居中等预处理,去除复杂背景,得到简单的字符形状结构;然后,利用所提出的CNN模型对预处理后的车牌字符集进行训练、识别。实验结果表明,所提方法能够达到99.96%的正确识别率,优于其他三种对比方法。说明所提出的CNN方法对车牌字符具有很好的识别性能,能满足实际应用需求。     

基于深度卷积神经网络的物体识别算法

针对传统物体识别算法中人工设计出来的特征易受物体形态多样性、光照和背景的影响,提出了一种基于深度卷神经网络的物体识别算法。该算法基于NYU Depth V2场景数据库,首先将单通道深度信息转换为三通道;再用训练集中的彩色图片和转换后的三通道深度图片分别微调两个深度卷积神经网络模型;然后用训练好的模型对重采样训练集中的彩色和深度图片提取模型第一个全连接层的特征,并将两种模态的特征串联起来,训练线性支持向量机（LinSVM）;最后将所提算法应用到场景理解任务中的超像素特征提取。所提方法在测试集上的物体分类准确度可达到91.4%,比SAE-RNN方法提高4.1个百分点。实验结果表明所提方法可提取彩色和深度图片高层特征,有效提高物体分类准确度。     

基于多尺度双线性卷积神经网络的多角度下车型精细识别

针对多角度下车辆出现一定的尺度变化和形变导致很难被准确识别的问题，提出基于多尺度双线性卷积神经网络（MS-B-CNN）的车型精细识别模型。首先，对双线性卷积神经网络（B-CNN）算法进行改进，提出MS-B-CNN算法对不同卷积层的特征进行了多尺度融合，以提高特征表达能力；此外，还采用基于中心损失函数与Softmax损失函数联合学习的策略，在Softmax损失函数基础上分别对训练集每个类别在特征空间维护一个类中心，在训练过程中新增加样本时，网络会约束样本的分类中心距离，以提高多角度情况下的车型识别的能力。实验结果显示，该车型识别模型在CompCars数据集上的正确率达到了93.63%，验证了模型在多角度情况下的准确性和鲁棒性。     

基于RGB和关节点数据融合模型的双人交互行为识别

基于RGB视频序列的双人交互行为识别已经取得了重大进展,但因缺乏深度信息,对于复杂的交互动作识别不够准确。深度传感器（如微软Kinect）能够有效提高全身各关节点的跟踪精度,得到准确的人体运动及变化的三维关节点数据。依据RGB视频和关节点数据的各自特性,提出一种基于RGB和关节点数据双流信息融合的卷积神经网络（CNN）结构模型。首先,利用Vibe算法获得RGB视频在时间域的感兴趣区域,之后提取关键帧映射到RGB空间,以得到表示视频信息的时空图,并把图送入CNN提取特征;然后,在每帧关节点序列中构建矢量,以提取余弦距离（CD）和归一化幅值（NM）特征,将单帧中的余弦距离和关节点特征按照关节点序列的时间顺序连接,馈送入CNN学习更高级的时序特征;最后,将两种信息源的softmax识别概率矩阵进行融合,得到最终的识别结果。实验结果表明,将RGB视频信息和关节点信息结合可以有效地提高双人交互行为识别结果,在国际公开的SBU Kinect interaction数据库和NTU RGB+D数据库中分别达到92.55%和80.09%的识别率,证明了提出的模型对双人交互行为识别的有效性。     

基于改进卷积神经网络的多源数字识别算法

现有的数字识别算法多是对单一类型数字进行识别,无法应对识别多源数字。针对包含手写体数字与数码管数字的字符识别场景,提出一种基于改进卷积神经网络（CNN）的多源数字识别算法。首先,使用从数显仪表生产企业现场采集的样本,结合MINIST数据集,建立起包含手写体和数码管的混合数据集;然后,考虑更好的鲁棒性,提出一种改进的CNN,并用上述混合数据集对其训练,实现了一个网络识别多类型数字;最后,训练好的神经网络模型被成功应用于RoboMaster机甲大赛的多源数字识别场景中。测试结果表明,所提算法整体识别准确率稳定且较高,具有较好的鲁棒性和泛化能力。