基于双流卷积神经网络的人体行为识别方法

时序行为检测是指在一段未分割的长视频中,检测出其中包含的若干行为片段的起止时间和类别.针对该项任务,提出基于双流卷积神经网络的行为检测模型.首先使用双流卷积神经网络提取视频的特征序列,然后使用TAG （Temporal Actionness Grouping）生成行为提议,为了构建高质量的行为提议,将行为提议送入边界回归网络中修正边界,使之更为贴近真实数据,再将行为提议扩展为含有上下文信息的三段式特征设计,最后使用多层感知机对行为进行识别.实验结果表明,本算法在THUMOS 2014数据集和ActivityNet v1.3数据集获得较好的识别率.     

基于卷积神经网络的多人行为识别方法

为了解决多人行为识别中人物角色多且难以区分、图片增加的特征维数难以表达和学习以及行为背景复杂且容易产生干扰等问题,提出了一种基于卷积神经网络的多人行为识别方法。考虑到多人行为识别的复杂性,选择较为容易的两人交互行为作为研究对象,对实验中需要的图像数据库进行了初步的收集与预处理;然后选用在特征提取中不受拍摄角度、光照强度影响的Dense-sift算法来对原始图像进行初步的特征提取。由于人体行为图片相对手写数字图片更为复杂,因此为了使该网络能够很好地 识别 人体行为,针对该网络在其输入、网络层数、滤波器核数、学习率、输出等方面进行了修改。实验结果表明,提出的方法对拳击、拥抱、接吻3类交互行为的识别是有效的。     

基于双流卷积神经网络的改进人体行为识别算法

近年来人体行为识别成为计算机视觉领域的一个研究热点,而卷积神经网络(Convolutional Neural Network,CNN)在图像分类和识别领域取得了重要突破,但是人体行为识别是基于视频分析的,视频包含空间域和时间域两部分的信息。针对基于视频的人体行为识别问题,提出一种改进的双流卷积神经网络(Two-Stream CNN)模型,对于空间域,将视频的单帧RGB图像作为输入,送入VGGNet_16模型;对于时间域,将多帧叠加后的光流图像作为输入,送入Flow_Net模型;最终将两个模型的Softmax输出加权融合作为输出结果,得到一个多模型融合的人体行为识别器。基于JHMDB公开数据库的实验,结果证明了改进的双流CNN在人体行为识别任务上的有效性。     

结合Attention-ConvLSTM的双流卷积行为识别

针对传统方法在通过视频数据进行人体行为识别的过程中,无法准确分析长时间范围的运动信息,不能很好地利用运动信息中的局部特征和其空间关系.提出将基于注意力机制的卷积长短时记忆神经网络(Attention-ConvLSTM)与传统的双流卷积进行结合,实现了对视频数据中运动信息的非线性特征更好的学习,对局部显著特征及其空间关系...     

基于残差时移模块和双流网络的手语识别方法

目前存在的手语识别方法中,多模态图像被广泛使用,但多模态数据形式复杂,不易操作。此外,现存的手语识别方法无法有效聚合全局与运动区域局部信息。基于改善手语识别方法的目的,论文提出了一种仅使用RGB图像的基于残差时移模块与双流网络的手语识别方法。双流网络两分支改进为全局图像分支与运动区域局部分支,运动区域局部分支采用语义分割算法进行运动区域分割,解决了以往运动区域难以定位的问题。两分支通过数据融合将全局与局部信息有效聚合。在SLR500开源数据集上进行实验,该方法获得高达94.7%的识别率。     

基于3D双流卷积神经网络的异常行为检测

随着科技的不断发展,越来越多的人工智能技术应用于社会生活.依据这一现实,本文运用当前较为热门的图像处理技术进行能识别视频中异常行为并给出预测值的系统开发.首先,我们利用双流膨胀3D卷积网络(Two-Stream-I3D)特征提取技术对视频进行特征提取.其次,运用Python对特征进行处理,转化为深度学习网络所能识别的特...     

基于多阶信息融合的行为识别方法研究

双流卷积神经网络能够获取视频局部空间和时间特征的一阶统计信息, 测试阶段将多个视频局部特征的分类器分数平均作为最终的预测. 但是, 一阶统计信息不能充分建模空间和时间特征分布, 测试阶段也未考虑使用多个视频局部特征之间的更高阶统计信息. 针对这两个问题, 本文提出一种基于二阶聚合的视频多阶信息融合方法. 首先, 通过建立二阶双流模型得到视频局部特征的二阶统计信息, 与一阶统计信息形成多阶信息. 其次, 将基于多阶信息的视频局部特征分别进行二阶聚合, 形成高阶视频全局表达. 最后, 采用两种策略融合该表达. 实验表明, 本文方法能够有效提高行为识别精度, 在HMDB51和UCF101数据集上的识别准确率比双流卷积神经网络分别提升了8 % 和2.1 %, 融合改进的密集点轨迹(Improved dense trajectory, IDT) 特征之后, 其性能进一步提升.     

基于局部非负稀疏编码的掌纹识别方法

为了更有效地提取出图像的局部特征,在传统的非负稀疏编码(Hoyer-NNSC)算法的基础上,提出了一种新的具有稀疏度约束的局部NNSC (LNNSC)算法。该算法考虑了特征基向量的稀疏度约束和特征的最大化代表性,能够得到强化的图像局部特征;同时利用拉普拉斯密度模型作为特征系数的稀疏惩罚函数,保证了图像结构的稀疏性。在特征提取的基础上,进一步利用径向基概率神经网络(RBPNN)分类器,实现了掌纹的自动识别。仿真实验结果表明,与基于非负矩阵分解(NMF)、局部非负矩阵分解(LNMF)和Hoyer-NNSC的掌纹识别方法相比,该算法在掌纹识别研究中有较高的可行性和实用性。     

基于改进双流法的井下配电室巡检行为识别

井下配电室监控视频持续时间较长且行为类型复杂,传统双流卷积神经网络(CNN)法对此类行为识别效果较差.针对该问题,对双流CNN法进行改进,提出了一种基于改进双流法的井下配电室巡检行为识别方法.通过场景分析,将巡检行为分为站立检测、下蹲检测、走动、站立记录、坐下记录5种类型,并制作了巡检行为数据集IBDS5.将每个巡检行为视频等分为3个部分,分别对应巡检开始、巡检中和巡检结束;对3个部分视频分别随机采样,获取代表空间特征的RGB图像和代表运动特征的连续光流图像,并分别输入空间流网络和时间流网络进行特征提取;对2个网络的预测特征进行加权融合,获取巡检行为识别结果.实验结果表明,以Res Net152网络结构为基础,且权重比例为1∶2的空间流和时间流双流融合网络具有较高的识别准确度,Top-1准确度达到98.92%;本文方法在IBDS5数据集和公共数据集UCF101上的识别准确率均优于3D-CNN、传统双流CNN等现有方法.     

基于紧耦合时空双流卷积神经网络的人体动作识别模型

针对视频人体动作识别中动作信息利用率不高、时间信息关注度不足等问题，提出了一种基于紧耦合时空双流卷积神经网络的人体动作识别模型。首先，采用两个2D卷积神经网络分别提取视频中的空间特征和时间特征；然后，利用长短期记忆（LSTM）网络中的遗忘门模块在各采样片段之间建立特征层次的紧耦合连接以实现信息流的传递；接着，利用双向长短期记忆（Bi-LSTM）网络评估各采样片段的重要性并为其分配自适应权重；最后，结合时空双流特征以完成人体动作识别。在数据集UCF101和HMDB51上进行实验验证，该模型在这两个数据集上的准确率分别为94.2%和70.1%。实验结果表明，所提出的紧耦合时空双流卷积网络模型能够有效提高时间信息利用率和动作整体表达能力，由此明显提升人体动作识别的准确度。     

基于紧耦合时空双流卷积神经网络的人体动作识别模型

针对视频人体动作识别中动作信息利用率不高、时间信息关注度不足等问题,提出了一种基于紧耦合时空双流卷积神经网络的人体动作识别模型。首先,采用两个2D卷积神经网络分别提取视频中的空间特征和时间特征;然后,利用长短期记忆（LSTM）网络中的遗忘门模块在各采样片段之间建立特征层次的紧耦合连接以实现信息流的传递;接着,利用双向长短期记忆（Bi-LSTM）网络评估各采样片段的重要性并为其分配自适应权重;最后,结合时空双流特征以完成人体动作识别。在数据集UCF101和HMDB51上进行实验验证,该模型在这两个数据集上的准确率分别为94.2%和70.1%。实验结果表明,所提出的紧耦合时空双流卷积网络模型能够有效提高时间信息利用率和动作整体表达能力,由此明显提升人体动作识别的准确度。     

基于残差时域注意力神经网络的交通模式识别算法

交通模式识别是用户行为识别中的一个重要分支,其目的是对用户所处的交通模式进行准确判断.针对现代智慧城市交通系统对在移动设备环境下精准感知用户交通模式的需求,提出了一种基于残差时域注意力神经网络的交通模式识别算法.首先,通过具有较强局部特征提取能力的残差网络提取传感器时序中的局部特征;然后,采用基于通道的注意力机制对不同...     

基于卷积神经网络的应用层协议识别方法

针对传统网络协议识别方法中人工提取特征困难以及识别准确率低等问题,提出了一种基于卷积神经网络（CNN）的应用层协议识别方法。首先,基于完整的传输控制协议（TCP）连接或用户数据报协议（UDP）交互划分原始网络数据,从中提取出网络流;其次,通过数据预处理将网络流转化为二维矩阵,便于CNN的分析处理;然后,利用训练样本集合训练CNN模型,自动化提取出网络协议特征;最终,基于训练成熟的CNN模型进行应用层网络协议的识别。实验结果表明,所提方法的总体协议识别准确率约为99.70%,能有效实现应用层协议的识别。     

基于稠密卷积神经网络的烟雾识别方法

针对传统烟雾检测方法中提取的图像特征鲁棒性较差的问题,提出了基于稠密卷积神经网络(DenseNet)的烟雾识别方法。首先,利用卷积操作和特征图融合构建稠密网络块,在卷积层之间设计稠密连接机制,以增强稠密网络块结构内的信息流通和特征重利用;然后,将已构建的稠密网络块叠加成稠密卷积神经网络用于烟雾识别,节省计算资源的同时提升对烟雾图像特征的表达能力;最后,针对烟雾图像数据量较小的问题,采取数据增强技术进一步改善训练模型的识别能力。在公开烟雾数据集上对提出的方法进行实验验证,实验结果表明,所提方法的模型大小只有0.44 MB,在两个测试集上的准确率分别为96.20%和96.81%。     

基于双微阵列与卷积神经网络的语音识别方法

为解决噪声环境下语音识别率降低以及传统波束形成算法难以处理空间噪声的问题,基于双微阵列结构提出了一种改进的最小方差无畸变响应（MVDR）波束形成方法。首先,采用对角加载提高双微阵列增益,并利用递归矩阵求逆降低计算复杂度;然后,通过后置调制域谱减法对语音作进一步处理,解决了一般谱减法容易产生音乐噪声的问题,有效减小了语音畸变,获得了良好的噪声抑制效果;最后,采用卷积神经网络（CNN）进行语音模型的训练,提取语音深层次的特征,有效地解决了语音信号多样性问题。实验结果表明,提出的方法在经CNN训练的语音识别系统模型中取得了较好的识别效果,在信噪比为10 dB的F16噪声环境下的语音识别率达到了92.3%,具有良好的稳健性。     

基于多尺度分块卷积神经网络的图像目标识别算法

针对图像在平移、旋转或局部形变等复杂情况下的识别问题,提出一种基于非监督预训练和多尺度分块的卷积神经网络(CNN)目标识别算法。算法首先利用不含标签的图像训练一个稀疏自动编码器,得到符合数据集特性、有较好初始值的滤波器集合。为了增强鲁棒性,同时减小下采样对特征提取的影响,提出一种多通路结构的卷积神经网络,对输入图像进行多尺度分块形成多个通路,每个通路与相应尺寸的滤波器卷积,不同通路的特征经过局部对比度标准化和下采样后在全连接层进行融合,从而形成最终用于图像分类的特征,将特征输入分类器完成图像目标识别。仿真实验中,所提算法对STL-10数据集和遥感飞机图像的识别率较传统的CNN均有提高,并对图像各种形变具有较好的鲁棒性。     

基于深度神经网络的表面划痕识别方法

为实现亮度不均的复杂纹理背景下表面划痕的鲁棒、精确、实时识别，提出一种基于深度神经网络的表面划痕识别方法。用于表面划痕识别的深度神经网络由风格迁移网络和聚焦卷积神经网络（CNN）构成，其中风格迁移网络针对亮度不均的复杂背景下的表面划痕进行预处理，风格迁移网络包括前馈转换网络和损失网络，首先通过损失网络提取亮度均匀模板的风格特征和检测图像的知觉特征，对前馈转换网络进行离线训练，获取网络最优参数值，最终使风格迁移网络生成亮度均匀且风格一致的图像，然后，利用所提出的基于聚焦结构的聚焦卷积神经网络对生成图像中的划痕特征进行提取并识别。以光照变化的金属表面为例，进行划痕识别实验，实验结果表明：与需要人工设计特征的传统图像处理方法及传统深度卷积神经网络相比，划痕漏报率低至8.54%，并且收敛速度更快，收敛曲线更加平滑，在不同的深度模型下均可取得较好的检测效果，准确率提升2%左右。风格迁移网络能够保留完整划痕特征的同时有效解决亮度不均的问题，从而提高划痕识别精度；同时聚焦卷积神经网络能够实现对划痕的鲁棒、精确、实时识别，大幅度降低划痕漏报率和误报率。     

基于多尺度双线性卷积神经网络的多角度下车型精细识别

针对多角度下车辆出现一定的尺度变化和形变导致很难被准确识别的问题，提出基于多尺度双线性卷积神经网络（MS-B-CNN）的车型精细识别模型。首先，对双线性卷积神经网络（B-CNN）算法进行改进，提出MS-B-CNN算法对不同卷积层的特征进行了多尺度融合，以提高特征表达能力；此外，还采用基于中心损失函数与Softmax损失函数联合学习的策略，在Softmax损失函数基础上分别对训练集每个类别在特征空间维护一个类中心，在训练过程中新增加样本时，网络会约束样本的分类中心距离，以提高多角度情况下的车型识别的能力。实验结果显示，该车型识别模型在CompCars数据集上的正确率达到了93.63%，验证了模型在多角度情况下的准确性和鲁棒性。