融合空间-时间双网络流和视觉注意的人体行为识别

该文受人脑视觉感知机理启发,在深度学习框架下提出融合时空双网络流和视觉注意的行为识别方法。首先,采用由粗到细Lucas-Kanade估计法逐帧提取视频中人体运动的光流特征。然后,利用预训练模型微调的GoogLeNet神经网络分别逐层卷积并聚合给定时间窗口视频中外观图像和相应光流特征。接着,利用长短时记忆多层递归网络交叉感知即得含高层显著结构的时空流语义特征序列;解码时间窗口内互相依赖的隐状态;输出空间流视觉特征描述和视频窗口中每帧标签概率分布。其次,利用相对熵计算时间维每帧注意力置信度,并融合空间网络流感知序列标签概率分布。最后,利用softmax分类视频中行为类别。实验结果表明,与其他现有方法相比,该文行为识别方法在分类准确度上具有显著优势。     

一种结合帧级特征预测的多任务学习声纹确认方法

目前主流的声纹确认算法通常采用有监督、区分性的训练方式得到神经网络模型,如卷积神经网络（Convolutional Neural Network,CNN）、长短时记忆网络（Long-Short-Term Memory Network,LSTM）等,再利用该神经网络模型提取语音中包含个性化信息的声纹模型向量,从而进行相同人或不同人的声纹相似性比对。文章提出一种结合帧级特征预测的多任务学习训练方式,额外增加对帧级特征进行预测的神经网络模型分支,通过联合训练达到提高声纹确认算法性能的目的。在基准VoxCeleb三个测试集合上开展的实验结果表明,本文提出的方法可以有效提升声纹确认算法性能。     

基于多特征的视频内容安全过滤方法

应国家对视频网站加强有序管理的迫切要求,文中应用一种基于多模态特征的网络视频分类方法,实现对网络视频的安全监管。该方法对从网络视频中提取三大类的视频特征,分别针对音频特征、运动和颜色以及空间和时间特征,递进地对视频进行过滤。通过对视频中不良场景的定义,包括恐怖、暴力和色情语义,以检测网络视频内容中潜在的不良信息,实验证明该方法有效地提高了不良视频检测和分类的准确率。     

结合深度Q学习和注意模型的视频人脸识别

针对视频人脸识别中存在的动态人脸信息捕捉困难和局部人脸特征提取粗糙的问题,提出了一种基于深度Q学习和注意模型结合的视频人脸识别方法。首先,采用卷积神经网络(Convolutional Neural Network,CNN)训练视频数据可提取多维特征;其次,将视频特征输入注意模型,根据视频数据时间连续性信息得到局部人脸特征、人脸位置和时间记忆单元;最后,采用Q学习迭代计算注意模型的输出,找到含人脸的最优帧序列,并以此计算视频匹配准确度。实验结果表明,该方法有效提高了复杂背景下视频人脸识别的准确性。     

基于信噪比分类网络的调制信号分类识别算法

针对传统降噪算法损伤高信噪比(SNR)信号而造成信号识别准确率下降的问题,该文提出基于卷积神经网络的信噪比分类算法,该算法利用卷积神经网络对信号进行特征提取,用固定K均值(FK-means)算法对提取的特征进行聚类处理,准确分类高低信噪比信号。低信噪比信号采用改进的中值滤波算法降噪,改进的中值滤波算法在传统中值滤波的基础上增加了前后采样窗口的关联性机制,来改善传统中值滤波算法处理连续噪声效果不佳的问题。为充分提取信号的空间特征和时间特征,该文提出卷积神经网络和长短时记忆网络并联的卷积长短时(P-CL)网络,利用卷积神经网络和长短时记忆网络分别提取信号的空间特征与时间特征,并进行特征融合与分类。实验表明,该文提出的调制信号分类模型识别准确率为91%,相比于卷积长短时(CNN-LSTM)网络提高了6%。     

基于残差网络的特征加权行人重识别研究

文章讨论了基于视频到视频的行人重识别的深度学习方法,提出的网络模型主要由特征表示子网络和相似性度量子网络两部分组成.首先利用残差网络提取视频的每帧图像的特征,再该特征输入到长短期记忆网络中获取时空特征,在长短期记忆网络层后添加权重模块,在该模块中使用帧质量注意力机制为视频的每一帧分配适当的权重.进一步将加权后的特征向量传入相似性度量子网络进行距离度量学习,在该框架中,将特征表示与相似性度量使用全连接层进行连接,同时学习和优化特征表示和相似度度量学习.最后在两个公共数据集上进行实验,通过一系列对比实验验证了该网络模型的能提高行人重识别准确率和性能.     

蚁群优化算法优化支持向量机的视频分类

针对当前支持向量机支持优化的参数无法获得高精度的体育视频分类结果的难题,为了提高体育视频分类正确率,提出基于蚁群优化算法优化支持向量机的体育视频分类方法。首先采集体育视频,并提取体育视频分类的多个特征;然后采用主成分分析算法对体育视频分类特征进行处理,作为支持向量机的输入,体育视频类别作为支持向量机的输出,建立体育视频分类模型,并采用蚁群优化算法对支持向量机进行优化;最后采用多个体育视频数据进行分类仿真实验,结果表明,蚁群优化算法优化支持向量机的体育视频分类正确率高于90%,降低了体育视频分类错误,体育视频分类效果明显优于当前其他类型的体育视频分类方法,而且体育视频分类效率得到有效的改善。     

基于深度学习的视频异常行为识别算法

针对传统的异常行为检测算法仅使用RGB图像作为网络的输入,而未考虑到视频序列中隐藏运动信息的问题,文中提出一种基于双流卷积神经网络的视频异常行为检测算法。该算法分别使用RGB图像与视频帧间的光流信息作为两个网络分支的输入来学习空间维信息与时间维信息,并使用长短时神经网络来建模长时视频帧间的依赖关系,从而得到最终的行为分类结果。仿真测试结果表明,所提出的方法在UCSD Ped1、Shanghai Tech和Pedestrian 2数据集上均能取得较好的识别效果,且使用帧间运动信息能够显著提升异常行为检测性能。     

基于深度神经网络的短波特定信号识别研究

在时变色散信道和低信噪比下,基于时频图利用深度神经网络的短波信号识别的方法对并行多音信号的识别能够取得一定效果,但常用的相位调制的串行单音短波信号识别难以取得较好效果。由于短波信号帧结构中都含有同步帧和发射电平起控帧等特征数据,提出了一种基于同步帧注意力机制的卷积神经网络结构。测试结果表明,使用卷积神经网络（Convolutional Neural Networks,CNN）、双向长短时记忆（Bi-directional Long Short Term Memory,Bi-LSTM）和注意力机制搭建成的深度神经融合网络模型对短波基带信号直接进行检测识别能够取得较好效果。     

基于多尺度特征残差学习卷积神经网络的视频超分辨率方法

本文提出了一种基于多尺度特征残差学习卷积神经网络的视频超分辨率方法,考虑到视频帧间的时空相关性,所提的方法采用由双三次插值预处理后的连续五帧视频作为卷积神经网络的输入,经由网络重建中间帧作为输出,依次按顺序重建直至获得整个高分辨率视频。本文所提出的卷积神经网络主要由多尺度特征提取、残差学习、亚像素卷积层、残差连接(skip-connection)四大部分组成,通过对视频的多尺度特征的提取获得更丰富的不同尺度特征和残差学习达到较好地恢复高频信息的目的。本文采用峰值信噪比（PSNR）和结构相似性指数（SSIM）作为损失函数优化网络。实验结果表明,本方法在平均评价指标上较其他方法均有一定的提升（PSNR +3.151dB,SSIM +0.102）,从主观评价上看可以有效地减少视频边缘模糊的现象。      

基于深度学习的暴恐视频识别模型研究

为了在海量的视频数据中快速、准确地识别出可能存在暴力、恐怖或极端主义内容的暴恐视频,本文基于卷积长短时记忆网络（ConvLSTM）构建了一个针对暴恐视频检测的深度学习模型。该模型通过对视频帧序列进行特征提取和时序建模,能够有效地检测出暴恐视频,具有较高的准确率和鲁棒性。实验结果表明,本文提出的模型在暴恐视频检测任务上取得了良好的表现,相比传统方法有了明显的提升。     

基于LSTM的智能车变道预测研究

文章基于循环神经网络RNN(Recurrent Neural Network)和长短时记忆网络LSTM(Long-Short Term Memory)的理论研究,提出了一种基于LSTM的智能车变道行为预测模型。首先,搭建LSTM网络模型框架;然后根据人类驾驶场景对真实数据集NGSIM(Next Generation Simulation)进行特征选择与数据提取。最后使用长短时记忆网络(LSTM)模型进行训练,测试车辆变道预测结果,并将结果与利用RNN模型预测的结果进行比较,验证了本文方法的有效性。     

基于3D ResNet-LSTM的多视角人体动作识别方法

在基于视频图像的动作识别中,由于固定视角相机所获取的不同动作视频存在视角差异,会造成识别准确率降低等问题。使用多视角视频图像是提高识别准确率的方法之一,提出基于三维残差网络（3D Residual Network,3D ResNet）和长短时记忆（Long Short-term Memory,LSTM）网络的多视角人体动作识别算法,通过3D ResNet学习各视角动作序列的融合时空特征,利用多层LSTM网络继续学习视频流中的长期活动序列表示并深度挖掘视频帧序列之间的时序信息。在NTU RGB+D 120数据集上的实验结果表明,该模型对多视角视频序列动作识别的准确率可达83.2%。     

基于卷积双向长短时记忆网络的雷达辐射源信号识别

雷达辐射源信号识别在实际战场中是对敌制胜的重要手段。为解决人工提取的雷达辐射源信号特征参数不完备、时效性低等问题,基于模糊函数在表征信号内在结构上的独特作用,提出一种结合模糊函数主脊坐标变换的卷积双向长短时记忆网络的识别方法。首先,为放大不同信号间的差异,采用数学思维将主脊切面转换为极坐标域的几何图像,以此作为神经网络的输入;其次,设计卷积神经网络来挖掘二维时频图的特征信息;最后,搭建双向长短时记忆网络对提取到的特征进行分类识别。仿真实验结果表明,所提方法在信噪比为0 dB以上均能保持100%的准确率,即使信噪比为-6 dB时,识别率仍可达93.58%以上,同时也有效缩短了信号分类时间。结果验证了所提方法不仅能提取信号的隐藏抽象特征,还具备良好的时效性和抗噪性。     

基于双通道卷积神经网络的视频目标移除取证算法

针对现有数字视频目标移除取证算法的伪造帧识别准确率低的问题,本文提出了一种基于双通道卷积神经网络的视频目标移除取证算法。该算法利用双通道结构,分别提取视频绝对帧差图像的RGB特征和噪声特征,并利用双线性池化对二者进行特征融合,而后通过分类层输出视频帧的分类结果,从而有效地识别经过篡改的视频帧。其中,RGB通道能够发现绝对帧差图像中不自然的篡改边界和对比度,噪声通道能够发现原始区域和篡改区域之间噪声的不一致性。此外,算法在网络前端增加了预处理层来放大篡改视频帧的伪造痕迹。实验结果显示,所提算法有效地提高了伪造视频帧的识别准确率,且相对于传统的单通道网络结构,双通道特征融合的方式取得了更好的检测性能。      

基于卷积长短时记忆网络的心律失常分类方法

心律失常等慢性心血管疾病严重影响人类健康,采用心电信号(ECG)实现心律失常自动分类可有效提高该类疾病的诊断效率,降低人工成本。为此,该文基于1维心电信号,提出一种改进的长短时记忆网络(LSTM)方法实现心律失常自动分类。该方法首先设计深层卷积神经网络(CNN)对心电信号进行深度编码,提取心电信号形态特征。其次,搭建长短时记忆分类网络实现基于心电信号特征的心律失常自动分类。基于MIT-BIH心律失常数据库进行的实验结果表明,该方法显著缩短分类时间,并获得超过99.2%的分类准确率,灵敏度等评价参数均得到不同程度的提高,满足心电信号自动分类实时高效的要求。

     

基于三维卷积与双向LSTM的行为识别研究

准确识别视频中的内容是未来互联网应用发展的方向,视频中的行为识别是计算机视觉领域的研究重点。为充分利用视频中的信息,提高行为识别的准确程度,文中提出一种基于三维卷积与双向LSTM的行为识别算法。设计一种基于三维卷积的空间注意模块,可以关注空间区域的显著特征。为了更好地处理长时间视频,引入一种新的基于双向LSTM(长短时记忆网络)的时间注意模块,其目的在于关注关键视频而不是给定视频的关键视频帧,然后采用双中心loss(计算损失函数)优化网络对两阶段策略联合训练,使其能够同时探索空间和时间域的相关性。在HMDB-51和UCF-101数据集上测试证明,所提算法能够准确识别视频中的相似动作,行为识别的准确率得到提高,识别效果显著。     

基于向量机的体育运动视频自动分类方法设计

为有效增加分类的准确度及适用性,提出一种基于支持向量机的体育运动视频自动分类方法,能够实现样本复杂的海量体育视频的高效管理。首先构建基于视觉词袋模型的视频分类框架;然后采用类型关键帧建立对应的视频帧训练库;最后通过主成分分析对输入视频帧进行降维处理,以便快速得到输入视频帧的最佳支持向量机分类器参数,从而最终实现自动分类。利用多种类型混合的体育视频数据集进行分类实验。实验结果表明,提出的体育运动视频分类算法能够快速有效地实现分类,并获得较高的分类精度。     

基于三维卷积和哈希方法的视频检索算法

视频信息检索与其他多媒体检索的最大不同在于视频信息量较大,因此进行视频间相似度计算时的计算量较大。此外,对视频特征的提取中常常忽略视频帧之间的时间相关性,从而导致特征提取不充分,影响视频检索的精度。为此,文中提出基于三维卷积和哈希方法的视频检索方法。该方法构建了一个端到端的框架,使用三维卷积神经网络来提取视频中代表帧的特征,并将视频特征映射到低维的汉明空间中去,在汉明空间计算相似度。在两个视频数据集下的实验结果表明,相较于当前最新的视频检索算法,文中所提方法在精度上有较大的提升。     

多通道时空融合网络双人交互行为识别

提出一种基于多通道时空融合网络的双人交互行为识别方法,对双人骨架序列行为进行识别。首先,采用视角不变性特征提取方法提取双人骨架特征,然后,设计两层级联的时空融合网络模型,第一层基于一维卷积神经网络（1DCNN）和双向长短时记忆网络（BiLSTM）学习空间特征,第二层基于长短时记忆网络(LSTM)学习时间特征,得到双人骨架的时空融合特征。最后,采用多通道时空融合网络分别学习多组双人骨架特征得到多通道融合特征,利用融合特征识别交互行为,各通道之间权值共享。将文中算法应用于NTU-RGBD人体交互行为骨架库,双人交叉对象实验准确率可达96.42%,交叉视角实验准确率可达97.46%。文中方法与该领域的典型方法相比,在双人交互行为识别中表现出更好的性能。