时空特征融合深度学习网络人体行为识别方法

基于自然场景图像的人体行为识别方法中遮挡、背景干扰、光照不均匀等因素影响识别结果,利用人体三维骨架序列的行为识别方法可以克服上述缺点。首先,考虑人体行为的时空特性,提出一种时空特征融合深度学习网络人体骨架行为识别方法;其次,根据骨架几何特征建立视角不变性特征表示,CNN（Convolutional Neural Network）网络学习骨架的局部空域特征,作用于空域的LSTM（Long Short Term Memory）网络学习骨架空域节点之间的相关性特征,作用于时域的LSTM网络学习骨架序列时空关联性特征;最后,利用NTU RGB+D数据库验证文中算法。实验结果表明:算法识别精度有所提高,对于多视角骨架具有较强的鲁棒性。     

基于DCResNet的SAR图像车辆目标识别

合成孔径雷达（SAR）图像自动目标识别中,特征提取和目标分类是两个重要环节。残差网络（ResNet）作为一种较新的卷积神经网络,凭借其对目标特征的自适应学习能力,在SAR图像分类领域表现突出。本文在ResNet基础上,设计出了密集连接型残差网络（DCResNet）,用于SAR图像目标识别。DCResNet在残差模块中增加了跳跃性连接的密度,不仅继承了ResNet的易学习的优点,还加强了特征的传播和利用率。除此之外,DCResNet采用平均池化的方式进行下采样,抑制了SAR图像中噪声对识别精度造成的影响。关于SAR图像目标识别的实验结果证明,本文提出的DCResNet与ResNet、AlexNet相比,不仅具有更快的收敛速度和推理速度,而且目标分类的准确率更高。     

多通道时空融合网络双人交互行为识别

提出一种基于多通道时空融合网络的双人交互行为识别方法,对双人骨架序列行为进行识别。首先,采用视角不变性特征提取方法提取双人骨架特征,然后,设计两层级联的时空融合网络模型,第一层基于一维卷积神经网络（1DCNN）和双向长短时记忆网络（BiLSTM）学习空间特征,第二层基于长短时记忆网络(LSTM)学习时间特征,得到双人骨架的时空融合特征。最后,采用多通道时空融合网络分别学习多组双人骨架特征得到多通道融合特征,利用融合特征识别交互行为,各通道之间权值共享。将文中算法应用于NTU-RGBD人体交互行为骨架库,双人交叉对象实验准确率可达96.42%,交叉视角实验准确率可达97.46%。文中方法与该领域的典型方法相比,在双人交互行为识别中表现出更好的性能。     

基于动作标准序列的3D视频人体动作识别

基于3D视频的人体动作识别近年来受到越来越广泛的关注。基于动态时间规整的算法考虑了动作的时序信息,并能较好地解决人体运动在时间上的不确定性,但是随着训练样本增加,效率会变得较低。本文提出了一种基于动作标准序列的动作识别方法。通过特征提取将3D动作视频样本构建为动作序列,在动态时间规整度量下将动作标准序列学习建模成一个序列平均的优化问题,并使用动态时间规整重心平均算法(DBA)求解。对于动作类别类中存在显著差异的场景,研究了多重动作标准序列学习,并针对无监督学习的情况,提出了DBA-K-means聚类算法。实验结果表明,该方法可进一步提高动作识别的效率和准确率。     

基于深度残差LSTM的视频异常行为识别算法

针对电网登杆作业依赖于人员现场监督的问题,基于智能登杆装置及其安全监控系统,深入分析了传统卷积神经网络、深度残差网络和长短期记忆（LSTM）网络的原理,并提出一种基于深度残差LSTM的视频异常行为识别算法。该算法将登杆作业的多个视频序列作为输入数据,经过深度残差网络获得多个视频序列的特征,并进一步将融合后的特征作为LSTM网络输入,从而实现登杆作业异常行为的识别。实验与测试结果表明,所提算法在训练过程中收敛速度快,相比于传统卷积神经网络,该算法具有更高的识别准确率,能够为登杆作业提供辅助服务,大幅提高作业效率和智能化水平。     

LSCN:一种用于动作识别的长短时序关注网络

相较于图像分析,如何分析时序信息是动作识别中的一个主要问题.大多数先前的方法,如3D卷积网络、双流卷积网络,仅使用包含全局时域信息的特征作为视频的表征,忽略了局部时序特征的重要性.考虑到这样的问题,本文提出一种基于时序交互感知模块的长短时序关注网络——Long and Short Sequence Concerned Networks（LSCN）,融合不同的时序信息,利用不同卷积层时序特征的交互加强对不同时序长度的动作实例的表示,兼顾长短动作实例对时序信息的需求.实验结果表明,基于3D ResNext101的LSCN在两个公共数据集（UCF101和HMDB51）上,相较于基础的网络分别有0.4%和2.9%的准确率提升.     

基于生成对抗网络的SAR图像降噪模型

合成孔径雷达(SAR)是相干成像系统,生成的图像经常会被相干斑噪声污染,继而造成了SAR图像在后续分割、识别中准确率低的问题。针对图像被污染问题,设计了一种结合生成对抗网络(GAN)与残差网络(ResNet)的SAR图像降噪网络模型Re-GAN,其中,GAN中的生成器加入了ResNet中的残差块以增强对SAR图像降噪的能力,模型中的组合损失函数在降噪时可以更好地保留图像细节。在MATAR数据集上,Re-GAN分别与BM3D算法、小波降噪算法进行比较,实验结果证明,Re-GAN在视觉效果和定量分析方面都具有良好的性能。     

基于时序时空双流卷积的异常行为识别

针对地铁站特定场合下,人体异常行为识别无法有效利用帧间运动时间维度信息,导致人体异常行为识别准确率不高的问题,提出一种深层次残差长短期双流网络结构。将RGB帧和连续光流帧作为双流网络的输入,分别利用ResNet34提取低层特征信息,空间流网络提取运动外观特征信息,时间流网络提取光流运动信息,然后将特征信息输入长短期记忆（LSTM）网络,有效学习空间外观和光流运动的帧间关联时间信息,并且通过多种加权融合策略加强模型识别效果。最后在地铁站异常行为数据集上验证提出的网络结构,并与原双流网络进行对比,改进后的网络识别准确率提高了4.7%,融合后的模型准确率提高了12.9%。实验结果表明,所提方法能够充分利用时间维度信息,可有效提高异常行为识别准确率,在昏暗环境下仍有较好的识别效果。     

基于深度学习和智能规划的行为识别

现有行为识别方法在未能持续覆盖造成视频监控盲区所引起行为数据缺失的情况,难以有效实施特征分析、行为分类补全,无法准确识别出智能体完整的行为动作序列.为此,本文提出一种基于深度学习和智能规划的行为识别方法.首先,利用深度残差网络对图像进行分类训练,然后使用递归神经网络对图像特征进行提取深度信息以增强分类效果;其次,运用智能规划的STRIPS （Stanford Research Institute Problem Solver）模型,将深度学习提取的图像特征命题信息转化为规划领域的模型描述文档,并使用前向状态空间搜索规划器推导出完整的行为动作序列.在HMDB51等行为识别公共数据集中,本方法与生成式对抗网络、深度卷积逆向图网络、深度信念网络、支持向量机等同类先进方法相比展现出更好的性能.     

基于光流法与伪三维残差网络的微表情识别

微表情是一种动态变化的面部表情,具有复杂的时空特征,给其识别带来了极大的困难。本文提出一种基于光流法与伪三维残差网络（P3D ResNet）的微表情识别方法,通过光流法对微表情运动信息建模,为网络提供关键信息的同时丰富数据空间维度,采用伪三维残差网络进一步学习微表情的时间和空间特征。首先,将三个主流的微表情数据集进行融合,并对融合的数据集进行预处理;然后使用TVL1光流法提取表征微表情运动信息的光流特征序列,将得到的光流特征序列与微表情灰度图像序列进行通道连接,形成一个新的三通道微表情图像序列;最后将获得的微表情数据进行数据增强送入伪三维残差网络同时提取微表情的时空特征以实现微表情的识别。其中,P3D ResNet是在残差网络的框架中采用二维卷积滤波器提取微表情的空间特征,一维卷积滤波器提取微表情的时间特征来模拟三维卷积滤波器。在融合数据集上的实验表明,本文方法的性能相对基准方法有了显著的改进,UF1和UAR分别提高了14.71%、14.58%。本文提出的方法在融合数据集及三个独立数据集上的识别性能优于现有较先进的方法,从而证明了本文的微表情识别方法的先进性和鲁棒性。      

Human skeleton representation for 3D action recognition based on complex network coding and LSTM

3D skeleton sequences contain more effective and discriminative information than RGB video and are more suitable for human action recognition. Accurate extraction of human skeleton information is the key to the high accuracy of action recognition. Considering the correlation between joint points, in this work, we first propose a skeleton feature extraction method based on complex network. The relationship between human skeleton points in each frame is coded as a network. The changes of action over time are described by a time series network composed of skeleton points. Network topology attributes are used as feature vectors, complex network coding and LSTM are combined to recognize human actions. The method was verified on the NTU RGB + D60, MSR Action3D and UTKinect-Action3D dataset, and have achieved good performance, respectively. It shows that the method of extracting skeleton features based on complex network can properly identify different actions. This method that considers the temporal information and the relationship between skeletons at the same time plays an important role in the accurate recognition of human actions.     

3D多支路聚合轻量网络视频行为识别算法研究

为构建拥有2D神经网络速度同时保持3D神经网络性能的视频行为识别模型,提出3D多支路聚合轻量网络行为识别算法.首先,利用分组卷积将神经网络分割成多个支路;其次,为促进支路间信息流动,加入具有信息聚合功能的多路复用模块;最后,引入自适应注意力机制,对通道与时空信息进行重定向.实验表明,本算法在UCF101数据集上的计算成本为11.5GFlops,准确率为96.2%;在HMDB51数据集上的计算成本为11.5GFlops,准确率为74.7%.与其他行为识别算法相比,提高了视频识别网络的效率,体现出一定识别速度和准确率优势.     

基于嵌入注意力机制层级LSTM的音视频情感识别

对于语音的情感识别,针对单层长短期记忆(LSTM)网络在解决复杂问题时的泛化能力不足,提出一种嵌入自注意力机制的堆叠LSTM模型,并引入惩罚项来提升网络性能。对于视频序列的情感识别,引入注意力机制,根据每个视频帧所包含情感信息的多少为其分配权重后再进行分类。最后利用加权决策融合方法融合表情和语音信号,实现最终的情感识别。实验结果表明,与单模态情感识别相比,所提方法在所选数据集上的识别准确率提升4%左右,具有较好的识别结果。     

基于ConvGRU和注意力特征融合的人体动作识别

在动作识别任务中,如何充分学习和利用视频的空间特征和时序特征的相关性,对最终识别结果尤为重要。针对传统动作识别方法忽略时空特征相关性及细小特征,导致识别精度下降的问题,本文提出了一种基于卷积门控循环单元(convolutional GRU, ConvGRU)和注意力特征融合(attentional feature fusion,AFF) 的人体动作识别方法。首先,使用Xception网络获取视频帧的空间特征提取网络,并引入时空激励(spatial-temporal excitation,STE) 模块和通道激励(channel excitation,CE) 模块,获取空间特征的同时加强时序动作的建模能力。此外,将传统的长短时记忆网络(long short term memory, LSTM)网络替换为ConvGRU网络,在提取时序特征的同时,利用卷积进一步挖掘视频帧的空间特征。最后,对输出分类器进行改进,引入基于改进的多尺度通道注意力的特征融合(MCAM-AFF)模块,加强对细小特征的识别能力,提升模型的准确率。实验结果表明:在UCF101数据集和HMDB51数据集上分别达到了95.66%和69.82%的识别准确率。该算法获取了更加完整的时空特征,与当前主流模型相比更具优越性。     

基于循环区域关注和视频帧关注的视频行为识别网络设计

视频帧中复杂的环境背景、照明条件等与行为无关的视觉信息给行为空间特征带来了大量的冗余和噪声,一定程度上影响了行为识别的准确性.针对这一点,本文提出了一种循环区域关注单元以捕捉空间特征中与行为相关的区域视觉信息,并根据视频的时序特性又提出了循环区域关注模型.其次,本文又提出了一种能够突显整段行为视频序列中较为重要帧的视频帧关注模型,以减少异类行为视频序列间相似的前后关联给识别带来的干扰.最后,提出了一个能够端到端训练的网络模型：基于循环区域关注和视频帧关注的视频行为识别网络（Recurrent Region Attention and Video Frame Attention based video action recognition Network,RFANet）.在两个视频行为识别基准UCF101数据集和HMDB51数据集上的实验表明,本文提出的端到端网络RFANet能够可靠地识别出视频中行为的所属类别.受双流结构启发,本文构建了双模态RFANet网络.在相同的训练环境下,双模态RFANet网络在两个数据集上达到了最优的性能.     

基于3D骨架和RGB图片的时空动作识别

基于3D骨架的动作识别技术现已成为人机交互的重要手段。为了提高3D动作识别的精度,文中提出一种将3D骨架特征和2D图片特征进行融合的双流神经网络。其中一个网络处理3D骨架序列,另一个网络处理2D图片。最后再将二者的特征进行融合,以提高识别精度。相较于单独使用3D骨架的动作识别,文中所使用的方法在NTU_RGBD数据集以及SYSU数据集上都有了很大的精度提升。     

Augmented two stream network for robust action recognition adaptive to various action videos

In video-based action recognition, using videos with different frame numbers to train a two-stream network can result in data skew problems. Moreover, extracting the key frames from a video is crucial for improving the training and recognition efficiency of action recognition systems. However, previous works suffer from problems of information loss and optical-flow interference when handling videos with different frame numbers. In this paper, an augmented two-stream network (ATSNet) is proposed to achieve robust action recognition. A frame-number-unified strategy is first incorporated into the temporal stream network to unify the frame numbers of videos. Subsequently, the grayscale statistics of the optical-flow images are extracted to filter out any invalid optical-flow images and produce the dynamic fusion weights for the two branch networks to adapt to different action videos. Experiments conducted on the UCF101 dataset demonstrate that ATSNet outperforms previously defined methods, improving the recognition accuracy by 1.13%.     

基于残差网络和注意力机制的步态识别算法

针对现有行人步态数据集样本较少、多特征融合复杂且识别精准度不高的问题,提出了一种基于残差网络和注意力机制的步态识别算法。首先对每种特征制作标签,然后将表示不同特征的标签做拼接,达到识别多特征的目的。通过迁移ResNet18的预训练模型,并在ResNet18网络第一个和最后一个卷积层后面加入注意力机制,能够加速网络的收敛,提升模型的精准率。〖JP3〗在CASIA-B数据集上进行多次实验,结果表明所提出方法能准确识别行人、状态和不同角度三种步态特征,识别的精准率为97.6%。     

基于半监督联合神经网络的调制识别算法

针对基于有监督学习通信信号分类算法需要大量有标签训练样本,而在实际场合大多无法满足数量要求的问题,提出利用数据驱动模型的半监督学习方法,通过对比预测编码无监督算法预训练和有监督学习相结合,利用LSTM (long short term memory)和ResNet (residual network)联合神经网络实现小样本自动提取特征,提高小样本条件下信号识别准确率。在真实通信调制信号集上实验表明,半监督联合神经网络结构较以往方法,识别准确率提升3%-20%,小样本条件下性能提高60%,同时在低信噪比条件下识别能力突出,0dB时对11种调制信号平均识别正确率达到92%,具有明显优势。