基于时序时空双流卷积的异常行为识别

针对地铁站特定场合下,人体异常行为识别无法有效利用帧间运动时间维度信息,导致人体异常行为识别准确率不高的问题,提出一种深层次残差长短期双流网络结构。将RGB帧和连续光流帧作为双流网络的输入,分别利用ResNet34提取低层特征信息,空间流网络提取运动外观特征信息,时间流网络提取光流运动信息,然后将特征信息输入长短期记忆（LSTM）网络,有效学习空间外观和光流运动的帧间关联时间信息,并且通过多种加权融合策略加强模型识别效果。最后在地铁站异常行为数据集上验证提出的网络结构,并与原双流网络进行对比,改进后的网络识别准确率提高了4.7%,融合后的模型准确率提高了12.9%。实验结果表明,所提方法能够充分利用时间维度信息,可有效提高异常行为识别准确率,在昏暗环境下仍有较好的识别效果。     

基于特征提取和胶囊网络的人脸表情识别

人脸表情识别是近年来非常火热的一个研究领域,随着深度学习的发展,越来越多的深度学习方法用于表情识别中。针对胶囊神经网络(CapsNet)更关注的是图像高层空间信息、低层空间特征提取不全面的问题,提出了特征提取与胶囊网络结合的人脸表情识别算法。本文先使用局部二值模式(LBP)算子提取图像纹理特征,与胶囊网络结合形成多通道输入胶囊网络。为了进一步加强低层空间特征提取,在提取纹理特征后加入了深度残差网络(ResNet),与胶囊网络结合形成多通道输入增强胶囊网络。为了验证多通道输入胶囊网络和多通道输入增强胶囊网络的性能,本文在公开表情数据集CK+和RAF-DB分别进行了对照实验,得到了99.69%,82.02%准确率,优于其它的表情识别算法。     

基于密集残差移位图卷积的骨架行为识别

针对人体骨架行为识别中因时空特征提取不充分、网络计算量大和计算效率低导致相似行为识别结果不理想的问题，提出一种基于密集残差移位图卷积网络的骨架行为识别算法。使用姿态估计算法提取人体骨架信息，经坐标向量计算得到骨架的关节、骨骼以及各自的运动信息，并分别输入网络中。在移位图卷积模块间引入密集残差结构，提高网络性能和提取时空特征的效率。所提算法可应用于日常行为场景，例如：行走、坐下、站起、脱衣服、穿衣服、扔以及摔倒等。其在自制数据集上的识别准确率达到81.7%，在NTU60 RGB+D数据集两种评估标准下的准确率也分别达88.1%和95.3%，验证了算法具有优秀的识别精度。     

基于时空自注意力转换网络的群组行为识别

个体间关系信息的获取是群组行为识别中关键问题.为了获取更加丰富的关系信息,本文提出了一种时空自注意力转换网络(Spatio-Temporal Transformer Network).空间自注意力转换模块可以同时处理群组中的所有个体,包括其外观特征和位置特征,以便提取个体间空间关系信息.使用时序自注意力转换模块进行时序建模.为了获得更加丰富有效的关系信息,提出了全局空间注意图,用以增强模型空间关系推理能力,使用时序掩膜优化时序自注意力转换模块.通过在Volleyball和Collective Activity数据集上实验验证,结果表明本文方法性能优于其它方法.     

结合时空注意力机制和自适应图卷积网络的骨架行为识别

针对骨架行为识别对时空特征提取不充分以及难以捕捉全局上下文信息的问题,研究了一种将时空注意力机制和自适应图卷积网络相结合的人体骨架行为识别方案。首先,构建基于非局部操作的时空注意力模块,辅助模型关注骨架序列中最具判别性的帧和区域;其次,利用高斯嵌入函数和轻量级卷积神经网络的特征学习能力,并考虑人体先验知识在不同时期的影响,构建自适应图卷积网络;最后,将自适应图卷积网络作为基本框架,并嵌入时空注意力模块,与关节信息、骨骼信息以及各自的运动信息构建双流融合模型。该算法在NTU RGB+D数据集的两种评价标准下分别达到了90.2%和96.2%的准确率,在大规模的数据集Kinetics上体现出模型的通用性,验证了该算法在提取时空特征和捕捉全局上下文信息上的优越性。      

基于深度学习与步态分析的身份识别算法

在传播性公共卫生疫情环境下,为了减少传染风险,医疗机构需要对医护人员和患者进行防护状态下的身份识别。文中基于深度学习算法提出了一种步态识别架构顺序残差卷积网络(SRCN),用来提取基于卷积主干的时空信息,从而实现对个体行走模式的学习。利用信息提取器(BIE)和多帧聚合器(MFA)两个子模块对图像时空信息进行提取,使用残差神经网络（ResNet）提取每幅图像的空间特征。MFA将整合并提取所有特征从而实现步态识别。在CASIA-B公开数据集进行的实验表明,文中所提出的方法在3种模态下准确率分别达到了95.2%、89.8%和73.9%,相比其他模型均有所提高。     

基于ConvGRU和注意力特征融合的人体动作识别

在动作识别任务中,如何充分学习和利用视频的空间特征和时序特征的相关性,对最终识别结果尤为重要。针对传统动作识别方法忽略时空特征相关性及细小特征,导致识别精度下降的问题,本文提出了一种基于卷积门控循环单元(convolutional GRU, ConvGRU)和注意力特征融合(attentional feature fusion,AFF) 的人体动作识别方法。首先,使用Xception网络获取视频帧的空间特征提取网络,并引入时空激励(spatial-temporal excitation,STE) 模块和通道激励(channel excitation,CE) 模块,获取空间特征的同时加强时序动作的建模能力。此外,将传统的长短时记忆网络(long short term memory, LSTM)网络替换为ConvGRU网络,在提取时序特征的同时,利用卷积进一步挖掘视频帧的空间特征。最后,对输出分类器进行改进,引入基于改进的多尺度通道注意力的特征融合(MCAM-AFF)模块,加强对细小特征的识别能力,提升模型的准确率。实验结果表明:在UCF101数据集和HMDB51数据集上分别达到了95.66%和69.82%的识别准确率。该算法获取了更加完整的时空特征,与当前主流模型相比更具优越性。     

多通道时空融合网络双人交互行为识别

提出一种基于多通道时空融合网络的双人交互行为识别方法,对双人骨架序列行为进行识别。首先,采用视角不变性特征提取方法提取双人骨架特征,然后,设计两层级联的时空融合网络模型,第一层基于一维卷积神经网络（1DCNN）和双向长短时记忆网络（BiLSTM）学习空间特征,第二层基于长短时记忆网络(LSTM)学习时间特征,得到双人骨架的时空融合特征。最后,采用多通道时空融合网络分别学习多组双人骨架特征得到多通道融合特征,利用融合特征识别交互行为,各通道之间权值共享。将文中算法应用于NTU-RGBD人体交互行为骨架库,双人交叉对象实验准确率可达96.42%,交叉视角实验准确率可达97.46%。文中方法与该领域的典型方法相比,在双人交互行为识别中表现出更好的性能。     

融合注意力机制和连接时序分类的多模态手语识别

连续手语识别的难点之一是手语数据中存在时空维度的冗余信息,以及手语数据与给定标签序列的对齐问题。因此,本文提出一种融合注意力机制和连接时序分类的连续手语识别模型,可以提取手语数据中彩色和深度视频片段的短期时空特征以及手部运动轨迹特征,将三种模态的特征融合后使用空间注意力加权并按照时间顺序输入到双向长短期记忆网络中进行时序建模,以获取长期时空特征,最后利用融合注意力机制和连接时序分类模型的解码网络以端到端的方式实现连续手语的准确识别。本模型在自行采集的中国手语数据集上进行测试,得到了高达0.935的准确率。      

基于骨架坐标的LC融合动作识别算法

动作识别是计算机理解人类行为的关键技术,为了提高动作识别算法的时空特征提取能力,本文提出了一种融合LSTM和CNN的动作识别算法。该算法利用LSTM子网捕捉时间信息,采用CNN子网捕捉空间特征,然后融合特征进行动作识别。本文方法在NTU RGB-D数据集上,CS验证的准确率达到87.0%,CV验证的准确率达到91.5%。此外,针对动作时间长度不统一问题,同时对比了近邻插补和零向量插补方法,得到前者表现较优的结论。     

应用深度神经网络和集成学习的电台个体识别

提出了一种基于深度神经网络的个体智能识别方法,可用于电台个体分类识别.该方法构建集成多子网络的一维深度卷积模型,以电台时序信号作为模型输入,进行电台个体分类.利用深度神经网络自动特征化的能力,该方法从时序信号中自动获取个体特征,从而以端到端的形式实现从电台信号识别电台个体.该方法能够免去基于专家知识的特征提取工作,自动提取的个体深度特征还有助于区分传统特征无法区分的高度相似电台个体.实验证明,该方法能有效降低模型调参设计难度,能减轻单一网络带来的特征提取识别过拟合问题,能提高电台个体识别算法的泛化能力与鲁棒性.在信噪比12 dB的条件下,对10类电台8PSK调制信号进行特征提取与识别,整体正确率91.83％,平均正确率为89.12％;对MSK调制信号进行特征提取与识别,平均分类精度为89.1％.     

基于C-TOF成像的位姿测量与地物目标识别技术研究

深空探测器的功耗和体积有限,任务工况多样,与低轨道地球探测器相比,深空探测器对导航敏感器的任务能力提出了更高的需求。提出了一种基于飞行时间成像的快速位姿测量和地物目标识别技术。为了在保证位姿测量精度的前提下满足对位姿测量时间性能的需求,提出了一种基于深度信息的动态尺度估计方法。该方法提升了物方多尺度变化条件下点云配准的时间稳定性,平均配准时间缩短60%以上,平均配准精度约为0.04 m。为了满足多尺度、多形态地物目标识别的需求,使用了基于轻量化深度神经网络,可根据场景深度信息进行地物检测。结果表明,该方法可对地物特征进行快速感知,在真实场景中的准确率达到70%以上。     

基于时频融合的深度学习调制识别算法

自动调制识别(Automatic Modulation Recognition,AMR) 能够在缺少先验信息的条件下,识别出接收信号的调制类型,在非合作通信中起着至关重要的作用。为提高调制识别的准确率,提出了一种基于时频融合的深度学习调制识别算法。该算法将调制信号的时频图作为网络的输入,使用一维卷积分别提取信号的时频特征,并通过计算时频维度上的权重来突出重要的时频信息,使网络学习到更具区分度的时频特征。为了充分利用时频特征之间的互补性和相关性,使用了基于压缩和激励网络(Squeeze-and-Excitation Network,SENet)的时频特征融合策略。利用该网络对11种调制类型进行识别,实现了最高92.5%的识别准确率;在0 dB以上时,平均识别准确率达到90.87%,优于其他的深度学习算法。     

Study of emotion recognition based on fusion multi-modal bio-signal with SAE and LSTM recurrent neural network

In order to achieve more accurate emotion recognition accuracy from multi-modal bio-signal features,a novel method to extract and fuse the signal with the stacked auto-encoder and LSTM recurrent neural networks was proposed.The stacked auto-encoder neural network was used to compress and fuse the features.The deep LSTM recurrent neural network was employed to classify the emotion states.The results present that the fused multi-modal features provide more useful information than single-modal features.The deep LSTM recurrent neural network achieves more accurate emotion classification results than other method.The highest accuracy rate is 0.792 6     

基于改进空时双流网络的红外行人动作识别研究

为了提升复杂背景下红外序列的行人动作识别精度,本文提出了一种改进的空时双流网络,该网络首先采用深度差分网络代替时间信息网络,提高时空特征的表征能力与提取效率;然后,采用基于决策级特征融合机制的代价函数对模型进行训练,可以更大限度地保留不同网络帧间图像的时空特征,更加真实地反映行人的动作类别.仿真结果表明,本文提出的改进...     

LVCSR系统中一种基于区分性和自适应瓶颈深度置信网络的特征提取方法

大词汇量连续语音识别系统中,为了进一步增强网络的鲁棒性、提升瓶颈深度置信网络的识别准确率,本文提出一种基于区分性和自适应瓶颈深度置信网络的特征提取方法。该方法首先使用鲁棒性较强的瓶颈深度置信网络进行初步特征提取,进而进行区分性训练,使网络的区分性更强、识别准确率更高,在此基础上引入说话人自适应技术对网络进行调整,提高系统的鲁棒性。本文利用提出的声学特征在多个噪声较强、主题风格较为随意的多个公共连续语音数据库上进行了测试,识别准确率取得了6.9%的提升。实验结果表明所提出的特征提取方法相对于传统方法的优越性。      

基于栈式自编码机和模糊函数主脊的雷达辐射源信号识别

针对人工提取雷达辐射源信号特征存在提取周期长、特征描述不完备等局限性,提出了一种基于深度学习栈式自编码机和模糊函数主脊的雷达信号识别方法.该方法根据信号模糊函数主脊包含丰富的内在调制信息的特点,从信号中提取用于分类识别的抽象特征.通过对六种雷达辐射源信号进行实验,并对比人工特征提取及其他深度学习方法,结果表明,本文所提方法在信噪比（signal-noise ratio,SNR）为2 dB以上时均能保持100%的识别准确率,SNR为-6 dB时识别准确率仍能保持82.83%以上,明显高于其他方法.即使在包含相同调制类型不同参数的信号环境中,当SNR大于0 dB时识别率均稳定在95.0%以上,SNR降低到-4 dB时识别率也能达到79.0%.证明该方法能有效提取到信号的深层特征,且具有良好的抗噪性能,基本满足实际战场的需求.     

基于FMCW雷达的多通道特征融合人体动作识别方法

针对采用单一特征进行人体动作识别准确率不高的问题,提出了一种基于调频连续波(Frequency Modulated Continuous Wave, FMCW)雷达的多通道特征融合人体动作识别方法。通过对FMCW雷达回波数据进行预处理,得到人体动作的距离参数与多普勒参数,构建出距离-时间特征谱图和多普勒-时间特征谱图数据集。为了进行人体动作特征的充分提取与精确识别,改进了单通道输入的传统卷积神经网络结构,把部分残差连接结构和跨阶段部分连接结构进行了优化应用至雷达人体动作识别领域,设计出端到端的CSP-FCNN(Cross Stage Partial-Fusion Convolutional Neural Network)多通道融合卷积神经网络。采用公开数据集进行实验,结果表明所提方法有效解决了单一特征动作识别信息量欠缺以及网络提取特征不充分的问题,识别准确率较单一特征识别方法提高了5%以上。