基于半监督生成对抗网络的毫米波雷达跨域手势识别

基于深度学习的毫米波雷达手势识别以其免接触、保护隐私和环境依赖性低等特点受到越来越多的关注。但是目前的学习方法大都采用全监督方法,其性能受限于雷达数据的获取和标注,且其学习样本都来源于单一环境,极大的影响了不同场景下的迁移能力,因此本文提出了一种基于半监督生成对抗网络的跨域手势识别方法。首先,通过数据预处理,提取动态混合特征时间图（DFTM）以消除环境干扰,并且对手势动态特征进行更加全面的表征;其次,结合毫米波信号特点进行数据增强,进一步扩充数据量,提高模型泛化能力;第三,针对实际应用中可获得的标记数据通常较少的问题,提出并构建了一个改进半监督生成对抗网络,在原始GAN的基础上增加了分类器,通过生成数据帮助提高分类器辨别能力,同时利用源域中的少量标记数据和目标域中的大量未标记数据,实现域无关的手势识别。实验结果表明,对于新用户、新环境和新位置的平均手势识别准确率分别达到 98.21%、95.23%和97.6%。与现有其他手势识别方法相比,本文所提方法在只有少量标记数据的情况下也能达到较高的跨域手势识别准确率,为后续毫米波雷达人机交互提供了新的研究思路。     

基于多域信息融合的脑电情感识别研究

脑电信号识别方法较少将空间、时间和频率信息相融合,为了充分挖掘脑电信号包含的丰富信息,本文提出一种多域信息融合的脑电情感识别方法。该方法利用二维卷积神经网络和一维卷积神经网络相结合的并行卷积神经网络(PCNN)模型学习脑电信号的空间、时间和频率特征,来对人类情感状态进行分类。其中,2D-CNN用于挖掘相邻EEG通道间的空间和频率信息,1D-CNN用于挖掘EEG的时间和频率信息。最后,将两个并行卷积模块提取的信息融合进行情感识别。在数据集SEED上的情感三分类实验结果表明,融合空间、时间、频率特征的PCNN整体分类准确率达到了98.04%,与只提取空频信息的2D-CNN和提取时频信息的1D-CNN相比,准确率分别提高了1.97%和0.60%。并于最近的类似工作相比,本文提出的方法对于脑电情感分类具有一定的优越性。     

一种基于特征位移的手势识别方法

针对卷积操作受到遍历规则的限制,只能提取单个骨骼节点的特征信息,不能对相邻节点之间的有效特征信息进行融合,导致表达能力有限的问题,提出了一种基于特征位移模块的手势识别神经网络。该网络采用常规时空图卷积神经网络的架构,并将常规时空卷积模块替换为特征位移模块,实现相邻节点特征信息之间的融合。利用特征位移模块对位移信道进行重新排序,实现提取骨骼节点的全局化特征信息,进一步完成对手势信息的高效准确分类。并在公开数据集DHG-14/28和FPHA上验证该特征位移模块,在14类、28类和FPHA手势数据集的分类准确度分别达到了95.11%、93.01%和92.67%。实验结果表明,该网络模型能够更好更有效的挖掘全局特征信息,在常见的手势识别数据集上达到了优秀的性能。     

基于改进VGG16卷积神经网络的烟丝类型识别

为改善人工分拣烟丝效率低下,分类效果差导致香烟品质难以得到保证的现象,提出一种将机器视觉和深度学习相结合的烟丝类型识别方法。实验采集了4种烟丝图像并经过预处理以后送入以VGG16为基础改进的Light-VGG网络模型中进行分类,改进包括减少VGG16中卷积核个数以优化网络结构;增加残差模块以提升模型学习能力;使用全局池化代替全连接层,大幅减少网络参数量,应对网络过拟合。Light-VGG相比VGG16参数量减少96.5%,预测时间减少20.3%,在自建烟丝数据集中准确率达到95.5%,也明显高于其他神经网络(AlexNet、VGG13、GoogLeNet),实现了快速、准确识别烟丝类型的目标。     

融合注意力的轻量级行为识别网络研究

针对传统的三维卷积神经网络存在参数量多、信息冗余和时序信息提取不充分3个问题,提出了一种融合注意力的轻量级行为识别网络。首先,为轻量化网络参数和融合短中长时序信息,提出了高效残差块来替代两个级联的3×3×3卷积;其次,对通道注意力进行拓展,提出了时间注意力机制,并将两者嵌入在网络中抑制冗余信息对识别结果的影响;最后,在UCF101数据集上进行实验验证该网络的有效性。结果表明,提出的行为识别网络计算成本为8.9 GFlops,参数量为18.0 M,识别准确率为94.8%,与其他行为识别方法相比,以低成本的计算量实现了较高的识别准确率。     

基于对比学习的信息缺失手势识别新方法

针对现有深度学习模型识别信息缺失手势需要大量标注数据、更深的网络需要更多参数的问题，首先收集整理了一个信息缺失手势数据集IMG＿NUIST,然后借鉴对比学习思想，提出了一个新的信息缺失手势识别模型CLGR,该模型通过对手势类内和类间差异度的对比约束提高模型特征学习性能。在两个经典数据集(ASL Alphabet和NUS I)和新提出的IMG＿NUIST数据集上进行了广泛实验，消融实验表明对比学习思想能有效地将平均识别准确率提高至98.60%以上且收敛速度显著提升；对比实验表明本文所提模型计算复杂度比其它4个模型平均简化了41.4%,在NUS I和IMG＿NUSIT数据集上的手势识别准确率超过四个对比方法，特别是在NUS I数据集上将识别准确率平均提高了17.35%,在ASL Alphabet数据集上的识别准确度仅比最优结果低0.43%。实验结果说明所提模型对于缺失手部部分信息和杂乱背景等问题的手势识别任务有显著效果，具有收敛速度更快、计算复杂度更少的优秀性能，有很好的实用价值。     

基于深度神经网络和随机森林集成模型的ADS-B辐射源个体识别

针对辐射源个体识别中单一神经网络随着辐射源个体数量的增加，模型的识别准确率显著下降的问题，提出一种基于深度神经网络和随机森林集成模型的广播式自动相关监视(ADS-B)辐射源个体识别方法。该方法利用多种深度神经网络模型和随机森林对增强数据集进行训练，然后利用集成学习方法中的硬投票方法对各网络模型和随机森林识别得到的结果进行集成表决，使得识别结果更具有说服力，同时在在辐射源个体数量增加的情况下依旧保持较高的识别率。实验结果表明，在融合了DRSN、VGG、ResNet、GoogleNet、DenseNet 5类神经网络和随机森林后，相比于单一的神经网络，识别准确率能够提升了3%～20%,且在辐射源个体数量增加的情况下依然能保持较高的识别准确率。     

基于表观特征的手势识别研究

手势识别在人机交互与虚拟现实中有重要应用,本文提出一种新的基于Zernike矩和傅里叶描绘子联合表观特征的手势识别方法。依据YCbCr色彩空间的肤色检测,分割出手势;对手势分割后的图像计算Zemike矩和傅里叶描绘子,选取Zernike矩和傅里叶描述子构成联合特征向量;构建一个多层感知器神经网络分类器,进行手势识别。构建一个含有2000样本的数据集来验证算法,实验结果显示手势识别准确率达到98．9％.     

基于ICEEMDAN-CNN的非视距识别方法

在超宽带室内定位中,受复杂室内环境下各种障碍物的干扰导致信号处于非视距场景传播,进而产生定位误差。针对非视距传播对室内定位精度影响的问题,提出了一种基于ICEEMDAN的非视距识别方法。首先对信道脉冲响应进行模态分解,得到含有不同尺度特性的IMF,其次利用皮尔森相关系数法选取部分IMF进行重构,保留较为有效的信息,并对重构信号进行小波变换获得有效的时频特征,最后通过构建卷积神经网络识别非视距信号。实验数据基于802.15.4a UWB模型和开源数据集,结果表明所提出的识别方法平均准确率达到了98.5%,与其他算法相比模拟数据集提高了5.6%,PDS数据集提高了14.3%,验证了所提出识别方法的有效性。     

基于GAF-CapsNet的电机轴承故障诊断方法

针对一维机械振动信号在输入卷积神经网络时无法充分提取相对位置关系的问题，提出一种基于格拉姆角场（GAF）和小尺寸卷积的胶囊网络的轴承故障诊断分类方法。利用GAF对采集到的振动信号进行编码，可以很容易地进行角度透视，从而识别出不同时间间隔内的时间相关性并产生相应特征图。胶囊网络对小尺寸图像相对位置比较敏感，特征提取具有优势，同时考虑到VGG网络优秀的特征提取能力，在结合胶囊网络和VGG网络的基础上，加入深度小尺寸卷积层。将GAF编码的振动图像输入到改进的CapsNet网络进行训练，组成GAF-CapsNet模型对轴承故障进行诊断。该模型在凯斯西储大学轴承数据集上进行试验，结果表明，格拉姆角和场（GADF）编码方式相比格拉姆角差场（GASF）编码效果差，效果较好的GADF-CapsNet有99.27%准确率，较差的GASF-CapsNet也有98.83%准确率，相较其他编码方式和卷积神经网络，该模型性能表现普遍比其他模型具有更高准确率。