基于时空压缩特征表示学习的毫米波雷达手势识别算法

针对现有无线射频信号的手势识别研究中的数据预处理和特征利用问题,该文提出一种用于调频连续波(FMCW)雷达的时空压缩特征表示学习的手势识别算法。首先对手部反射的毫米波雷达回波信号的距离-多普勒(RD)图进行静态干扰去除和动目标点筛选,减少杂波对手势信号的干扰,同时减少计算数据量;然后提出一种压缩手势时空特征的表示方法,利用动目标点的主导速度来表示手势的运动特征,实现多维特征的压缩映射,并保留手势运动的关键特征信息;最后设计了一个单通道的卷积神经网络(CNN)来学习和分类多维手势特征信息并应用于多用户和多位置的手势识别。实验结果表明,与现有其他手势识别算法相比,该文提出的手势识别方法在识别精度、实时性以及泛化能力上都具有明显的优势。     

一种创新性激光图像三维目标识别算法

针对径向基神经网络在激光图像分类识别中识别率低及训练时间长的问题,提出粗糙集与神经网络相结合的方法,将粗糙集算法简约后的样本特征作为神经网络的前置输入。首先建立不同视点的激光主动成像三维仿真图像,然后提取17个目标特征,并采用粗糙集算法选择分类的属性,从17个特征中筛选出5个影响决策的特征属性,最后选用4层径向基神经网络作为基本的网络结构,并采用在各层节点上与粗糙集相结合方法识别目标。仿真结果表明,结合粗糙集的集成神经网络方法识别正确率保持在80%以上,与未结合粗糙集的神经网络相当,但训练与识别时间缩短10倍以上。     

基于卷积神经网络的手势识别

手势识别是人机交互,智能语义识别和远程人机 交流领域的热门研究课题。目前基于 视觉的手势识别问题仍是研究的难点,在多变背景下的手势姿态识别仍然存在较大问题。近 年来,随着深度神经网络技术的快速发展,利用网络自主学习的方法来提取手势姿态有关特 征得到了广泛关注。由于卷积神经网络具有较强的学习能力和个体特征的表达能力,本文针 对传统手势识别算法精度低,鲁棒性差的问题,提出了基于卷积神经网络的TensorFlow框架 下加入扁平卷积模块的FD-CNN网络手势识别算法。在预处理数据集后,基于FD-CNN网络的 手 势识别方法可以直接将预处理后的图像输入网络进行训练,最终输出测试结果的识别精度为 99.0％。与传统方法和经典卷积神经网络方法相比,本文方法提高了 网 络系统对样本数据的多样性和复杂性的有效识别,具有较高的识别率和较好的鲁棒性效果。     

基于卷积神经网络的少数民族头饰识别

传统头饰图片识别方法的特征点由研究人员手工提取,工作量大且准确率低,识别系统存在预处理步骤繁琐、样本要求高等缺点。针对上述问题,文中通过构建卷积神经网络从大量图片数据中自动学习头饰图片的深层特征。文中的CNN模型选用稀疏性较好的ReLU激活函数调整输出,利用反向传播算法(BP算法)优化网络参数,在训练得到的CNN模型后接Softmax分类器进行识别。实验结果表明,系统对头饰图片测试集的识别率达到96.25%,具有良好的识别准确率和识别效率。     

基于多特征融合与支持向量机的手势识别

针对手势识别中人的手部特征描述易受到环境因素影响,手势识别率低等问题,并考虑到单个特征的局限性,提出了一种基于Hu矩和HOG特征融合的支持向量机手势识别新方法。该方法首先对处理后的手势图像提取局部的HOG特征,然后针对手势的轮廓提取全局Hu矩特征,再将两种特征融合成混合特征,并通过主成分分析法对混合特征进行降维形成最终分类特征,并将新特征输入到支持向量机中进行识别。实验表明,该方法具有较好的鲁棒性和较高的识别率。     

Hand gesture understanding by weakly-supervised fusing shallow/deep image attributes

Accurately recognizing human hand gestures is a useful component in many modern intelligent systems, such as identification authentication, human–computer interaction, and sign language recognition. Conventional approaches are typically based on shallow visual features and relatively simple backgrounds, which cannot readily recognize partially occluded hand gestures with sophisticated backgrounds. In this work, we propose a unified hand gesture recognition framework by optimally fusing a set of shallow/deep finger-level image attributes, based on which a weakly-supervised ranking algorithm is designed to select semantically salient regions for gesture understanding. More specifically, given a rich number of hand gesture images, we employ the well-known BING object proposal generator to extract hundreds of object patches that potentially draw human visual attention. Since the hundreds of object patches are still too many for building an effective recognition system, a weakly-supervised metric is proposed to rank them by extracting multiple shallow/deep features. And visual semantics are encoded at region-level by transferring the image-level semantic tags into various human gesture image regions by a weakly-supervised learning paradigm Apparently, the top-ranking highly salient object patches are highly indicative to human visual perception of human hand gesture, Thus we extract their ImageNet-CNN features and further concatenate them. Finally, the concatenated deep feature is fed into a multi-class SVM for classifying each hand gesture image into a particular type. Comprehensive experimental validations have demonstrated the effectiveness and robustness of our proposed hybrid-feature-based hand gesture categorization.     

基于卷积神经网络的虚拟视点空洞填补

为了提高虚拟视点绘制中空洞填补的质量,本文提 出一种基于卷积神经网络的虚拟视点空洞填补算 法,包括图像预处理、特征提取和空洞填补三部分。首先,对双视点虚拟视点图像进行预处 理,即利用深 度图像绘制(Depth Image Based Rendering,DIBR)技术得到空洞填补前的图像和空洞掩膜 ;然后,通过卷积 神经网络对虚拟视点图像提取多维特征,针对空洞区域,使用结构相似性损失函数优化网络 ;最后,利用 提取的特征填补虚拟视点中的空洞。实验结果表明,本文算法能较好地保持虚拟视点图像前 景和背景的锐 利边缘,主观视觉感知效果佳,同时,对不同场景测试序列的客观评价指标PS NR和SSIM都能取得满意结果,该方法能有效地填补虚拟视点中的空洞。     

融合双层注意力与多流卷积的肌电手势识别记忆网络

针对表面肌电信号(surface electromyography, sEMG)手势识别使用卷积神经网络(convolutional neural network, CNN)提取特征不够充分,且忽略时序信息而导致识别精度不高的问题,本文创新性地提出了一种融合双层注意力与多流卷积神经网络(multi-stream convolutional neural network, MS-CNN)的sEMG手势识别记忆网络模型。首先,利用滑动窗口生成的表面肌电图像作为该模型的输入;然后在MS-CNN中嵌入通道注意力层(channel attention module, CAM),弱化无关信息,使网络能够更加专注sEMG的有效特征;其次,通过长短期记忆网络(long short term memory network, LSTM)对输入的特征进行时序上的激励,关注更多sEMG的时序信息,让网络在时间维度上拥有更强的学习能力;最后,采用时序注意力(time-sequence attention, TSA)层对LSTM的状态进行关注,从而更好地学习重要肌肉信息,提高手势识别精度。在NinaPro数据集上...     

基于双分类器的自适应单双手手势识别

针对传统卷积神经网络(CNN)中仅有对单手手势语义进行识别的算法和深度学习手势识别算法中CNN的收敛性差和识别精度低的问题,提出了一种基于两个分类器的自适应单双手手势识别算法以对单手和双手进行识别.该算法的核心是联合两个分类器进行单双手手势识别.首先,采用手数分类器对手势进行分割分组预测,将手势识别转化成部分手势图像识...     

融合密集卷积与空间转换网络的手势识别方法

手势识别作为人机交互的方式之一,在人工智能日益发展的今天备受瞩目。针对手势旋转、平移、缩放等形变导致识别率偏低的问题,该文基于密集卷积网络(Densenet)与空间转换网络(STN)提出了一种新型的网络结构Densenet_V2,先利用空间转换网络对输入的样本和特征图进行空间变换和对齐,再利用密集卷积网络自动提取手势的有效特征,最后通过线性分类器对手势进行分类。为防止网络模型对样本数据集过度拟合,对网络进行训练时在损失函数中加入L2正则项以实现权重衰减。在Marcel手势库上进行多次实验。实验结果表明,Densenet_V2可以提高对静态形变手势的识别率。     

改进神经网络的图像识别系统设计与硬件实现

针对现有图像识别系统大多采用软件实现,无法利用神经网络并行计算能力的问题。该文提出一套基于FPGA的改进RBF神经网络硬件化图像识别系统,将乘法运算改为加法运算解决了神经网络计算复杂不便于硬件化的问题,并且提出一种基于位比较的排序电路解决了大量数据的快速排序问题,以此为基础开发了多目标图像识别应用系统。系统特征提取部分采用FPGA实现,图像识别部分采用ASIC电路实现。实验结果表明,该文所提出的改进RBF神经网络算法平均识别时间较LeNet-5, AlexNet和VGG16缩短50%;所开发的硬件系统完成对10000张样本图片识别的时间为165 μs,对比于DSP芯片系统所需426.6 μs,减少了60%左右。     

基于面部检测和深度神经网络的面部情绪自动识别算法

面部情绪识别已成为可见光人脸识别应用的重要部 分,是光学模式识别研究中最重要的领域之一。为了进一步实现可见光条件下面部情绪的自 动识别,本文结合Viola-Jones、自适应直方图均衡(AHE)、离散小波变换(DWT)和深度卷 积神经网络(CNN),提出了一种面部情绪自动识别算法。该算法使用Viola-Jones定位脸 部和五官,使用自适应直方图均衡增强面部图像,使用DWT完成面部特征提取;最后,提取 的特征直接用于深度卷积神经网络训练,以实现面部情绪自动识别。仿真实验分别在CK+数 据库和可见光人脸图像中进行,在CK+数据集上收获了97%的平均准确 率,在可见光人脸图像测试中也获得了95%的平均准确率。实验结果 表明,针对不同的面部五官和情绪,本文算法能够对可见光面部特征进行准确定位,对可见 光图像信息进行均衡处理,对情绪类别进行自动识别,并且能够满足同框下多类面部情绪同 时识别的需求,有着较高的识别率和鲁棒性。     

结合手势二进制编码和类-Hausdorff距离的手势识别

针对目前动态手势识别方法受手势旋转、平移、缩放的影响,并解决手势识别的实时性问题,提出一种基于手势二进制编码和类-Hausdorff距离模板匹配的手势识别方法.首先,把分割好的手势图像进行标准化处理,求出标准化图像中的手势主方向,建立二维手势直角坐标系,提取空间手势特征;其次,根据前五帧手势图像中手势像素点个数的变化量识别出动态手势类型;然后,用手势二进制描述子从动态手势类型中再筛选出可能的候选手势集合;最后,用类-Hausdorff距离模板匹配方法从候选手势集合中识别出最终手势.主要创新点在于：提出的动态手势类型识别和手势二进制描述子匹配的方法,大大缩短了动态手势识别的时间;提出的结合手势主方向的类-Hausdorff距离方法,不仅对旋转、平移和缩放手势具有不变性,而且对区分度较小的手势也具有较高的识别准确率.实验结果表明,在光照相对稳定的条件下,该方法能够实时准确的实现动态手势识别,总体识别率达到95%以上,对发生缩放的手势识别率能达到92%以上,对发生旋转的手势识别率能达到87%以上.本文算法已经在一个基于手势的人机交互界面中得到应用.     

基于时空推理网络的空中红外目标抗干扰识别算法

复杂空战背景下的抗红外诱饵干扰技术是红外空空导弹的核心技术之一。针对传统静态贝叶斯网络不能表达序列图像中特征变量在时序上动态变化关系,提出了一种符合人类视觉推理识别过程的时空关联推理网络抗干扰识别算法。首先,提出的时空关联推理网络在考虑特征空间约束关系的基础上,引入了特征变量时间约束的先验知识,建立表达特征时空关联的目标推理网络识别模型,从而增强了序列图像目标识别的稳定性;其次,通过仿真数据构建样本集,离线训练学习时空关联推理网络结构及特征跳转概率参数,确定概率推理网络识别离线模型;最后,依据测试数据,结合推理识别网络模型进行概率推理,实现对目标的识别分类。实验结果表明,在伴随红外诱饵干扰投放的条件下,基于时空关联推理网络的抗干扰识别率达到94%,比静态贝叶斯网络抗干扰识别算法高3%,有效提升了目标识别的稳定性。     

基于遗传优化RBF神经网络的声纹识别研究

提出了一种基于遗传优化RBF神经网络的声纹识别算法,该算法中采用遗传算法对传统的RBF神经网络基函数中心以及宽度进行优化处理,克服了传统RBF神经网络参数难以确定的缺陷。同时,算法结合心理声学模型,提取了能表现说话人个性特征的Mel倒谱系数为特征进行说话人识别,可较好地提升系统的抗噪性能。仿真实验结果表明,与传统RBF神经网络相比,该方法具有快速学习网络权重的能力,并且网络的全局寻优能力强,使得系统的识别率进一步提高。     

基于FMCW雷达的双流融合神经网络手势识别方法

针对传统光学摄像头和无线技术的手势识别方法受光照环境影响和空间纵向、横向特征不全的问题,该文提出一种基于调频连续波（Frequency Modulated Continuous Wave,FMCW）雷达信号的双流融合神经网络（Two-Stream Fusion Neural Network,TS-FNN）手势识别方法.首先,利用二维快速傅立叶变换（Fast Fourier Transform,FFT）求取中频信号的频谱,估计手势的距离和速度,并利用多重信号分类（Multiple Signal Classification,MUSIC）方法计算角度.其次,利用这三维参数在时间上的累积,将一个手势动作映射为32帧距离-速度矩阵图和角度时间图.最后,建立TS-FNN进行手势特征提取和特征融合.实验结果表明,TS-FNN方法与传统卷积神经网络相比,手势的平均识别准确率提升了约5%.     

基于Word Embedding的遥感影像检测分割

遥感影像检测分割技术通常需提取影像特征并通过深度学习算法挖掘影像的深层特征来实现.然而传统特征（如颜色特征、纹理特征、空间关系特征等）不能充分描述影像语义信息,而单一结构或串联算法无法充分挖掘影像的深层特征和上下文语义信息.针对上述问题,本文通过词嵌入将空间关系特征映射成实数密集向量,与颜色、纹理特征的结合.其次,本文构建基于注意力机制下图卷积网络和独立循环神经网络的遥感影像检测分割并联算法（Attention Graph Convolution Networks and Independently Recurrent Neural Network,ATGIR）.该算法首先通过注意力机制对结合后的特征进行概率权重分配;然后利用图卷积网络（GCNs）算法对高权重的特征进一步挖掘并生成方向标签,同时使用独立循环神经网络（IndRNN）算法挖掘影像特征中的上下文信息,最后用Sigmoid分类器完成影像检测分割任务.以胡杨林遥感影像检测分割任务为例,我们验证了提出的特征提取方法和ATGIR算法能有效提升胡杨林检测分割任务的性能.     

基于触摸显示屏的人机交互手势分析

针对触摸显示屏的操作特点提出了一种基于元动作的触摸手势分类和表示方法,根据人机交互要求定义了一套笔画触摸手势,提出了基于RBF神经网络的笔画触摸手势训练和识别方法。测试结果表明,所提出的方法能够快速、准确地对触摸手势进行训练和识别,可以为带触摸屏的设备提供一个更加自然、直观的人机交互手段。     

融入频域特征的航天复合材料缺陷智能检测北大核心CSCD

针对传统人力无损检测识别方式存在的准确度与可靠性不足,且处理缺陷种类单一的问题,本文提出了一种融入频域特征的航天复合材料缺陷检测算法。首先,为了提高缺陷图像的特征提取效果,在特征提取骨干网络中添加图像的频域输入信息;其次,为了提高缺陷的可视化效果和检测精度,提出信息专注模块,并在面具R-CNN(mask region-based convolutional neural network, Mask R-CNN)的基础上,改进分割掩模损失函数;最后,结合级联R-CNN(cascade region-based convolutional neural network, Cascade R-CNN)结构,形成了新的实例分割网络。此外,在航天复合材料缺陷X射线图像数据集中对提出的实例分割网络进行了实验验证,模型检测的平均准确度达到了95.3%,与Mask R-CNN、级联面具R-CNN(cascade mask region-based convolutional neural network, Cascade Mask R-CNN)等实例分割算法相比,取得了更为优良的效果。该研究成果已应用于实际工业生产中几种常见航天复合材料缺陷的智能检测。