基于自监督知识迁移的鲁棒性语音识别技术

针对标注神经网络训练数据的成本日益增加与噪声干扰阻碍语音识别系统性能提升的问题,提出一种基于自监督知识迁移的鲁棒性语音识别模型的模型训练算法。首先,在预处理阶段提取原始语音样本的三个人工特征;然后,在训练阶段将特征提取网络生成的高级特征分别通过三个浅层网络来拟合预处理阶段提取的人工特征;同时,把特征提取前端与语音识别后端进行交叉训练,并合并它们的损失函数;最后,通过梯度反向传播令特征提取网络学会提取更有助于去噪语音识别的高级特征,从而实现人工知识迁移与去噪,并高效利用了训练数据。在军事装备控制的应用场景下,基于加噪后的THCHS-30、希尔贝壳数据集AISHELL-1与ST-CMDS这三个开源中文语音识别数据集以及军事装备控制指令的数据集上进行测试,实验结果表明,基于自监督知识迁移的鲁棒性语音识别模型的模型训练算法词错率可以降低到0.12,不仅可以实现对鲁棒性语音识别模型的模型训练,同时通过自监督知识迁移提高了训练样本的利用率,可完成装备控制任务。     

基于残差网络和门控卷积网络的语音识别研究

由于传统循环神经网络具有复杂的结构,需要大量的数据才能在连续语音识别中进行正确训练,并且训练需要耗费大量的时间,对硬件性能要求很大。针对以上问题,提出了基于残差网络和门控卷积神经网络的算法,并结合联结时序分类算法,构建端到端中文语音识别模型。该模型将语谱图作为输入,通过残差网络提取高层抽象特征,然后通过堆叠门控卷积神经网络捕获有效的长时间记忆,摆脱了传统循环神经网络对上下文相关性建模的依赖,加快了模型的训练速度。对残差网络进行了优化,并在门控卷积神经网络中加入了前馈神经网络,极大提高了模型的性能。实验结果表明,在Aishell-1中文数据集上,该模型的字错误率降低至11.43%;并且在?5?dB低信噪比环境下,字错误率达到了19.77%。     

基于人机交互增强算法的便携语言翻译机系统研究

为了实现基于人机交互增强算法的便携语言翻译机系统,提出了一种基于傅里叶门控卷积神经网络的语音增强模型与一种基于FSMN+Transformer语音识别模型用于便携语言翻译机。首先,对便携语言翻译机系统进行了整体设计;然后,对系统的关键部分即语音增强模型和语音识别模型分别进行了设计,其中,语音增强模型选择傅里叶门控卷积神经网络优化算法来构建;语音识别模型中,选择矢量型FSMN作为声学模型的基础结构,并引入门控单元和残差网络对其进行优化,同时选择添加交互算法的Transformer算法构建语言模型,共同构成基于FSMN+Transformer的语音识别模型;最后,分别对语音增强模型、语音识别模型以及便携语言翻译机系统进行实验验证。结果表明：基于傅里叶门控卷积神经网络的语音增强模型更具优越性,FSMN+Transformer的语音识别模型的正确率最高,基于提出的语音增强与语音识别模型的便携语言翻译机系统对原始语音的翻译准确率都达到了99%以上。     

自适应融合残差网在图像分类中应用研究

针对卷积神经网络存在随着网络深度增加导致优化困难,识别正确率降低、泛化性能差等问题,在Res Net(残差网络)基础上,提出了一种基于softmax全连接自适应门控网络融合模型.该方法在隐层网络深度达到一定层数后,设置多种卷积核尺寸作为独立网络输出,通过softmax全连接门控网络输出各模型选择概率,融合多种卷积尺寸残差网输出作为模型最终输出.实验表明,本文提出的融合残差网络模型更适合于多类别、精细化数据集,与单网络模型相比,在训练集上具有更好的收敛性,在测试集上具有更好的泛化性能.     

边缘智能背景下的手写数字识别

随着边缘智能的快速发展,现有手写数字识别卷积网络模型的发展已越来越不适应边缘部署、算力下降的要求,且存在小样本泛化能力较差和网络训练成本较高等问题。借鉴卷积神经网络（CNN）经典结构、Leaky_ReLU算法、dropout算法和遗传算法及自适应和混合池化思想构建了基于LeNet-DL改进网络的手写数字识别模型,分别在大样本数据集MNIST和小样本真实数据集REAL上与LeNet、LeNet+sigmoid、AlexNet等算法进行对比实验。改进网络的大样本识别精度可达99.34%,性能提升约0.83%;小样本识别精度可达78.89%,性能提升约8.34%。实验结果表明,LeNet-DL网络相较于传统CNN在大样本和小样本数据集上的训练成本更低、性能更优且模型泛化能力更强。     

基于深度卷积网络的人脸年龄分析算法与实现

作为一种新兴的生物特征识别技术,基于人脸图像的年龄估计技术在目前已经成为计算机视觉、人机交互等领域的一个重要研究课题。2006年以来,深度卷积网络在图像识别、语音识别和自然语言处理等领域广泛使用,取得了很好的效果。本文基于深度卷积网络的人脸年龄分析算法,构建一个多层卷积神经网络,通过卷积神经网络获取深度卷积激活特征,作为人脸年龄估计的特征,并利用支持向量机(SVM)的方法训练年龄估计模型,得到年龄估计结果,在人脸识别权威数据集Morph上获得了91.3%的正确率,同时也对比在了不同条件下对实验结果的影响。     

基于尺度相关-双向长短期记忆网络模型的说话人识别

说话人识别通过语音对说话人进行身份认证,然而大部分语音在时域与频域具有分布多样性,目前说话人识别中的卷积神经网络深度学习模型普遍使用单一的卷积核进行特征提取,无法提取尺度相关特征及时频域特征。针对这一问题,提出一种尺度相关卷积神经网络-双向长短期记忆(SCCNN-BiLSTM)网络模型用于说话人识别。通过尺度相关卷积神经网络在每一层特征抽象过程中调整感受野大小,捕获由尺度相关块组成的尺度特征信息,同时引入双向长短期记忆网络保留与学习语音数据的多尺度特征信息,并在最大程度上提取时频域特征的上下文信息。实验结果表明,SCCNN-BiLSTM网络模型在LibriSpeech和AISHELL-1数据集上迭代50 000次时的等错率为7.21%和6.55%,相比于ResCNN基线网络模型提升了25.3%和41.0%。     

面向识别未知旋转的3维网格模型的矢量型球面卷积网络

目的 3维目标分类是视觉领域的一个基本问题,3维目标的旋转变化给分类带来极大挑战。同时不规则3维网格模型难以运用传统2维卷积网络提取特征。针对这两个问题,提出一种基于矢量型球面卷积网络的分类方法,用于识别未知旋转的3维网格模型。方法 使用矢量型神经元作为网络的基础神经元,并提出一种新型矢量层间的卷积方式。首先,将3维模型规范化并映射到单位球上,获取球面的信号表示;然后,使用矢量型分类网络和重建网络学习等变的3维模型特征;最后,使用分类网络完成3维模型分类。结果 经过消融实验对比,使用本文提出的球面卷积模块和矢量卷积层,并在训练时加入重建模块。对原本未旋转（no rotation,NR）数据集进行任意旋转（arbitrary rotation,AR）,并设定NR/AR,AR/AR,NR/NR共3种训练/测试策略的分类任务,其中NR/AR任务衡量模型识别未知旋转的能力。在刚性数据集ModelNet40上,相比基于球面卷积网络（spherical convolutional neural network,SCNN）的分类方法,在3种任务上分别提高了7.7%,1.8%,3.1%。为验证本文方法...     

基于时域建模的自动语音识别

端到端神经网络能够根据特定的任务自动学习从原始数据到特征的变换,解决人工设计的特征与任务不匹配的问题。以往语音识别的端到端网络采用一层时域卷积网络作为特征提取模型,递归神经网络和全连接前馈深度神经网络作为声学模型的方式,在效果和效率两个方面具有一定的局限性。从特征提取模块的效果以及声学模型的训练效率角度,提出多时间频率分辨率卷积网络与带记忆模块的前馈神经网络相结合的端到端语音识别模型。实验结果表明,所提方法语音识别在真实录制数据集上较传统方法字错误率下降10%,训练时间减少80%。     

基于长短期记忆的车辆行为动态识别网络

高级辅助驾驶装置采用机器视觉技术实时处理摄录的行车前方车辆视频，动态识别并预估其姿态和行为。针对该类识别算法精度低、延迟大的问题，提出一种基于长短期记忆（LSTM）的车辆行为动态识别深度学习算法。首先，提取车辆行为视频中的关键帧；其次，引入双卷积网络并行对关键帧的特征信息进行分析，再利用LSTM网络对提取出的特性信息进行序列建模；最后，通过输出的预测得分判断出车辆行为类别。实验结果表明，所提算法识别准确率可达95.6%，对于单个视频的识别时间只要1.72 s；基于自建数据集，改进的双卷积算法相比普通卷积网络在准确率上提高8.02%，与传统车辆行为识别算法相比准确率提高6.36%。     

一种改进的GRU-InFCN人体行为识别模型

为了克服传统机器学习方法在采用传感器数据进行人体行为识别领域上识别效果对人工特征选取依赖严重、识别准确率不高等问题,提出一种改进的全卷积神经网络和多层循环神经网络并联的深度学习模型(GRU-InFCN),并对传感器数据特征进行自动提取,实现人体动作的识别。该模型通过多尺度卷积神经网络和双层GRU网络(Gated Recurrent Unit,GRU)分别对传感器数据进行特征提取,将特征矩阵在矩阵维度上进行特征拼接再通过Softmax完成特征分类。实验结果表明,在开源人体行为识别(HAR)数据集上采用该方法进行人体行为识别,准确率达到了97.76%。该模型在取得高准确率的同时,避免了复杂的信号预处理和特征工程。     

基于卷积神经网络的软硬触觉感知方法研究

智能机器手的应用已经遍布医疗、军工、农业及装配行业等领域.软硬作为物体的重要物理属性之一,对机器手的抓取控制物体有重大影响.在深度学习框架下,基于卷积神经网络提出了用于触觉感知的软硬物体的识别方法.使用薄膜压力传感器采集手指按压软硬物体的数据,建立训练和测试数据集,在Caffe中训练网络,以模拟触觉识别软硬物体.实验结果显示:对软硬物体的识别准确率达94.52%,表明,卷积神经网络对于识别软硬物体有比较好的分类效果.     

基于卷积神经网络的苹果栽培品种识别

针对苹果栽培品种识别分类问题,提供一个包含多个苹果果树品种的叶片图像原始数据集,并且研究构建一种新的深度卷积神经网络分类模型,对其分类准确性、泛化性能和稳定性进行对比验证,以期对苹果栽培品种简便、快速、准确的识别分类提供理论依据和技术支持。以甘肃省平凉市静宁县果树果品研究所苹果良种苗木繁育基地作为实验基地,在其中选取14个苹果果树品种。每个品种选取10棵左右树龄、树势、长势都存在差异的果树,采摘100片左右成熟的、无机械损伤的叶片,然后拍摄叶片图像建立数据集,进而利用卷积神经网络训练识别分类模型。本文针对苹果栽培品种识别分类,提供一个包含14个苹果果树品种共计14394张叶片图像的原始数据集,并且设计实现基于卷积神经网络的识别分类模型。实验结果表明,该识别分类模型有较高的准确率,训练集训练精度可以达到99.88%,验证集验证精度为94.36%,独立测试集的测试精度为90.49%。本文的研究结果可以为现代苹果田间种植及科研试验等实际场景提供力所能及的帮助,为深度卷积神经网络技术在植物品种识别分类实际应用场景提供参考,丰富深度学习在农业上的应用。     

基于小样本学习的SAR图像识别

深度学习已成为图像识别领域的一个研究热点。与传统图像识别方法不同,深度学习从大量数据中自动学习特征,并且具有强大的自学习能力和高效的特征表达能力。但在小样本条件下,传统的深度学习方法如卷积神经网络难以学习到有效的特征,造成图像识别的准确率较低。因此,提出一种新的小样本条件下的图像识别算法用于解决SAR图像的分类识别。该算法以卷积神经网络为基础,结合自编码器,形成深度卷积自编码网络结构。首先对图像进行预处理,使用2D Gabor滤波增强图像,在此基础上对模型进行训练,最后构建图像分类模型。该算法设计的网络结构能自动学习并提取小样本图像中的有效特征,进而提高识别准确率。在MSTAR数据集的10类目标分类中,选择训练集数据中10%的样本作为新的训练数据,其余数据为验证数据,并且,测试数据在卷积神经网络中的识别准确率为76.38%,而在提出的卷积自编码结构中的识别准确率达到了88.09%。实验结果表明,提出的算法在小样本图像识别中比卷积神经网络模型更加有效。     

改进YOLO v2的装甲车辆目标识别

军事目标识别技术是军事信息处理的一个重要内容,对于实现军事装备信息化、智能化起着不可忽视的作用。近年来随着深度卷积神经网络在图像识别领域的广泛应用,各种基于图像目标识别任务的网络结构层出不穷,因此将这项新技术应用于军事目标的识别具有极强的现实意义和军事应用价值。本文以目前具有最佳识别效果的YOLO v2网络为基础,通过维度聚类重新确定最优的anchor个数及其宽高维度,并制作以明显特征为目标区域的装甲车辆数据集,使得该网络对装甲目标的识别更为精确。通过实验验证,该方法能有效地对特定装甲目标进行实时精确识别。     

基于卷积神经网络的军事图像分类

由于军事背景下战场上不同目标的相似度极高以及复杂情况下的分类识别率不高,传统视觉特征的分类精度已不能满足要求。针对含有特定军事目标的大规模图像分类问题构造了一种新的基于主成分分析(Principal Components Analysis, PCA)白化的卷积神经网络结构,有效地降低数据间的相关性,加强学习能力,提高目标分类的准确率。利用大规模的军事图像数据集对该模型进行了识别精度评估,实验表明,与基于视觉特征的词袋模型以及经典的卷积神经网络分类算法相比,该算法对于军事目标的分类精度有明显提高。     

基于深度卷积自编码神经网络的手写数字识别研究

针对提高不同笔体下的手写识别准确率进行了研究,将深度卷积神经网络与自动编码器相结合,设计卷积自编码器网络层数,形成深度卷积自编码神经网络。首先采用双线性插值方法分别对MNIST数据集与一万幅自制中国大学生手写数字图片进行图像预处理,然后先使用单一MNIST数据集对深度卷积自编码神经网络进行训练与测试;最后使用MNIST与自制数据集中5 000幅混合,再次训练该网络,对另外5 000幅进行测试。实验数据表明,所提深度卷积自编码神经网络在MNIST测试集正确率达到99.37%,有效提高了准确率;且5 000幅自制数据集模型测试正确率达99.33%,表明该算法实用性较强,在不同笔体数字上得到了较高的识别准确率,模型准确有效。     

基于Faster R-CNN的输电线路缺陷识别模型研究

随着多旋翼无人机引入输电线路巡检作业后,对巡线人员通过图像判断线路上设备是否有缺陷提出了新的挑战。为了帮助巡线人员做出准确决策,提高发现缺陷的能力,基于深度卷积神经网络,搭建了适用于无人机图像识别的输电线路缺陷识别网络模型。首先详细描述了输电线路缺陷识别图像数据库的建立过程,然后通过分析对比三个预训练前端网络的性能及多个参数对网络模型识别准确率的影响,得到基于Faster R-CNN的输电线路缺陷最优识别网络模型。经过测试集验证,提出的缺陷识别网络模型的识别准确率达到了90%以上,单张图片耗时达到了毫秒级,在识别准确率和耗时上均明显优于其他识别网络模型,为实际巡线工作中的输电线路缺陷判别提供智能有效的决策依据,是机器学习在智能电网中应用的有益探索。     

Head mouse control system for people with disabilities

In this paper, a human–machine interface for disabled people with spinal cord injuries is proposed. The designed human–machine interface is an assistive system that uses head movements and blinking for mouse control. In the proposed system, by moving one's head, the user moves the mouse pointer to the required coordinates and then blinks to send commands. The considered head mouse control is based on image processing including facial recognition, in particular, the recognition of the eyes, mouth, and nose. The proposed recognition system is based on the convolutional neural network, which uses the low-quality images that are captured by a computer's camera. The convolutional neural network (CNN) includes convolutional layers, a pooling layer, and a fully connected network. The CNN transforms the head movements to the actual coordinates of the mouse. The designed system allows people with disabilities to control a mouse pointer with head movements and to control mouse buttons with blinks. The results of the experiments demonstrate that this system is robust and accurate. This invention allows people with disabilities to freely control mouse cursors and mouse buttons without wearing any equipment.