深度稀疏自编码网络识别飞行员疲劳状态

针对飞行员疲劳状态识别的复杂性和准确性,提出一种基于脑电信号的深度学习模型.首先对飞行员脑电信号进行滤波分解,提取delta波(0.5~4 Hz)、theta波(5~8 Hz)、alpha波(7~14 Hz)、beta波(14~30 Hz),提取基于脑电节律波的频域特征,作为识别模型的输入向量.其次,将一种基于深度稀疏自编码网络–Softmax模型用于飞行员疲劳状态识别,并与单层的稀疏自编码网络–Softmax和传统方法主成分分析(PCA)–Softmax模型识别结果进行比较.最后,实验结果显示,针对飞行员疲劳状态识别问题,所建立的学习模型具有很好的分类识别效果,具有较好的工程推广价值.     

行人检测的深度稀疏自编码网络

针对传统卷积神经网络在行人检测中卷积速度慢、抗噪弱、冗余大的问题,提出了一种基于深度稀疏自编码网络的方法。首先在输入层后添加一层感兴趣层,在非相邻和相邻特征(nor-neighboring and neighboring features,NNNF)的基础上丰富图像的对称性特征,融合LUV空间、梯度方向等多通道的跨通道特征,并在非相邻特征设计的区域处理中采用一种改进的随机池化方法来消除行人形变的影响,得到表示行人信息的主要特征。然后利用四个自动编码器设计四层隐含层深度网络,以交叉熵为损失函数及改进的ReLU(rectified linear unit)函数为激活函数,以此结合稀疏表示的理论构建新的目标函数来学习网络,寻找数据的内在结构。最后用第四层隐含层输出的有效特征来训练分类器。在公共数据库上进行实验验证,结果表明,与现存的其他方法相比,该方法降低了平均漏检率,减少了运行时间,具有良好的鲁棒性。     

基于深度自编码网络的异质人脸识别

针对异质人脸识别中对不同模态数据间关系建模的问题,提出一种基于深度自编码网络的异质人脸特征提取和识别方法。首先用一个深度降噪自编码网络从两类异质人脸图像中提取人脸的高阶特征,并通过类别监督信号产生的目标函数来对网络进行微调,最后利用最近邻分类器对已提取特征分类,完成异质图像间的匹配。在CUHK、AR、CASIA HFB、SVHN与MNIST数据集上的实验结果表明,与目前基于子空间学习的异质人脸识别方法相比,该方法取得了更高的识别率,并且在基于异质图像的数字识别上表现出一定优势。     

基于稀疏降噪自编码器的深度置信网络

传统的深度置信网络（DBN）采用随机初始化受限玻尔兹曼机（RBM）的权值和偏置的方法初始化网络。虽然这在一定程度上克服了由BP算法带来的易陷入局部最优和训练时间长的问题,但随机初始化仍然会导致网络重构和原始输入的较大差别,这使得网络无论在准确率还是学习效率上都无法得到进一步提升。针对以上问题,提出一种基于稀疏降噪自编码器（SDAE）的深度网络模型,其核心是稀疏降噪自编码器对数据的特征提取。首先,训练稀疏降噪自编码;然后,用训练后得到的权值和偏置来初始化深度置信网络;最后,训练深度置信网络。在Poker Hand 纸牌游戏数据集和MNIST、USPS手写数据集上测试模型性能,在Poker Hand数据集下,方法的误差率比传统的深度置信网络降低46.4%,准确率和召回率依次提升15.56%和14.12%。实验结果表明,所提方法能有效地改善模型性能。     

基于深度自编码网络语音识别噪声鲁棒性研究

为了解决传统径向基（Radial basis function,RBF）神经网络在语音识别任务中基函数中心值和半径随机初始化的问题,从人脑对语音感知的分层处理机理出发,提出利用大量无标签数据初始化网络参数的无监督预训练方式代替传统随机初始化方法,使用深度自编码网络作为语音识别的声学模型,分析梅尔频率倒谱系数（Mel Frequency Cepstrum Coefficient,MFCC）和基于Gammatone听觉滤波器频率倒谱系数（Gammatone Frequency Cepstrum Coefficient,GFCC）下非特定人小词汇量孤立词的抗噪性能。实验结果表明,深度自编码网络在MFCC特征下较径向基神经网络表现出更优越的抗噪性能;而与经典的MFCC特征相比,GFCC特征在深度自编码网络下平均识别率相对提升1.87%。     

基于DropOut降噪自编码的磨矿系统故障诊断

磨矿系统的故障诊断主要依靠工人的经验,这为故障诊断增加了大量不确定性.此外,磨矿系统的数据较为复杂,不仅工人难以对故障的发生进行准确判断,而且传统机器学习算法也由于数据的线性不可分而表现不佳.为了解决线性不可分问题,使用神经网络进行故障分类;面对故障数据的高复杂度,为提高神经网络的表达能力,使用自动编码器增加网络深度;为减弱深层网络带来的过拟合现象,引入DropOut降噪自编码.最后进行实验验证,实验结果表明,DropOut降噪自编码网络对于故障的分类准确率可达到90.4%.     

基于深度自编码网络的Android恶意软件检测方法

针对传统Android恶意软件检测方法检测率低的问题,文中提出一种基于深度收缩降噪自编码网络(Deep Contractive Denoising Autoencoder Network,DCDAN)的Android恶意软件检测方法。首先,逆向分析APK文件获取文件中的权限、敏感API等7类信息,并将其作为特征属性;然后,将特征属性作为深度收缩降噪自编码网络的输入,使用贪婪算法自底向上逐层训练每个收缩降噪自编码网络(Contractive Denoising Autoencoder Network),将训练完成的深度收缩降噪自编码网络用于原始特征的信息抽取,以获取最优的低维表示;最后,使用反向传播算法对获取的低维表示进行训练和分类,实现对Android恶意软件的检测。对深度自编码网络的输入数据添加噪声,使得重构的数据具有更强的鲁棒性,同时加入雅克比矩阵作为惩罚项,增强了深度自编码网络的抗扰动能力。实验结果验证了该方法的可行性和高效性。与传统的检测方法相比,该检测方法有效地提高了对恶意软件检测的准确率并降低了误报率。     

基于改进的L-BFGS稀疏降噪自编码网络的MRI脑图像识别方法

随着人类科技的飞速发展以及医学影像设备的不断更新,医学影像技术在脑部病 变的辅助诊断中起到了越来越重要的作用,为此,提出一种基于改进的 L-BFGS 稀疏降噪自编 码网络模型(ILSDAE),并将其应用于 MRI 脑图像的阿尔茨海默病的识别与脑部疾病的辅助诊 断。实验数据源取自 ADNI 数据集,经过校正、配准、分割、平滑等操作,获得脑部灰质图像, 随后将改进的无监督贪婪预训练方法和 L-BFGS 算法相结合,对深度自编码网络进行训练并通 过 Softmax 回归训练学习特征,从而实现对病症患者脑部图像的识别。ILSDAE 网络模型具有 很好的鲁棒性,与堆栈式自编码和自学习方法相比,实验结果证明了所提方法的有效性。     

基于稀疏编码的手指心电信号身份识别算法

研究了心电(ECG)信号在身份识别中的应用,提出了基于过完备字典下稀疏编码的手指心电身份识别认证算法.在预处理阶段,对ECG信号进行预处理消噪,去除心电信号里的噪声、基线漂移和心率变异的干扰.在特征提取阶段,提取单周期心电信号构成特征向量并构建字典模型,用核奇异值分解(KSVD)训练成冗余字典,然后对每一部分特征向量进行稀疏编码,实现在该字典上的稀疏表示.在分类识别阶段,利用得到的稀疏系数矩阵构建特征模板向量作为特征参数.通过欧氏距离匹配输出个体身份信息,实现个体身份识别认证.通过两个手指心电信号数据库对该算法进行了性能测试,获得了较高的识别率.     

基于改进的稀疏深度信念网络的人脸识别方法

由于稀疏表示在人脸识别上的优异表现,大量的研究关注于在深度网络上结合稀疏编码.常用的稀疏深度信念网络限制所有的隐藏单元具有相同的稀疏水平,这不是诱导稀疏表示最自然的方式.针对这个问题,根据压缩感知理论改进原来的稀疏项,添加了一个tan-sigmoid正则项逼近稀疏表示的最优解L0范数.这种方法不限制隐藏单元拥有相同的激活率,每个隐藏单元可以根据不同的任务自动学习到不同的稀疏水平.在ORL、UMIST和FERET人脸库上的识别结果表明,提出的方法与经典的稀疏深度模型相比,获得了很好的特征表示和识别效果.     

基于深度自编码的医疗命名实体识别模型

针对在医疗命名实体识别（MNER）问题中随着网络加深,基于深度学习的识别模型出现的识别精度与算力要求不平衡的问题,提出一种基于深度自编码的医疗命名实体识别模型CasSAttMNER。首先,使用编码与解码间深度差平衡策略,以经过蒸馏的Transformer语言模型RBT6作为编码器以减小编码深度以及降低对训练和应用上的算力要求;然后,使用双向长短期记忆（BiLSTM）网络和条件随机场（CRF）提出了级联式多任务双解码器,从而完成实体提及序列标注与实体类别判断;最后,基于自注意力机制在实体类别中增加实体提及过程抽取的隐解码信息,以此来优化模型设计。实验结果表明,CasSAttMNER在两个中文医疗实体数据集上的F值度量可分别达到0.943 9和0.945 7,较基线模型分别提高了3个百分点和8个百分点,验证了该模型更进一步地提升了解码器性能。     

基于深度稀疏低秩分解的深度神经网络轻量化方法

基于嵌入式平台对深度神经网络轻量化的需求,结合模块化、逐层处理思想,以主流检测识别深度神经网络Faster RCNN轻量化为目标,设计基于深度稀疏低秩分解的轻量化方法.针对Faster RCNN网络架构特点,首先采用深度可分离卷积和稀疏低秩理论对Faster RCNN网络的特征提取主干网络部分进行初始轻量化;其次采用稀疏低秩裁剪对主干网络进行“逐层通道裁剪,逐层重训练,逐层调优”轻量化,采用张量Tensor-Train分解理论,对区域建议网络进行轻量化处理,尽可能保证低性能损失;再次对识别与分类网络进行稀疏低秩分解和通道裁剪,增加模型压缩倍数,减少所需要和所消耗计算资源;最后,基于感兴趣区域定位感知的RPN网络输入特征知识蒸馏,提升检测识别性能.数值实验表明,所提出方法可以实现模型压缩100倍,检测识别率仅下降5%.     

基于深度信念网络的脑电信号疲劳检测系统

传统的疲劳驾驶检测系统,一般采用对面部特征进行识别与信息提取的方式,易受到外界因素干扰,检测效率较低。针对这一问题,提出基于深度信念网络（DBM）的脑电信号(EEG)疲劳检测系统。结合深度信念网络工作原理和系统整体框架,设计系统硬件结构和软件功能。采用SAA7115型号信号解码器对数字化信号进行分离,通过采集模块电路图,将解码器连接到低噪声Video接口处,保证分离后的脑电信号为合成信号;通过TMS320DM642的DSP数字信号处理器对端口1信号进行合成、对端口2信号进行复合信号编码,保证信号采集不受外界因素干扰;将受限玻尔兹曼机在硬件采集模块中提取的信号进行疲劳程度检测,根据脑电信号变化强度,区分疲劳和未疲劳状态下脑电信号特征,完成系统设计。实验结果表明,所设计系统具有较高检测效率,可为疲劳驾驶人员生命安全提供保障。     

基于重叠稀疏组深度信念网络的图像识别

深度信念网络的隐含神经元大部分为噪声变量,且具有组结构相关性。组稀疏深度信念网络模型通过组Lasso模型对隐含神经元变量进行约束,从而实现变量组选择。然而,组稀疏深度信念网络模型未能考虑特征可同时属于多个特征组,并且隐含神经元在变量层面上不稀疏的问题。在组稀疏深度信念网络模型上引入重叠组结构,解释了重叠组Lasso模型在变量层面上比组Lasso模型稀疏的原因,并在变量层面上作进一步的稀疏,提出了重叠稀疏组深度信念网络模型。在MNIST、USPS、ETH-80以及人脸数据集上的识别结果表明,重叠稀疏组深度信念网络具有更高的识别率。     

基于稀疏自编码深度神经网络的林火图像分类

针对林火与相似目标很难区分的问题,提出一种基于稀疏自编码深度神经网络的林火图像分类新方法。采用无监督的特征学习算法稀疏自编码从无标签图像小块中学习特征参数,完成深度神经网络的训练;利用学习到的特征从原始大小分类图像中提取特征并卷积和均值池化特征;对卷积和池化后的特征采用softmax回归来训练最终softmax分类器。实验结果表明,跟传统的BP神经网络相比,新方法能够更有效区分林火与红旗、红叶等类似物体。     

利用稀疏语义结合双层深度卷积神经网络的敏感图像检测方法

互联网技术的飞速发展导致敏感内容图像由原先基本隐蔽的内容交换变为海量的数据共享,传统基于图像特征提取的敏感内容检测方法不再适用。针对上述难点,提出基于稀疏语义和双层深度卷积神经网络相结合的敏感内容检测方法。上层网络首先进行训练样本的预处理,并通过构造图像的稀疏语义表示作为神经网络的输入;而下层网络则进一步考虑第三方管控机制（如政府代理等）,提出针对特定群体的敏感内容图像检测方法。与现有常用敏感内容图像检测方法相比,该检测方法可有效降低训练样本数量,且检测精度比传统图像检测方法（如基于视觉词袋方法等）提升7%以上。     

Seven-layer deep neural network based on sparse autoencoder for voxelwise detection of cerebral microbleed

In order to detect the cerebral microbleed (CMB) voxels within brain, we used susceptibility weighted imaging to scan the subjects. Then, we used undersampling to solve the accuracy paradox caused from the imbalanced data between CMB voxels and non-CMB voxels. we developed a seven-layer deep neural network (DNN), which includes one input layer, four sparse autoencoder layers, one softmax layer, and one output layer. Our simulation showed this method achieved a sensitivity of 95.13%, a specificity of 93.33%, and an accuracy of 94.23%. The result is better than three state-of-the-art approaches.     

基于深度神经网络的法语命名实体识别模型

现有法语命名实体识别（NER）研究中，机器学习模型多使用词的字符形态特征，多语言通用命名实体模型使用字词嵌入代表的语义特征，都没有综合考虑语义、字符形态和语法特征。针对上述不足，设计了一种基于深度神经网络的法语命名实体识别模型CGC-fr。首先从文本中提取单词的词嵌入、字符嵌入和语法特征向量；然后由卷积神经网络（CNN）从单词的字符嵌入序列中提取单词的字符特征；最后通过双向门控循环神经网络（BiGRU）和条件随机场（CRF）分类器根据词嵌入、字符特征和语法特征向量识别出法语文本中的命名实体。实验中，CGC-fr在测试集的F1值能够达到82.16%，相对于机器学习模型NERC-fr、多语言通用的神经网络模型LSTM-CRF和Char attention模型，分别提升了5.67、1.79和1.06个百分点。实验结果表明，融合三种特征的CGC-fr模型比其他模型更具有优势。     

基于卷积自编码神经网络的航空发动机轴承故障诊断方法研究

航空发动机轴承早期故障多是由于裂纹、疲劳剥落和保持架损坏造成的,这类型的故障在发动机振动信号中均会产生瞬时的冲击;但是,在早期故障中,振动信号由于夹杂过多部件耦合激励,缺陷冲击信号很难辨识,早期故障诊断十分困难;采用了基于卷积自编码网络的航空发动机轴承早期冲击故障特征提取方法,通过分析信号中冲击成分的周期性,利用卷积自编码网络的平移不变学习特性,自动捕获信号中的周期成分,将信号分解为由卷积核重构的多个特征分量,实现信号特征分量的自学习,考虑到峭度指标对信号冲击成分描述的特点,使用峭度指标作为最优特征分量的选取指标,进而实现早期冲击故障特征的提取;最后利用仿真数据和轴承数据验证了该方法的有效性.