基于堆叠降噪自编码器的神经–符号模型及在晶圆表面缺陷识别

深度神经网络是具有复杂结构和多个非线性处理单元的模型, 通过模块化的方式分层从数据提取代表性特征, 已经在晶圆缺陷识别领域得到了较为广泛的应用. 但是, 深度神经网络在应用过程中本身存在“黑箱”和过度依赖数据的问题, 显著地影响深度神经网络在晶圆缺陷识别的工业可应用性. 提出一种基于堆叠降噪自编码器的神经–符号模型. 首先, 根据堆叠降噪自编码器的网络特点采用了一套符号规则系统, 规则形式和组成结构使其可与深度神经网络有效融合. 其次, 根据 网络和符号规则之间的关联性提出完整的知识抽取与插入算法, 实现了深度网络和规则之间的知识转换. 在实际工业晶圆表面图像数据集WM-811K上的试验结果表明, 基于堆叠降噪自编码器的神经–符号模型不仅取得了较好的缺陷探测与识别性能, 而且可有效提取规则并通过规则有效描述深度神经网络内部计算逻辑, 综合性能优于目前经典的深度神经网络.     

融合稀疏因子的情感分析堆叠降噪自编码器模型

基于深度学习的特征抽取是目前数据降维问题的研究热点,堆叠自编码器作为一种较为常用的模型,无法对混有噪声及较稀疏的数据进行良好的特征表达。面向微博情感分析,通过在堆叠降噪自编码器的各隐藏层中加入稀疏因子,来解决样本数据所含噪声和稀疏性对特征抽取的影响。使用COAE评测数据集进行的情感分析实验表明所提模型分类的准确率和召回率都有所提高。     

基于堆叠降噪自动编码器的胶囊缺陷检测方法

目前医用胶囊生产过程中的缺陷检测主要由人工完成,费时费力,容易受主观因素的影响。提出一种基于堆叠降噪自动编码器的胶囊表面缺陷检测方法,该方法首先建立深度自动编码器网络,并根据缺陷样本进行降噪训练,获取网络的初始权值;然后通过BP算法进行微调,得到训练样本到无缺陷模板之间的映射关系;最后利用重构图像与缺陷图像之间的对比关系,实现测试样本的缺陷检测。实验表明,堆叠降噪自动编码器较好地建立了上述映射关系,能快速、准确地进行缺陷检测,对噪声具有很强的鲁棒性和稳定性。     

基于堆叠降噪稀疏自动编码器的软件缺陷预测

特征提取是软件缺陷预测中的关键步骤,特征提取的质量决定了缺陷预测模型的性能,但传统的特征提取方法难以提取出软件缺陷数据的深层本质特征。深度学习理论中的自动编码器能够从原始数据中自动学习特征,并获得其特征表示,同时为了增强自动编码器的鲁棒性,本文提出一种基于堆叠降噪稀疏自动编码器的特征提取方法,通过设置不同的隐藏层数、稀疏性约束和加噪方式,可以直接高效地从软件缺陷数据中提取出分类预测所需的各层次特征表示。利用Eclipse缺陷数据集的实验结果表明,该方法较传统特征提取方法具有更好的性能。     

一种基于降噪自编码器的人脸表情识别方法

针对传统人脸表情识别算法鲁棒性差,易受到人脸身份信息干扰的问题,本文在基于降噪自编码器的基础上,提出一种人脸表情识别算法。首先,从图片中检测出人脸部分,并进行尺度归一化处理;再构造堆栈式降噪自编码神经网络模型进行预训练;最后为了避免由训练样本不足容易造成的过拟合问题,在深度网络模型的全连接层采用了Dropout技术。实验结果在数据集CK 、JAFFE和Yale上均取得了较高的准确率,说明了该方法具有较强的鲁棒性和抗身份信息干扰的能力。     

基于稀疏降噪自编码器的深度置信网络

传统的深度置信网络（DBN）采用随机初始化受限玻尔兹曼机（RBM）的权值和偏置的方法初始化网络。虽然这在一定程度上克服了由BP算法带来的易陷入局部最优和训练时间长的问题,但随机初始化仍然会导致网络重构和原始输入的较大差别,这使得网络无论在准确率还是学习效率上都无法得到进一步提升。针对以上问题,提出一种基于稀疏降噪自编码器（SDAE）的深度网络模型,其核心是稀疏降噪自编码器对数据的特征提取。首先,训练稀疏降噪自编码;然后,用训练后得到的权值和偏置来初始化深度置信网络;最后,训练深度置信网络。在Poker Hand 纸牌游戏数据集和MNIST、USPS手写数据集上测试模型性能,在Poker Hand数据集下,方法的误差率比传统的深度置信网络降低46.4%,准确率和召回率依次提升15.56%和14.12%。实验结果表明,所提方法能有效地改善模型性能。     

基于降噪自编码器的社会化推荐算法

现有的社会化推荐算法未考虑信任用户对目标用户深层的偏好影响。针对这一问题,提出了一种基于深度学习的混合推荐算法,利用降噪自编码器学习用户及其信任用户的评分偏好,使用加权隐藏层来平衡这些表示的重要性,有效建模用户间的潜在偏好交互。在此基础上,通过用户聚类和个性化权重区分不同类的用户受其信任用户的影响程度。在开放数据集上的实验结果表明,该算法优于现有的社会化推荐算法,与主要的推荐算法SoRec、RSTE、SocialMF、TrustMF相比,其平均绝对误差(MAE)和均方根误差(RMSE)显著降低,获得了较好的推荐效果。     

一种深度降噪自编码器的语音增强算法

依据带噪语音中不同类型语音分段(segment)对语音整体的可懂度影响不同,提出了一种基于语音分段来分类训练深度降噪自编码器(DDAE)的语音增强算法.该算法使得DDAE模型在尽可能减小Dropout所引入的扰动对带噪语音噪声特性破坏的同时,提高了对带噪语音可懂度关键分段(中均方根分段)语音特性学习的鲁棒性,提高了增强...     

堆叠去噪自编码器在垃圾邮件过滤中的应用

针对垃圾邮件数量日益攀升的问题,提出了将堆叠去噪自编码器应用到垃圾邮件分类中.首先,在无标签数据集上,使用无监督学习方法最小化重构误差,对堆叠去噪自编码器进行贪心逐层预训练,从而获得原始数据更加抽象和健壮的特征表示; 然后,在堆叠去噪自编码器的最上层添加一个分类器后,在有标签数据集上,利用有监督学习方法最小化分类误差,对预训练获得的网络参数进行微调,获得最优化的模型; 最后, 利用训练完成的堆叠去噪编码器在6个不同的公开数据集上进行测试.将准确率、召回率、更具有平衡性的马修斯相关系数作为实验性能评价标准,实验结果表明,相比支持向量机算法、贝叶斯方法和深度置信网络的分类效果,基于堆叠去噪自编码器的垃圾邮件分类器的准确率都高于95%,马修斯相关系数都大于0.88,在应用中具有更高的准确率和更好的健壮性.     

基于栈式降噪自编码器的协同过滤算法*

针对协同过滤推荐准确性的现状进行了研究,提出一种基于栈式降噪自编码器的协同过滤算法。栈式降噪自编码器是一种典型的深度学习网络模型,具有强大的特征提取能力。用户对项目的评分作为输入,训练网络,学习出项目的隐含特征编码,用PCA对项目属性降维并计算属性相似性,结合隐性编码计算的相似性作为最终结果,根据最终的项目相似性产生TOP-N推荐列表。Movielens数据集的实验表明,新算法能够有效提升推荐结果的召回率,一定程度上解决了评分矩阵稀疏和项目之间没有共同用户评分就不能计算相似性的问题。     

基于栈式降噪自动编码器的动态混合推荐算法

传统协同过滤算法仅依靠用户评分数据的低维向量方法,存在推荐结果精确度低以及冷启动问题。为此,提出一种新的动态混合推荐算法,将栈式降噪自动编码器融入到基于用户的协同过滤中,学习用户的深层次特征,并与基于用户项目属性偏好的相似度融合。在预测生成阶段,设置时间衰减项,动态预测访问概率,及时更新用户兴趣变化,从而提高推荐质量。在MovieLens数据集上的实验结果表明,与UB-CF、AE和SDAE-IA算法相比,该算法推荐性能明显提高。     

基于栈式降噪自编码器的发酵过程回归建模

精确有效的发酵过程模型不仅能够定量揭示过程信息间的关联,实现对难以实时监测变量的预测,而且是进一步控制和优化的前提;基于数据驱动的发酵过程建模方法得到了广泛研究与应用,然而其仅考虑发酵过程的非线性特征和数据具有多采样率的特点,忽略了过程数据中测量噪声对模型的影响;为此,提出基于栈式降噪自编码器的发酵过程回归建模方法,该方法不仅具有较强的非线性拟合能力,半监督的学习策略也能够充分挖掘发酵过程中的所有数据信息,同时可以从含噪声的过程数据中提取出鲁棒性的特征,使模型具有噪声适应性;通过青霉素仿真对比实验结果表明,该模型的预测性能更好.     

基于栈式降噪自编码和词嵌入表示的维吾尔语零指代消解

针对维吾尔语零指代现象,提出采用栈式降噪自编码的深度学习机制进行维吾尔语零指代消解。首先由大规模无标注维吾尔语语料训练得到富含语义和句法信息的词嵌入表示,将其作为候选先行语和缺省零代词的语义特征;其次根据维吾尔语语言特点,抽取14项针对零指代消解任务的手工设计特征;然后融合word embedding特征和14项hand-crafted特征作为栈式降噪自编码的输入,最后经过无监督逐层贪婪的预训练和有监督的微调过程,使用softmax进行分类完成维吾尔语零指代消解任务。实验结果表明,与传统栈式自编码、浅层机器学习的支持向量机和人工神经网络相比,栈式降噪自编码的F值分别提高了4.450%、10.032%和8.140%,实验结果验证了该方法的有效性及栈式降噪自编码在任务中具备挖掘高层面鲁棒性语义特征的优势。     

基于堆叠自动编码器的miRNA-疾病关联预测方法

作为一类小的非编码RNA,miRNA的异常调控与人类疾病的发生和发展密切相关,研究miRNA与疾病的关联对于了解人类疾病致病机制具有重要意义.机器学习方法被广泛应用于miRNA-疾病关联预测,然而现有方法仅仅考虑了miRNA与疾病相似性网络信息,忽略了相似性网络的拓扑结构.因此,文中提出基于堆叠自动编码器的miRNA-...     

Complete Stacked Denoising Auto-Encoders for Regression

Neural Processing Letters - Complete modified stacked denoising auto-encoder (CMSDAE) machines constitute a version of stacked auto-encoders in which a target estimate is included at the input, and...     

基于一维堆叠卷积自编码器的分布式应变裂缝检测

桥梁裂缝检测对于桥梁健康检测具有重要的意义.基于布里渊时域分析的分布式光纤传感器能够测量整个结构表面的应变数据.由于测量所得应变数据信噪比低,存在裂缝损伤处的应变异常被噪声"淹没"和"混淆"的问题.针对这一问题,提出一种基于一维堆叠卷积自编码器的分类检测方法.该方法具有噪声鲁棒性强、自提取特征可判别性高等优势.首先,通过布置光纤传感器获取结构表面应变数据,对光纤应变数据进行标准化预处理,并划分应变子序列.然后,使用一维堆叠卷积自编码器自动提取应变子序列的特征.最后,通过Softmax分类器对所提取的应变子序列特征进行分类,即裂缝或非裂缝.实验结果表明,该方法可以有效检测微小裂缝,检测准确率高.并且该方法提取的特征可判别性优于卷积神经网络和堆叠自编码器等方法.     

基于改进降噪自动编码器的点击率预测

点击率(CTR)预测是个性化广告和推荐系统中的一项基本任务. 针对提升点击率预测效果和处理冷启动问题, 本文中提出了一种基于改进降噪自动编码器的点击率预测模型ADVAE (ADditional Variational AutoEncoder),该模型在输入数据加入高斯随机噪声, 利用改进的降噪自动编码器生成新的嵌入特征...     

基于深度降噪自编码神经网络的近红外光谱去噪

近红外光谱仪在数据采集时,由于受到多种因素的影响,光谱数据常常被一系列噪声所污染,对光谱建模与分析产生巨大的影响.在建模前必须要对数据进行预处理,本文提出一种基于栈式降噪自编码神经网络的光谱信号去噪方法,基于降噪自编码模型重构的思想来实现特征的自动提取,使用无监督逐层贪婪预训练和有监督微调的方法对深度自编码神经网络进行...