基于权重关联性的卷积神经网络模型剪枝方法

模型剪枝是深度学习领域对模型进行压缩加速的一种有效方法.目前结构化的剪枝方法仅对整个过滤器的权重进行评估,但当一个过滤器被移除后,依赖过滤器而存在的关联权重也会被移除,现有的方法并没有考虑这部分权重的重要性,忽略了权重关联性.同时,通过试错的方式来得到每层的剪枝比例,工作量较大.针对上述问题,本文提出一种基于权重关联性...     

基于联合领域自适应卷积神经网络的多工况故障诊断

近年来,基于深度学习的故障诊断方法取得了显著的成就。然而,传统的深度学习故障诊断方法都基于训练数据与测试数据来自相同的概率分布这一假设。在实际工业应用中,设备工作在复杂多变的工况下,难以保证训练数据与测试数据属于相同分布。当训练数据与测试数据属于不同工况时,训练后的模型在测试集中的准确率会明显下降。为了解决这个问题,提出了一种改进的深度迁移学习算法——联合领域自适应算法。通过最小化源域和目标域的边缘分布差异与条件边缘分布差异,联合领域自适应算法可以获得更强的知识迁移能力。将联合领域自适应算法与卷积神经网络(CNN)结合,提出了一种端到端的多工况故障诊断模型。最后,使用西储大学(Case Western Reserve University)的滚动轴承故障数据集进行实验。实验结果显示模型在多工况故障诊断中的表现优于传统的深度学习、数据驱动与迁移学习算法。     

自适应增强卷积神经网络图像识别

目的 为了进一步提高卷积神经网络的收敛性能和识别精度,增强泛化能力,提出一种自适应增强卷积神经网络图像识别算法。方法 构建自适应增强模型,分析卷积神经网络分类识别过程中误差产生的原因和误差反馈模式,针对分类误差进行有目的地训练,实现分类特征基于迭代次数和识别结果的自适应增强以及卷积神经网络权值的优化调整。自适应增强卷积神经网络与多种算法在收敛速度和识别精度等性能上进行对比,并在多种数据集上检测自适应卷积神经网络的泛化能力。结果 通过对比实验可知,自适应增强卷积神经网络算法可以在很大程度上优化收敛效果,提高收敛速度和识别精度,收敛时在手写数字数据集上的误识率可降低20.93%,在手写字母和高光谱图像数据集上的误识率可降低11.82%和15.12%;与不同卷积神经网络优化算法对比,误识率比动态自适应池化算法和双重优化算法最多可降低58.29%和43.50%;基于不同梯度算法的优化,误识率最多可降低33.11%;与不同的图像识别算法对比,识别率也有较大程度提高。结论 实验结果表明,自适应增强卷积神经网络算法可以实现分类特征的自适应增强,对收敛性能和识别精度有较大的提高,对多种数据集有较强的泛化能力。这种自适应增强模型可以进一步推广到其他与卷积神经网络相关的深度学习算法中。     

基于权重能量自适应分布的三维形状分割算法

针对三维形状分割问题,提出一种引入权重能量自适应分布参与深度神经网络训练的全监督分割算法.首先对三维形状表面进行过分割得到若干小块,提取每一个小块的特征描述符向量作为神经网络的输入,计算权重能量自适应分布,将经过加权后的分割标签作为神经网络的输出,训练深度神经网络.对于新的未分割的三维模型,提取模型表面三角面片的特征向量后输入到神经网络中进行预测分割后,对预测分割的边缘进行修整得到分割结果,实现三维模型的自动分割.在普林斯顿三维模型分割数据集上的实验结果表明,算法通过在训练过程中引入权重能量自适应分布,可以大幅降低神经网络训练时的均方误差,提高神经网络预测结果的准确率;与传统算法相比,该算法具有高准确率、强鲁棒性、强学习扩展能力等优点.     

基于膨胀卷积神经网络模型的中文分词方法

目前,许多深度神经网络模型以双向长短时记忆网络结构处理中文分词任务,存在输入特征不够丰富、语义理解不全、计算速度慢的问题。针对以上问题,该文提出一种基于膨胀卷积神经网络模型的中文分词方法。通过加入汉字字根信息并用卷积神经网络提取特征来丰富输入特征;使用膨胀卷积神经网络模型并加入残差结构进行训练,能够更好理解语义信息并提高计算速度。基于Bakeoff 2005语料库的4个数据集设计实验,与双向长短时记忆网络模型的中文分词方法做对比,实验表明该文提出的模型取得了更好的分词效果,并具有更快的计算速度。     

基于多通道卷积神经网络的中文微博情感分析

近年来,深度学习在情感分析任务中的应用得到了越来越多的关注.针对以文本词向量作为输入的卷积神经网络无法充分利用情感分析任务中特有的情感特征信息,以及难以有效表示每个词语在句子中的重要程度等问题,提出一种基于多通道卷积神经网络(multi-channels convolutional neural networks, MCCNN)的中文微博情感分析模型.该模型针对情感分析任务中特有的情感信息来构建文本输入矩阵,使模型在训练过程中有效获取输入句子的情感特征信息.同时,该模型通过将不同特征信息结合形成不同的网络输入通道,使网络模型在训练过程中从多方面的特征表示来学习输入句子的情感信息,有效表示出每个词语在句子中的重要程度,获取更多的隐藏信息.最后在COAE2014数据集和微博语料数据上进行实验,取得了比普通卷积神经网络、结合情感信息的卷积神经网络和传统分类器更好的性能.     

基于多样化特征卷积神经网络的情感分析

深度网络模型在微博情感倾向性分析过程中难以有效利用情感特征信息,为此,提出一种基于多样化特征信息的卷积神经网络(MF-CNN)模型。结合词语多样化的抽象特征和2种网络输入矩阵计算方法,利用句中的情感信息,以优化情感分类效果。在COAE2014和微博语料数据集上进行文本情感分析,结果表明,MF-CNN模型的情感分类效果优于传统的分类器和深度卷积神经网络模型。     

基于噪声对比估计的权重自适应对抗生成式模仿学习

传统模仿学习需满足专家样本均为质量极高的最优专家样本,这一限制条件既提高数据的采集难度也限制算法的应用场景.由此,文中提出基于噪声对比估计的权重自适应对抗生成式模仿学习算法(Weight Adaptive Generative Adversarial Imitation Learning Based on Noise Contrastive Estimation, GLANCE),在专家样本质量不一致的任务场景下可保持较高性能.首先,使用噪声对比估计训练特征提取器,改善次优专家样本特征分布.然后,为专家样本设定可学习权重系数,并对基于权重系数重分布后的样本执行对抗生成式模仿学习.最后,基于已知相对排序的评估数据计算排序损失,通过梯度下降法优化权重系数,改善数据分布.在多个连续控制型任务上的实验表明,专家样本质量不一致时,GLANCE仅需要获取专家样本数据集上5%数据作为评估数据集,就可以达到较优的性能表现.     

基于卷积神经网络的语句级新闻分类算法

针对传统的中文文本分类在海量的互联网信息中难以胜任的现状,提出一种语句级的卷积神经网络中文新闻分类方案。通过信息提取算法从长短不一的新闻数据中提取固定大小的新闻摘要,压缩输入量的同时统一输入格式。信息提取时,通过对TF-IDF算法进行改进提升新闻摘要的质量,结合word2vec技术和卷积神经网络完成文本分类任务。与传统方法相比,词向量模型的引入弥补了传统词袋模型的缺陷,且语句的语义远比词的更加全面,使用语句进行分类更加可靠。通过实验对比验证了该方案具有较好的性能。     

基于自适应神经网络的岩性识别动态建模

针对研究对象定量研究复杂度高的地质工作，应用计算机进行定量化和信息化的研究，需要建立一定的数学模型，然而，传统的数学方法难以得到精确的数学模型，神经网络作为一非线性建模方法，具有良好的自组织和自适应性等功能，可以逼近任意的非线性函数（映射）。本文提出利用神经网络的自组织，自学习，自适应功能实现数学模型的实时建立的方法，并在反传神经算法前馈神经网络（BP）模型引入了自适应动量因子α，使得网络计算量小，收敛速度快，最后将该模型应用到某地岩性识别动态建模中，取得了较好的效果。     

一种基于前向无监督卷积神经网络的人脸表示学习方法

当前基于深度卷积神经网络的人脸表示学习方法需要利用海量的有标注的人脸数据。在实际应用中,精确标注人脸的身份非常困难。因此,提出了一种基于前向无监督卷积神经网络的人脸表示学习方法。其中,基于K-means聚类获取训练样本虚拟标签,再利用线性判别分析进行卷积核学习。提出的网络结构简单有效,训练阶段不需要反向传递,训练速度显著优于有监督的深度卷积神经网络。实验结果表明,提出的方法在真实条件下的人脸数据集LFW和经典的Feret数据集上取得了优于当前主流的无监督特征学习方法和局部特征描述子的性能。     

基于卷积神经网络的多标签图像自动标注

如今生活中,图像资源无处不在,海量的图像让人应接不暇。如何快速有效地对这些图像信息进行查询、检索和组织,成为了当前亟需解决的热门问题。而图像自动标注是解决基于文本的图像检索的关键。文中提出的这套基于深度学习模型中的卷积神经网络模型的多标签图像自动标注系统,实现了多标签损失排名函数,完成了多标签数据的训练与测试。在实验验证上,先选取CIFAR-10数据集进行算法的有效性测试,然后选取多标签图像数据集Corel 5k进行定量测试比较,结果表明,该算法的综合性能指标与现有算法相比有较大的提升。     

基于深度卷积神经网络的目标检测技术的研究进展

目标检测是计算机视觉领域中的一个研究热点。近年来,深度学习中的卷积神经网络在目标检测任务上表现突出。文中综述了深度学习在目标检测技术中的研究进展。首先,介绍了目标检测的两种方法和常用数据集,并分析了基于深度学习的方法在目标检测任务上所具有的优势。其次,根据深度学习的目标检测方法的发展过程,介绍了该方法所使用的经典卷积神经网络模型,并分析了各网络模型的特点。然后,从获取特征的能力、检测的速度及所使用的关键技术等方面进行了分析和总结。最后,根据基于深度学习的目标检测方法中存在的困难和挑战,对未来的发展趋势做了思考和展望。     

基于深度学习的隐式篇章关系识别综述

隐式篇章关系识别是自然语言处理中一项富有挑战性的任务,旨在判断缺少连接词的两个论元(子句或者句子)之间的语义关系(例如转折)。近年来,随着深度学习在自然语言处理领域的广泛应用,各种基于深度学习的隐式篇章关系识别方法取得了不错的效果,其性能全面超越了早期基于人工特征的方法。文中分三大类对最近的隐式篇章关系识别方法进行讨论:基于论元编码的方法、基于论元交互的方法和引入显式篇章数据的半监督方法。在PDTB数据集上的实验结果显示:1)通过显式地建模论元中词或文本片段之间的语义关系,基于论元交互的方法的性能明显好于基于论元编码的方法;2)引入显式篇章数据的半监督方法能有效地缓解数据稀疏问题,从而进一步提升识别的性能。最后,分析了当前面临的主要问题,并指出了未来可能的研究方向。     

结合网络表示学习和文本卷积网络的类案发现

作为“智慧法院”的核心应用之一,相似裁判文书的发现有助于解决司法过程中裁判尺度不统一、类案不同、量刑不规范等问题。目前,一部分方法侧重于从裁判文书中总结领域特征,并将这些特征融入到语言模型中来提升相似文书发现的效果。另一部分工作将其转化为分类任务,利用有监督学习模型来进行建模与预测。然而,已有的方法没有考虑将语言模型与分类模型各自的优势进行结合。为此,提出一种基于网络表示学习（network representation learning）和文本卷积网络（convolutional neural network for texts）的类案发现方法。方法分别从无监督学习与有监督学习的视角来建模裁判文书中的信息,并根据法律知识体系对原有模型的负采样方法（negative sampling）进行改进。最终,方法设计了一种较为合理的投票机制将两类模型的结果进行融合。实验结果表明,提出的联合方法较已有方法能在类案发现任务中取得更高的推送准确率。     

基于BGRU池的卷积神经网络文本分类模型

针对深度学习在处理文本分类问题时存在的适应度小、精确度较低等问题,提出一种采用双向门控循环单元(BGRU)进行池化的改进卷积神经网络模型。在池化阶段,将BGRU产生的中间句子表示与由卷积层得到的局部表示进行对比,将相似度高的判定为重要信息,并通过增大其权重来保留此信息。该模型可以进行端到端的训练,对多种类型的文本进行训练,适应性较强。实验结果表明,相较于其他同类模型,提出的改进模型在学习能力上有较大优势,分类精度也有显著提高。     

基于权重分摊的LeNet-5卷积神经网络防御策略

随着神经网络在自动驾驶、医疗诊断等关键领域的应用不断深入,如何确保神经网络的鲁棒性和安全性已成为当前研究的热点和挑战。在对抗攻击、数据中毒攻击、后门攻击等众多攻击方式中,随机翻转攻击是一种对安全性影响极大的攻击,其通过改变模型内部的权重参数来攻击网络,以降低网络性能。为应对此攻击方式,研究了一种基于权重分摊的防御策略。通过计算和分析权重的梯度来确定关键神经元,并为这些神经元添加冗余结构,使错误的权重最终被稀释,以提高模型的容错能力。为了验证这一防御策略,以LeNet-5模型为实验对象进行实验。实验表明,在相同的攻击条件下,经过防御后的模型相较于原始LeNet-5模型,容错精度提升了6.5%,相较于Inception-LeNet-5模型在全连接层上容错精度提升了1.9%。     

Neural Natural Language Processing for unstructured data in electronic health records: A review

Electronic health records (EHRs), digital collections of patient healthcare events and observations, are ubiquitous in medicine and critical to healthcare delivery, operations, and research. Despite this central role, EHRs are notoriously difficult to process automatically. Well over half of the information stored within EHRs is in the form of unstructured text (e.g., provider notes, operation reports) and remains largely untapped for secondary use. Recently, however, newer neural network and deep learning approaches to Natural Language Processing (NLP) have made considerable advances, outperforming traditional statistical and rule-based systems on a variety of tasks. In this survey paper, we summarize current neural NLP methods for EHR applications. We focus on a broad scope of tasks, namely, classification and prediction, word embeddings, extraction, generation, and other topics such as question answering, phenotyping, knowledge graphs, medical dialogue, multilinguality, interpretability, etc.     

基于区域分解的快速卷积神经网络学习策略研究

为加快卷积神经网络的训练,该研究提出一种受区域分解方法启发的新型学习策略。将该方 法应用于残差网络(ResNet)进行图像分类时,使用 ResNet32 可获得最佳结果。进一步地,将 ResNet32 分成 4 个子网络,其中每个子网具有 0.47 M 参数,此为原始 ResNet32 的 1/16,从而简化了学习过程。 此外,由于可以并行训练子网络,因此在使用 CIFAR-10 数据集进行分类任务时,计算时间可以从 8.53 h (通过常规学习策略)减少到 5.65 h,分类准确性从 92.82％ 提高到 94.09％。CIFAR-100 和 Food-101 数 据集也实现了类似的改进。实验结果显示,所提出的学习策略可以大大减少计算时间,并提高分类的 准确性。这表明所提出的策略可以潜在地应用于训练带有大量参数的卷积神经网络。     

基于生成对抗网络和元路径的异质网络表示学习

现实世界中的信息网络大多为异质信息网络,旨在表示低维空间中节点数据的网络表示方法已普遍用于分析异质信息网络,从而有效融合异质网络中丰富的语义信息和结构信息.但是现有的异质网络表示方法通常采用负采样从网络中随机选择节点,并且对节点和边的异质性学习能力不足.受生成式对抗网络和元路径的启发,文中提出了一种新型的异质网络表示方...