图神经网络在自然语言处理中的应用

近几年,神经网络因其强大的表征能力逐渐取代传统的机器学习成为自然语言处理任务的基本模型。然而经典的神经网络模型只能处理欧氏空间中的数据,自然语言处理领域中,篇章结构,句法甚至句子本身都以图数据的形式存在。因此,图神经网络引起学界广泛关注,并在自然语言处理的多个领域成功应用。该文对图神经网络在自然语言处理领域中的应用进行了系统性的综述,首先介绍了图神经网络的核心思想并梳理了三种经典方法: 图循环网络,图卷积网络和图注意力网络;然后在具体任务中,详细描述了如何根据任务特性构建合适的图结构以及如何合理运用图结构表示模型。该文认为,相比专注于探索图神经网络的不同结构,探索如何以图的方式建模不同任务中的关键信息,是图神经网络未来工作中更具普遍性和学术价值的一个研究方向。     

基本积分型李亚普诺夫函数的直接自适应神经网络控制

针对一类具有下三角形函数控制增益矩阵的非线性系统,基于滑模控制原理,并利用 多层神经网络的逼近能力,提出了一种直接自适应神经网络控制器设计的新方案.通过引入积 分型李亚普诺夫函数及残差与逼近误差和的上界函数的自适应补偿项,证明了闭环系统是全局 稳定的,跟踪误差收敛到零.     

全卷积多并联残差神经网络

随着人工智能的火热发展,深度学习已经在很多领域占有了一席之地.作为深度学习中一个典型网络--残差神经网络模型自提出之日起就成为了众多研究者的关注点.然而,残差神经网络还有很大的改进空间.为了更好地解决反向传播中梯度减小的问题,本文提出了一种改进的残差神经网络,称为全卷积多并联残差神经网络.在该网络中,每一层的特征信息不仅传输到下一层还输出到最后的平均池化层.为了测试该网络的性能,分别在三个数据集(MNIST,CIFAR-10和CIFAR-100)上对比图像分类的结果.实验结果表明,改进后的全卷积多并联残差神经网络与残差网络相比具有更高的分类准确率和更好的泛化能力.     

基于改进残差网络的评论情感分析

人类的自然语言中包含关于事实的客观信息和具有人类主观情感的关键信息。论坛、BBS、博客和评论网站的快速发展,导致反映了用户对产品、政策、人和事件等的态度、观点和看法的关键信息的数量激增。目前,情感分析已发展成为自然语言处理的热门研究领域。卷积神经网络（Convolutional Neural Networks,CNN）随层数加深,梯度消失现象明显,进而造成情感识别率降低,且其最优结构难以确定CNN。残差网络依赖残差框架较好地解决了存在的梯度消失现象,但其缺乏正则化方法,不能通过选择合适的子路径集合提升模型表现。现提出一种新的改进残差网络（Improved Residual Network,IResNet）框架,其通过选择合适的子路径集合提升模型表现,较好地解决了CNN和残差网络存在的问题。     

基于神经网络多步时序预测的非线性系统故障诊断

提出一种新的基于神经网络多步时序预测的非线性系统故障诊断方法。该方法先利用回归神经网络对多个传感器检测序列并进行多步预测,再由多步预测序列和传感器检测序列生成历史残差序列和预测残差序列。最后,根据统计定义的几个决策指标进行故障检测与诊断。与其它方法相比,本文方法所需信息较少、可诊断的故障较多。仿真表明该方法是有效的,可有效地增强故障信息、抑制非故障信息。     

灰色补偿神经网络及其应用研究

本文给出了灰色系统与神经网络的一种新的结合方式—灰色补偿神经网络。该网络利用神经网络建立残差与数据间的映射关系,并采用其预测结果补偿灰色系统模型的预测值。仿真结果表明本方法优于其它灰色神经网络。     

SaGE:基于句法感知图卷积神经网络和ELECTRA的中文隐喻识别模型

隐喻是人类语言中经常出现的一种特殊现象,隐喻识别对于自然语言处理各项任务来说具有十分基础和重要的意义。针对中文领域的隐喻识别任务,该文提出了一种基于句法感知图卷积神经网络和ELECTRA的隐喻识别模型(Syntax-aware GCN with ELECTRA, SaGE)。该模型从语言学出发,使用ELECTRA和Transformer编码器抽取句子的语义特征,将句子按照依存关系组织成一张图并使用图卷积神经网络抽取其句法特征,在此基础上对两类特征进行融合以进行隐喻识别。该模型在CCL 2018中文隐喻识别评测数据集上以85.22%的宏平均F₁值超越了此前的最佳成绩,验证了融合语义信息和句法信息对于隐喻识别任务具有重要作用。     

灰色补偿神经网络及其应用研究

本文给出了灰色系统与神经网络的一种新的结合方式-灰色补偿神经网络.该网络利用神经网络建立残差与数据间的映射关系,并采用其预测结果补偿灰色系统模型的预测值.仿真结果表明本方法优于其它灰色神经网络.     

基于改进残差网络的人脸识别算法

针对传统的人脸识别技术对于人脸特征提取的能力有限的问题,提出了一种改进的残差神经网络人脸识别算法.通过对原有残差神经网络模型结构的调整,适当增加卷积输出,减少残差单元的方法来提高网络性能,从而提高残差神经网络提取人脸特征的能力.实验结果表明:提出的算法在自建数据集OurFace和CASIA-WebFace数据集上取得了优于现有残差网络的人脸识别性能.     

基于图卷积神经网络的文本分类方法研究综述

文本分类是自然语言处理领域中常见的任务,机器学习和深度学习在该任务中已有较多研究并取得了很大进展,然而,这些传统方法只能处理欧氏空间的数据,不能完全有效地表达出文本的语义信息。为了打破传统的学习模式,诸多研究开始尝试用图表示文本中各实体间的丰富关系,并利用图卷积神经网络学习文本表示。文中对基于图卷积神经网络的文本分类方法进行了综述,首先概述了图卷积神经网络的背景与原理;其次,利用不同类型的图网络详细阐述了基于图卷积神经网络的文本分类方法,同时分析了图卷积神经网络在网络深度上的局限性,并介绍了深层网络在文本分类任务上的最新进展;最后,通过实验比较了各模型的分类性能,并探讨了该领域的难点与未来的发展方向。     

基于广义回归网络的动态权重回归型神经网络集成方法研究

神经网络集成技术能有效地提高神经网络的预测精度和泛化能力,已成为机器学习和神经计算领域的一个研究热点。针对回归分析问题提出了一种动态确定结果合成权重的神经网络集成构造方法,在训练出个体神经网络之后,根据各个体网络在输入空间上对训练样本的预测误差,应用广义回归网络来动态地确定各个体网络在特定输入空间上的权重。实验结果表明,与传统的简单平均和加权平均方法相比,本集成方法能取得更好的预测精度。     

基于广义回归网络的动态权重回归型神经网络集成方法研究*

神经网络集成技术能有效地提高神经网络的预测精度和泛化能力,已成为机器学习和神经计算领域的一个研究热点。针对回归分析问题提出了一种动态确定结果合成权重的神经网络集成构造方法,在训练出个体神经网络之后,根据各个体网络在输入空间上对训练样本的预测误差,应用广义回归网络来动态地确定各个体网络在特定输入空间上的权重。实验结果表明,与传统的简单平均和加权平均方法相比,本集成方法能取得更好的预测精度。     

粗糙集在神经网络中应用技术的研究*

通过对有关粗糙集与神经网络相结合的研究现状,关键技术和发展趋势进行分析,给出了一个三维应用框架,并介绍了粗糙集用于数据预处理、神经元设计和粗糙集用于神经网络结构设计几个方面的应用现状,并给出了粗糙集在神经网络中应用的关键技术。     

基于自动修补策略的网络剪枝

为有效缓解深度神经网络因其庞大的计算资源消耗而产生的实际应用受限的问题,研究人员设计包括剪枝在内的多种压缩策略.基于贪心思想的网络剪枝算法大都包含训练、剪枝、微调三部分,无法求得最优的剪枝结构.因此,文中结合人工规则和自动搜索方法,提出基于自动修补策略的网络剪枝.整体剪枝流程包括训练、预剪枝、修补和微调四个阶段,增加的...     

神经网络集成的设计与应用

传统的神经网络一般采用个体网络,其应用效果很大程度上取决于使用者的经验,且网络的泛化能力不强.一种改进的神经网络集成方法,为传统神经网络存在的问题提供了一个简易的解决方案.由理论分析和实验结果可以得出结论,神经网络集成方法比传统的个体网络方法的效果更好.     

基于神经网络集成的数据分析

神经网络集成通过训练多个神经网络并将其结论进行适当的合成,可以显著地提高学习系统的泛化能力.然而,设计一个好的神经网络集成必须在个体准确性与彼此差异性之间取得一个平衡.本文提出了一种改进的神经网络集成构造方法--基于噪声传播的神经网络集成算法(NSENN).     

粗糙神经网络及其在中医智能诊断系统中的应用

文章利用Rough Set技术对人工神经网络进行预处理,求取核属性,构造粗糙人工神经网络, 并应用到中医类风湿病分型诊断建模。计算机仿真结果证明了用Rough Set辅助设计人工神经网络,改善了网络的学习能力,并在实践取得了满意的效果。     

Neural network based texture analysis of CT images for fatty and cirrhosis liver classification

Computational methods are useful for medical diagnosis because they provide additional information that cannot be obtained by simple visual interpretation of clinical presentations and radiologic imaging. As a result an enormous amount of research effort has been targeted at achieving automated medical image analysis. This work reports the texture analysis of Computed Tomography (CT) images and development of Probabilistic Neural Network (PNN), Linear Vector Quantization (LVQ) Neural Network and Back Propagation Neural Network (BPN) for classification of fatty and cirrhosis liver from CT abdominal images. Neural networks are supported by more conventional image processing operations in order to achieve the objective set. To evaluate the classifiers, Receiver Operating Characteristic (ROC) analysis is done and the results are also evaluated by the radiologists. Experimental results show that PNN is a good classifier, giving an accuracy of 95% for classifying fatty and cirrhosis liver using wavelet based statistical texture features.     

一种新型单回路智能调节器的研制

介绍一种基于神经网络理论、专家系统理论和模糊系统理论设计的单回路智能调节器。该调节器采用了先进的智能算法模块、强劲的电子抗干扰电路设计。它是一个完整的计算机系统，既可用于对温度、压力、流量、转速等工业参量的调节控制，又可在各种自动控制系统中作为独立的单回路自适应控制使用。     

新型模糊形态神经网络及其应用研究

该文在简要介绍形态学神经网络(MorphologicalNeuralNetwork,简称MNN)的基础上,提出了一种新型的模糊形态学神经网络,给出了其相应的模型。结合实例,比较了常见BP网络、形态学BP神经网络和模糊形态BP神经网络的训练结果和性能。实验结果表明,这种新型的神经网络具有较高的识别率和适应能力,同时此新型神经网络的提出丰富了神经网络模糊技术的研究。