联合无监督词聚类的递归神经网络语言模型

研究表明,在递归神经网络语言模型的输入层加入词性标注信息,可以显著提高模型的效果. 但使用词性标注需要手工标注的数据训练,耗费大量的人力物力,并且额外的标注器增加了模型的复杂性. 为了解决上述问题,本文尝试将布朗词聚类的结果代替词性标注信息加入到递归神经网络语言模型输入层. 实验显示,在Penn Treebank语料上,加入布朗词类信息的递归神经网络语言模型相比原递归神经网络语言模型困惑度下降8~9%.     

单层神经网络的高效学习算法研究

本文描述的是目前单层神经网络中的几个高效学习算法，简称为ＧＸＸＸＳＦ，其中ＧＸＸＸＳＦ１和ＧＸＸＸＳＦ２是两个递归最小二乘学习算法，它指出用模拟输出训练单层神经网络。本文对训练单层神经网络又提出一种新的优化方法，它为高效学习算法的发展提供了依据，这种优化方法称为ＧＸＸＸＳＦ３．以ＧＸＸＸＳＦ３为基础，又推出用二进制输出作为训练单层神经网络的第二级学习算法，称为ＧＸＸＸＳＦ４     

高阶对称循环神经网络的非线性辨识

提出一种称为高阶对称循环神经网络,它的结构是对称循环神经网络模型的改变,在自循环神经元与正常输入之间形成由自循环神经元和附加辅助乘法组成的隐含层,由此得出一般动态反应传播算法,算法表明ＨＤＲＮＮ不仅能给出更准确辨识结果,而且以更短训练时间来获得理想精确值。     

基于粗糙集的神经网络结构优化方法

针对神经网络的结构存在冗余的问题,提出了一种利用粗糙集优化神经网络结构的方法。在保持神经网络处理能力的基础上,利用网络的隐层神经元与网络误差构造决策表并进行属性约简,删除冗余的隐层节点。实验证明,该方法可以简化神经网络结构和减少神经网络的训练时间。     

基于图卷积网络的谣言鉴别研究

随着大数据时代的演进,互联网中的谣言成井喷状涌现。目前网络谣言鉴别方法中,基于监督学习的模型在训练过程中需要大量标注数据,同时网络谣言的人工标注用时较长,故提出采用半监督学习的图卷积神经网络,可有效利用无标注数据。通过在有标注节点上训练模型,更新所有节点共享的权重矩阵,将有标注节点信息传播给无标注节点,同时解决监督学习模型泛化能力不强和无监督学习模型不稳定的问题。与基于SVM算法、逻辑回归算法和BiLSTM模型的三种网络谣言鉴别方法相比,该方法在召回率、F1值两个评价指标上分别达到86.1%、85.3%,进一步提升了网络谣言鉴别的准确性和稳定性。该方法可有效减少人工标注代价,鉴别社交媒体和网络新闻中的谣言,为网络谣言的治理提供新思路。     

模糊神经网络算法在倒立摆控制中的应用

本文利用一种可以进行结构和参数学习的模糊神经网络成功地控制一级倒立摆，该网络是一种多层前馈网络，它将传统模糊控制器的基本要件综合到网络结构中。从而使该网络既具备神经网络的低级学习能力，从而还具备模糊逻辑系统类似人的高级推理能力。因而，给定训练数据后，该网络不仅可以学习网络参数，同时还可以学习网络结构。结构学习确定了表示了模糊规则和模糊分段数的连接类型以及隐节点数目。对一级倒立摆的实际控制效果可以证明该算法的性能和实用性。     

基于动态RBF神经网络的板形板厚综合控制仿真研究

基于RBF神经网络的特点提出了一种动态调节隐含层隐节点个数的方法，由2部分组成：首先以网络输出数据的均方误差及其变化率为标准来调节隐含层节点的数目，然后调节优化隐含层节点的中心值，根据广义逆矩阵的方法求出输出层权值．所设计的神经网络具有最少的隐含层节点数，提高了学习训练速度，构造了板形板厚综合控制的数学模型，采用新的模型处理方法，用动态RBF神经网络进行控制仿真，取得了理想的结果．     

神经网络技术在涡流无损检测中的应用

人工神经网络技术在涡流检测中的应用越来越广泛。文中将多层神经网络BP算法应用到主极裂纹涡流无损检测的信号处理中，并对具体的神经网络的结构进行了设计，主要包括输入和输出层的设计，网络数据的准备，网络初始权值的选择，隐含层数及隐含层节点数的设计，网络的训练、检测及性能评价等。结果表明所设计的网络能够对主极裂纹信号进行有效的自动识别，而且识别的准确度很高。     

基于BP神经网络模型的笔记本电脑销售预测研究

针对笔记本电脑销售的不确定性，利用BP神经网络算法构建模型，采用MATLAB对某店铺的2021年笔记本电脑的销售数据进行了网络训练，通过Pearson相关系数来分析输入层各节点和输出层销售额之间的相关性，确定了访客数UV、收藏数、加购物车次数、客单价和支付转化率等5个输入层节点,销售额为输出层节点。实验证明了构建的BP神经网络模型预测值和实际值误差小，预测准确度高，可为笔记本电脑销售计划安排及库存管理提供依据。     

用神经元网络辨识非线性系统中的网络结构选择*

本文定义了神经元网络的权值拟熵，在对多层前馈网训练的常规目标函数中加入权值拟熵作为约束项以改变网络的权值分布从而修定网络结构。将此方法用于一类非线性系统的神经网络辨识中可以优化网络模型输入项数和隐节点数目。     

基于信息几何的统计回馈神经网络非线性自适应预测控制

研究统计回馈神经网络(SRNN)的非线性自适应预测控制.基于混合统计模型,利 用信息几何的处理方法,将SRNN的参数估计转化为一般的线性ARMA系统的最小均方误 差参数估计算法,最终获得SRNN参数估计.获得RNN预测的参数估计以后,可以十分方便 地利用线性ARMA系统的控制规律来设计SRNN的预测控制规律,解决了非线性SRNN预 测参数估计、复杂非线性系统控制规律设计等问题.在研究单隐元SRNN的基础上,进一步 探讨了多隐元SRNN的自适应预测控制问题.     

Investigating the prediction capabilities of the simple recurrent neural network on real temporal sequences

The goal of this paper is to evaluate the prediction capabilities of the simple recurrent neural network (SRNN). The main focus is on the prediction of non-orthogonal vector components of real temporal sequences. A prediction problem is formulated in which the input is a component of a real sequence and the output is a prediction of the next component of the sequence. A method is developed to train a single SRNN to predict the components of sequences belonging to multiple classes. The selection of a distinguishing initial context vector for each class is proposed to improve the prediction performance of the SRNN. A systematic method to re-train the SRNN with noisy exemplars is developed to improve the prediction generalization of the network. Through the methods developed in the paper, it is demonstrated that: (a) a single SRNN can be trained to predict, contextually, the components of real temporal sequences belonging to different classes, (b) the prediction error of the SRNN can be decreased by using a distinguishing initial context vector for each class, and (c) the prediction generalization of the SRNN can be increased significantly by re-training the network with noisy exemplars.     

A new ART-counterpropagation neural network for solving a forecasting problem

This study presents a novel Adaptive resonance theory-Counterpropagation neural network (ART-CPN) for solving forecasting problems. The network is based on the ART concept and the CPN learning algorithm for constructing the neural network. The vigilance parameter is used to automatically generate the nodes of the cluster layer for the CPN learning process. This process improves the initial weight problem and the adaptive nodes of the cluster layer (Kohonen layer). ART-CPN involves real-time learning and is capable of developing a more stable and plastic prediction model of input patterns by self-organization. The advantages of ART-CPN include the ability to cluster, learn and construct the network model for forecasting problems. The network was applied to solve the real forecasting problems. The learning algorithm revealed better learning efficiency and good prediction performance.     

一种神经范畴标注模型

范畴标注是组合范畴语法解析中的子任务之一,可用于提高解析器的效率和性能.传统的最大熵模型需要手工定义特征模板,神经网络则通过隐含层学习到离散特征的分布式表示,从而自动提取分类需要的特征.引入该模型来解决该问题,在原有神经语言模型的基础上加入了向量化的词性表示层和范畴表示层,并通过反向传播自动更新词向量、词性向量和范畴向量,学习到它们的分布式表示.此外,在预测时采用束搜索的序列解码方式来引入标签之间的依赖信息.实验结果表明,这两种改进都能提升模型的性能,使其在范畴标注任务上比传统的最大熵模型效果要好（提升1%）.     

An optimized long short-term memory network based fault diagnosis model for chemical processes

With the development of the chemical industry, fault diagnosis of chemical processes has become a challenging problem because of the high-dimensional data and complex time correlation caused by the more complex chemical processes and increasing number of equipment. However, the ordinary feedforward neural network cannot solve these problems very well. Therefore, this paper proposes a fault diagnosis model based on the optimized long short-term memory (LSTM) network. Since the number of hidden layer nodes in the LSTM network has a great influence on the diagnosis result, the link of determining the optimal number of hidden layer nodes by the iterative method based on the LSTM network is added. Then the LSTM is optimized to get higher chemical process fault diagnosis accuracy. Finally, through the simulation experiment of the Tennessee Eastman (TE) chemical process, the results verify that the optimized LSTM network has better performance in chemical process fault diagnosis than the BP neural network, the multi-layer perceptron method and the original LSTM network.     

改进BP神经网络的光伏系统发电功率预测

为了提高光伏发电功率的预测精度,提出一种改进BP神经网络的光伏发电功率预测模型.首先采用包括室外温度、光照辐射量、风速等作为输入层节点,交流发电功率作为输出节点,引入RMSE作为衡量最优模型指标,确定了隐含层节点数,然后采用BP神经网络对其进行学习,并采用布谷鸟搜索算法对BP神经网络进行优化,最后采用仿真实验对其有效性进行测试.结果表明,改进神经网络提高了光伏发电功率预测精度,具有一定的推广价值.     

递归复合型模糊神经网络结构研究

针对一类能够有效引入过程先验知识的复合型模糊神经网络，研究了其动态结构． 通过对复合型模糊神经网络的函数网络的第二层引入动态递归环节，使其具有动态映射能力 ，实现了对动态系统的良好响应．本文采用了动态非线性模型对其进行仿真研究，结果 表明，对于处理动态非线性系统，此动态复合模糊神经网络较之静态网络在收敛速度、预测 精度和网络规模等方面都有较大的改善．     

自组织过程神经网络及其应用研究

针对与时间过程有关的模式分类问题，提出了一种自组织过程神经元网络模型．网络由输入层和竞争层组成，其输入和连接权可为与时间有关的函数，输入层结点与竞争层结点实行全互连接．网络提取输入函数所隐含的过程式模式特征，并对其进行自组织，在竞争层将分类结果表现出来．为简化计算，在输入空间中引入函数正交基，将输入函数和网络权函数表示为正交基的展开形式，利用基函数的正交性，使网络权函数的调整非时变化．给出了竞争学习和有教师示教两种学习算法，并以石油地质中沉积微相识别问题为例证明了模型和算法的有效性．     

基于小生境技术的火灾图像识别算法

火灾图像识别是火灾探测研究的重要组成部分。随着人工智能技术应用的不断深入,遗传算法和神经网络也被应用到火灾图像识别中。针对目前的遗传神经网络火灾图像识别算法、网络结构不易确定的问题,本文提出了一种基于小生境技术的火灾图像识别算法,即依据火灾图像识别的特点,建立了多层前向神经网络模型,模型的输入、输出层节点数确定,隐含层数、隐含层节点数待定;然后对网络结构和权值、阈值编码,分别采用小生境技术和传统遗传算法训练神经网络模型。实验结果显示,本算法可有效减少进化的代数,加快训练的过程,最后采用训练好的神经网络模型对火灾图像进行识别,取得了较好的效果。     

面向时空图建模的图小波卷积神经网络模型

时空图建模是分析图形结构系统中各要素空间关系与时间趋势的一个基础工作.传统的时空图建模方法,主要基于图中节点与节点关系固定的显式结构进行空间关系挖掘,这严重限制了模型的灵活性.此外,未考虑节点间的时空依赖关系的传统建模方法不能捕获节点间的长时时空趋势.为了克服这些缺陷,研究并提出了一种新的用于时空图建模的图神经网络模型,即面向时空图建模的图小波卷积神经网络模型（Graph Wavelet Convolutional Neural Network for Spatiotemporal Graph Modeling,GWNN-STGM）,称为GWNN-STGM.在GWNN-STGM中设计了一个图小波卷积神经网络层,并在该网络层中设计并引入了自适应邻接矩阵进行节点嵌入学习,使得模型能够在不需要结构先验知识的情况下,从数据集中自动发现隐藏的结构信息.此外,GWNN-STGM还包含了一个堆叠的扩张因果卷积网络层,使模型的感受野能够随着卷积网络层数的增加呈指数增长,从而能够处理长时序列.GWNN-STGM成功将图小波卷积神经网络层和扩张因果卷积网络层两个模块进行有效集成.通过在公共交通网络数据集上试验发现,提出的GWNN-STGM的性能优于其他的基准模型,这表明设计的图小波卷积神经网络模型在从输入数据集中探索时空结构方面具有很大的潜力.