降噪自编码器深度卷积过程神经网络及在时变信号分类中的应用

针对非线性时变信号分类问题,将过程神经网络（PNN）的信息处理机制与卷积运算相结合,提出了一种降噪自编码器深度卷积过程神经网络（DAE-DCPNN）。该模型由时变信号输入层、卷积过程神经元（CPN）隐层、深度降噪自动编码器（DAE）网络结构和softmax分类器构成。CPN的输入为时序信号,卷积核取为具有梯度性质的5阶数组,基于滑动窗口进行卷积运算,实现时序信号的时空聚合和过程特征提取。在CPN隐层之后,栈式叠加DAE深度网络和softmax分类器,实现对时变信号特征高层次的提取和分类。分析了DAE-DCPNN的性质,给出了按各信息单元分别进行赋初值训练、模型参数整体调优的综合训练算法。以基于12导联心电图（ECG）信号对7种心血管疾病分类诊断为例,实验结果验证了所提模型和算法的有效性。     

改进的GGAP-RBF算法及其在函数逼近中的应用

在GGAP-RBF算法的基础上,提出RBF神经网络的一种改进算法,结合网络中隐层神经元径向基函数的宽度自适应调整算法和重合度阈值的动态调整方法.通过函数逼近领域中的3个Benchmark问题,改进算法与RAN、RANEKF、MRAN、IRAN和GGAP-RBF(GAP-RBF)算法做比较.仿真结果表明在需要较少隐层神经元和训练时间前提下,改进算法训练的网络有较好的泛化能力.     

多层前向人工神经网络图像分类算法

传统人工神经网络的输入均为向量形式,而图像由矩阵形式表示,因此,在用人工神经网络进行图像处理时,图像将以向量形式输入至神经网络,这破坏了图像的结构信息,从而影响了图像处理的效果。为了提高网络对图像的处理能力,文中借鉴了深度学习的思想与方法,引进了具有矩阵输入的多层前向神经网络。同时,采用传统的反向传播训练算法(BP)训练该网络,给出了训练过程与训练算法,并在USPS手写数字数据集上进行了数值实验。实验结果表明,相对于单隐层矩阵输入前向神经网络(2D-BP),所提多层网络具有较好的分类效果。此外,对于彩色图片分类问题,利用所提出的2D-BP网络,给出了一个有效的可行方法。     

一种结构自适应径向基函数神经网络

提出了一种新的结构自适应的径向基函数(RBF)神经网络模型。在该网络中,自组织映射(SOM)神经网络作为聚类网络,采用无监督学习算法对输入样本进行自组织分类,并将分类中心及其对应的权值向量传递给RBF神经网络,作为径向基函数的中心和相应的权值向量;RBF神经网络作为基础网络,采用高斯函数实现输入层到隐层的非线性映射,输出层则采用有监督学习算法训练网络的权值,从而实现输入层到输出层的非线性映射。通过对字母数据集进行仿真,表明该网络具有较好的性能。     

基于Bagging算法和遗传神经网络的交通事件检测

提出一种集成遗传神经网络的交通事件检测方法,以上下游的流量和占有率作为特征,RBF神经网络作为分类器进行交通事件的自动分类与检测。在RBF神经网络的训练过程中,采用遗传算法GA（Genetic Algorithm）对RBF神经网络的隐层中心值和宽度进行优化,用递推最小二乘法训练隐层和输出层之间的权值。为了提高神经网络的分类能力,采用Bagging算法,进行网络集成。通过Matlab仿真实验,证明该方法相对于传统的事件检测算法能更准确、快速地实现分类。     

一种结构自适应的径向基函数神经网络

提出了一种新的结构自适应的径向基函数(RBF)神经网络模型。在该模型中,自组织映射(SOM)神经网络作为聚类网络,采用无监督学习算法对输入样本进行自组织分类,并将分类中心及其对应的权值向量传递给RBF神经网络,分别作为径向基函数的中心和相应的权值向量;RBF神经网络作为基础网络,采用高斯函数实现输入层到隐层的非线性映射,输出层则采用有监督学习算法训练网络的权值,从而实现输入层到输出层的非线性映射。通过对字母数据集进行仿真,表明该网络具有较好的性能。     

基于软竞争机制的对传网络模型及应用

针对传统对传网络(CounterPropagationNetwork,CPN)模型和学习算法存在的问题和不足,提出改进模型及竞争层的改进算法。在竞争层使用软竞争机制得到竞争层的输出,克服传统CPN使用胜者全得竞争机制的弊病,使竞争层中每一个神经元节点能充分发挥作用,参与网络的训练和权值的调整,提高竞争层中神经元的利用率,使网络能实现运用最少的神经元,达到要求的性能。从数值实验的对比看出,由于改进了网络模型和竞争算法,增强了CPN的模拟精度,CPN能更好地逼近模拟函数,提高了CPN的使用效率,网络性能得到了很大的提高。     

基于半监督学习的动态神经网络结构设计

针对神经网络初始结构的设定依赖于工作者的经验、自适应能力较差等问题,提出一种基于半监督学习(SSL)算法的动态神经网络结构设计方法。该方法采用半监督学习方法利用已标记样例和无标记样例对神经网络进行训练,得到一个性能较为完善的初始网络结构,之后采用全局敏感度分析法(GSA)对网络隐层神经元输出权值进行分析,判断隐层神经元对网络输出的影响程度,即其敏感度值大小,适时地删减敏感度值很小的神经元或增加敏感度值较大的神经元,实现动态神经网络结构的优化设计,并给出了网络结构变化过程中收敛性的证明。理论分析和Matlab仿真实验表明,基于SSL算法的神经网络隐层神经元会随训练时间而改变,实现了网络结构动态设计。在液压厚度自动控制(AGC)系统应用中,大约在160 s时系统输出达到稳定,输出误差大约为0.03 mm,与监督学习(SL)方法和无监督学习(USL)方法相比,输出误差分别减小了0.03 mm和0.02 mm,这表明基于SSL算法的动态网络在实际应用中能有效提高系统输出的准确性。     

基于Tanh多层函数的量子神经网络算法及其应用的研究

该文提出一种新的改进激励函数的量子神经网络模型。首先为了提高学习速率,在网络权值训练过程中引入了动量项。然后为了有效实现相邻类之间具有覆盖和不确定边界的分类问题,新网络采用区分度更大的双曲正切函数的叠加作为其隐层激励函数。最后将该算法用于字符识别,将双曲正切激励函数的量子神经网络应用于数字、字母和汉字样本的多次实验,并且与原多层激励函数量子神经网络和BP网络的实验效果进行比较,发现改进后量子神经网络不仅具有较高的识别率,而且在样本训练次数上相对原多层激励函数量子神经网络有明显减少。仿真结果证明该方法的优越性。     

一种改进的粒子群算法在BP网络中的应用研究

采用Sigmoid激活函数的三层前向神经网络能够以任意精度模拟复杂的非线性关系,训练算法对神经网络模式分类的性能有较大影响。基于梯度下降的BP网络存在收敛速度慢、易陷入局部极小的缺陷。粒子群算法是一种全局优化算法。本文针对粒子群算法本身存在的不足加以改进,用改进后的粒子群算法对BP网络进行训练,从而克服BP网络的一些缺陷。采用IRIS分类问题验证了本文提出的方法的有效性。实验结果表明本文采用的方法比普通PSO-BP算法效果更好。     

基于EM算法的对传网络学习及应用

为克服“胜者全得”对传网络的缺陷,提出使用基于软竞争机制的对传网络.这样增加了网络的训练复杂度.为此,把竞争层中隐单元的输出作为未观察到的缺省随机变量,使用EM算法对基于软竞争的对传网络进行训练,降低训练复杂度,加快网络的收敛速度.在实现EM算法的M步时,根据基于软竞争机制对传网络竞争层的特点,对EM算法实现进行改进,没有使用常用的迭代重新加权最小二乘算法,而利用样本加权平均求取隐层单元的权值向量,使EM算法更加简单易行,收敛速度快.仿真实验结果表明,基于软竞争机制的对传网络具有很好的泛化性能,特别在模式分类上具有很好的实际应用价值.     

基于生成对抗网络的乳腺癌病理图像可疑区域标记

本论文针对乳腺癌病理图像分析提出新的方法进行图像特征提取和可疑区域标记。由于深度神经网络,例如 VGG,GoogleNet,ResNet 等,均需要大量的标注样本才能完成训练,而医疗影像图像的标记成本很高,并不能为训练复杂的网络提供足够的训练数据。本论文借鉴生成对抗网络(Generative Adversarial Network, GAN) 的思想,提出基于弱监督学习的病理图像可疑区域标记网络,首先利用少量有标记的病理图像数据来训练分类模型,即判断该图像是否是乳腺癌,然后通过融合该网络提取到的具有判别力的特征来对可疑区域进行标记。由本文提出的网络在已有的国外乳腺癌病理图像数据集上达到的平均准确率为 83.8%,比基于卷积神经网络 (Convolutional Neural Network,CNN) 的分类方法在准确率上分别高 3 个百分点,说明该网络提取到的特征具有更好的判别力,不仅能够提高分类模型的准确率,还更有助于对病理图像的可疑区域进行标记。     

Application of Sequential Learning Neural Networks to Civil Engineering Modeling Problems

A sequential orthogonal approach to the building and training of a single hidden layer neural network is presented in this paper. The Sequential Learning Neural Network (SLNN) model proposed by Zhang and Morris [1]is used in this paper to tackle the common problem encountered by the conventional Feed Forward Neural Network (FFNN) in determining the network structure in the number of hidden layers and the number of hidden neurons in each layer. The procedure starts with a single hidden neuron and sequentially increases in the number of hidden neurons until the model error is sufficiently small. The classical Gram–Schmidt orthogonalization method is used at each step to form a set of orthogonal bases for the space spanned by output vectors of the hidden neurons. In this approach it is possible to determine the necessary number of hidden neurons required. However, for the problems investigated in this paper, one hidden neuron itself is sufficient to achieve the desired accuracy. The neural network architecture has been trained and tested on two practical civil engineering problems – soil classification, and the prediction o strength and workability of high performance concrete.     

基于改进RBF网络的多变量序列建模和预测

针对复杂系统多变量序列预测研究中数据样本过多、信息冗余等问题,从学习样本选择和聚类中心优化两方面对径向基函数(RBF)网络进行改进.基于复杂系统多变量时间序列,首先采用一个线性相关函数和一个非线性相关函数分别计算多变量状态间的线性相关性和非线性相关性,确定一个包含系统有效信息的小数据集;然后基于小数据集,采用K均值聚类方法确定RBF网络的隐层聚类中心,并引入局部搜索过程,优化聚类中心结果;输入其它训练样本,确定网络权值.仿真结果表明,与常规RBF网络学习方法比较,在隐层节点数目相同情况下,改进的方法有效地确定了网络的聚类中心,达到更好的预测精度.     

基于改进BP神经网络的非均衡数据分类算法

传统的分类算法大都默认所有类别的分类代价一致,导致样本数据非均衡时产生分类性能急剧下降的问题.对于非均衡数据分类问题,结合神经网络与降噪自编码器,提出一种改进的神经网络实现非均衡数据分类算法,在神经网络模型输入层与隐层之间加入一层特征受损层,致使部分冗余特征值丢失,降低数据集的不平衡度,训练模型得到最优参数后进行特征分类得到结果.选取UCI标准数据集的3组非均衡数据集进行实验,结果表明采用该算法对小数据集的分类精度有明显改善,但是数据集较大时,分类效果低于某些分类器.该算法的整体分类效果要优于其他分类器.     

基于BP神经网络的说话人识别技术的实现

说话人识别就是从说话人的一段语音中提取出说话人的个性特征,通过对这些个人特征的分析和识别,从而达到对说话人进行辨认或者确认的目的。神经网络是一种基于非线性理论的分布式并行处理网络模型,具有很强的模式分类能力及对不完全信息的鲁棒性,为说话人识别技术提供了一种独特的方法。BP（Back-propagation Neural Network）是一种非循环多级网络训练算法,有输入层,输出层和N个隐含层组成。首先概述了语音识别技术,介绍了BP神经网络训练过程的7个步骤及其模型,如何建立BP神经网络模型。同时介绍了与其相关的特征参数的提取,神经网络的训练和识别过程,最后,通过编程在Linux系统下实现说话人身份的识别。     

基于深信度网络分类算法的行人检测方法

针对目前浅层分类方法存在训练样本数量过大和拟合复杂函数能力较弱等不足,提出一种改进的基于深信度网络分类算法的行人检测方法。首先,通过搭建带T分布函数显层节点的受限波兹曼机输入端改进深信度网络的输入方式,将行人特征提取信息通过输入端的显层结构转化为分类器可以识别的伯努利分布方式;其次,搭建多隐层受限波兹曼机中间层结构,实现隐层结构间的数据传递,保留关键信息。最后,利用BP神经网络搭建分类结构的输出端,实现分类误差信息反向传播并对分类结构的参数进行微调,不断优化分类器结构。实验证明,改进的深信度网络行人检测算法性能优于经典浅层分类算法,算法的检测速度也能满足使用要求。     

改进卷积神经网络在遥感图像分类中的应用

针对传统卷积神经网络（CNN）稀疏网络结构无法保留全连接网络密集计算的高效性和实验过程中激活函数的经验性选择造成结果不准确或计算量大的问题,提出一种改进卷积神经网络方法对遥感图像进行分类。首先,利用Inception模块的不同尺度卷积核提取图像多尺度特征,然后利用Maxout模型学习隐藏层节点的激活函数,最后通过Softmax方法对图像进行分类。在美国土地使用分类数据集（UCM_LandUse_21）上进行的实验结果表明,在卷积层数相同的情况下,所提方法比传统的CNN方法分类精度提高了约3.66%,比同样也基于多尺度深度卷积神经网络（MS_DCNN）方法分类精度提高了2.11%,比基于低层特征和中层特征的视觉词典等方法分类精度更是提高了10%以上。因此,所提方法具有较高的分类效率,适用于图像分类。