一种混合结构前向神经网络的快速学习算法

本文构造了一种新的基于线性模型、多层前向网络的混合结构神经网络模型,并提出了相应的非迭代快速学习算法.该学习算法能够根据拟合精度要求,运用线性最小二乘法确定相应的最佳网络权值和线性部分的参数,并自动确定最佳的隐层节点数.与BP网络的比较结果表明,本文提出的混合结构前向神经网络的快速学习算法无论在拟合精度、学习速度、泛化能力、还是隐节点数均显著好于BP算法.     

基于Preisach模型的深度学习网络迟滞建模

针对传统压电扫描器迟滞模型泛化能力较弱的问题,提出了一种基于Preisach模型的深度学习网络来建立迟滞模型,提高了模型的学习能力和泛化能力.具体而言,首先利用深度学习在深度特征提取方面的优势,建立包含卷积层、池化层、展开层以及深度特征层的深度学习层来提取输入电压信号的特征信息;其次,利用傅里叶变换层计算得到输入信号的频率,并将频率输入到非线性层,构造并输出了与输入信号频率相关的非线性项,该非线性项作为权值函数与Preisach模型的迟滞单元输出相乘,并将乘积叠加得到了频率相关的模型输出向量;最后,将深度学习层输出的特征向量与Preisach模型输出向量点乘,即可得到深度学习网络的最终输出位移.同时利用电容位移传感器采集的16组输入输出信号对深度学习网络进行训练,得到了网络中的权值参数,并利用其他8组输入输出数据对深度网络进行测试,训练和测试结果表明,本文所提出的基于Preisach模型的深度学习网络在得到高精度迟滞模型的同时,提高了模型的泛化能力.     

径向基函数神经网络的一种两级学习方法

建立RBF(radial basis function)神经网络模型关键在于确定网络隐中心向量、基宽度参数和隐节点数.为设计结构简单,且具有良好泛化性能径向基网络结构,本文提出了一种RBF网络的两级学习新设计方法.该方法在下级由正则化正交最小二乘法与D-最优试验设计结合算法自动构建结构节俭的RBF网络模型;在上级通过粒子群优化算法优选结合算法中影响网络泛化性能的3个学习参数,即基宽度参数、正则化系数和D-最优代价系数的最佳参数组合.仿真实例表明了该方法的有效性.     

基于迁移学习的离心式水泵扬程性能预测

离心式水泵作为工业领域常见的抽水机械,一直有着广泛的应用.然而在其性能指标预测过程中,理论模型难以达到高精度要求,而机器学习模型难以应用于多工况环境.本文提出了一个最小二乘归纳式迁移学习(LSITL)方法,该方法利用离心式水泵扬程性能曲线特征,通过最小二乘方式提取迁移知识,并利用归纳法建立多工况下的迁移模型,再通过最小...     

基于正则前馈神经网络的股票时间序列数据库的知识发现

将正则最小二乘前馈网络学习算法应用干时间序列的知识发现。正则最小二乘算法将正则化网络和节点删除算法结合起来，大大提高了前馈网络的泛化性能。将其应用于股票时间序列数据库的暂态规则的知识发现．发现过程包括时间序列数据库预处理和数据挖掘(规则发现)两部分。实验结果表明预测效果良好。     

基于改进资源分配网络的企业能耗单元输入输出模型研究

针对企业复杂能耗单元输入输出模型研究的要求,研究了基于改进资源分配网络的能耗单元输入输出模型辨识方法。针对常用的资源分配网络存在的问题,提出了一种基于粗糙集和正交最小二乘的资源分配网络设计方法,通过粗糙集数据分析与处理提取训练样本中典型的数据特征,再结合正交最小二乘学习算法选取对输出能量贡献最大的数据中心加入到隐层节点。实例仿真结果表明,采用该方法辨识企业能耗单元输入输出模型具有结构简单、训练快捷、泛化能力较好等优点。     

基于- 范数约束的LSSVR 多核学习算法

针对核函数选择对最小二乘支持向量机回归模型泛化性的影响, 提出一种新的基于????- 范数约束的最小二乘支持向量机多核学习算法. 该算法提供了两种求解方法, 均通过两重循环进行求解, 外循环用于更新核函数的权值, 内循环用于求解最小二乘支持向量机的拉格朗日乘数, 充分利用该多核学习算法, 有效提高了最小二乘支持向量机的泛化能力, 而且对惩罚参数的选择具有较强的鲁棒性. 基于单变量和多变量函数的仿真实验表明了所提出算法的有效性.

     

神经网络泛化性能优化算法

基于提高神经网络泛化性能的目标提出了神经网络泛化损失率的概念,解析了与前一周期相比当前网络误差的变化趋势,在此基础上导出了基于泛化损失率的神经网络训练目标函数.利用新的目标函数和基于量子化粒子群算法的神经网络训练方法,得到了一种新的网络泛化性能优化算法.实验结果表明,将该算法与没有引入泛化损失率的算法相比,网络的收敛性能和泛化性能都有明显提高.     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。     

融合深度特征与多核学习的LSTWSVM及其工业应用

为了提高多核学习(MKL)的表示能力同时降低其计算成本,提出一种融合深度特征与多核学习的最小二乘孪生支持向量机(LSTWSVM)算法.针对支持向量机等核分类器在多核学习中高计算复杂度的问题,提出一种基于边缘错误最小化原则的多核LSTWSVM框架,利用分类器优势提高多核学习的性能.针对高斯多核浅层结构的问题,采用MKL法设计一种基于深度神经网络多层信息的高鲁棒性深度映射核,将此深度核与多尺度高斯基核以核矩阵哈达玛积方式相融合,构造一组新的具有高度表达能力的改进核.最后,将基于LSTWSVM的多核训练算法与改进的多核结构进行高度集成,通过大量基准数据集与工业数据实验表明,其能有效结合深度学习与多核学习的优势,且以较低的计算成本提高分类精度与泛化能力.     

自适应融合残差网在图像分类中应用研究

针对卷积神经网络存在随着网络深度增加导致优化困难,识别正确率降低、泛化性能差等问题,在Res Net(残差网络)基础上,提出了一种基于softmax全连接自适应门控网络融合模型.该方法在隐层网络深度达到一定层数后,设置多种卷积核尺寸作为独立网络输出,通过softmax全连接门控网络输出各模型选择概率,融合多种卷积尺寸残差网输出作为模型最终输出.实验表明,本文提出的融合残差网络模型更适合于多类别、精细化数据集,与单网络模型相比,在训练集上具有更好的收敛性,在测试集上具有更好的泛化性能.     

基于深度残差网络的语音隐写分析方法

针对目前以WAV格式语音为载体的最低有效位（LSB）隐写方法的检测性能较低的问题,提出了一种基于深度残差网络的语音隐写分析方法。首先,通过多组高通滤波器组成的固定卷积层来计算输入语音信号的残差信号,并利用截断线性激活单元对得到的残差信号进行截断操作;然后,通过卷积层与设计的残差块的堆叠来构建深度网络,以提取深层次的隐写特征数据;最后,利用全连接层与Softmax层组成的分类器输出最终的分类结果。实验结果表明,在Hide4PGP和LSBmatching两种隐写方法的不同密信嵌入率下,所提出模型的检测正确率都要优于现有的基于卷积神经网络（CNN）的隐写分析方法。对于0.1 bps嵌入率的Hide4PGP隐写方法,该隐写分析模型的检测正确率比LinNet提高了近7个百分点。     

基于EM算法的对传网络学习及应用

为克服“胜者全得”对传网络的缺陷,提出使用基于软竞争机制的对传网络.这样增加了网络的训练复杂度.为此,把竞争层中隐单元的输出作为未观察到的缺省随机变量,使用EM算法对基于软竞争的对传网络进行训练,降低训练复杂度,加快网络的收敛速度.在实现EM算法的M步时,根据基于软竞争机制对传网络竞争层的特点,对EM算法实现进行改进,没有使用常用的迭代重新加权最小二乘算法,而利用样本加权平均求取隐层单元的权值向量,使EM算法更加简单易行,收敛速度快.仿真实验结果表明,基于软竞争机制的对传网络具有很好的泛化性能,特别在模式分类上具有很好的实际应用价值.     

荧光断层成像中圆柱仿体的三维重建

使用基于有限元法的线性模型,用几种不同的迭代正则化方法进行荧光产额的三维重建,其中包括最小二乘的共轭梯度法(conjugate gradient least square,简称CGLS)、最小二乘的QR分解迭代法(least square QR decomposition,简称LSQR)和包含后处理的预迭代算法.利用一个非接触式、多透射角度的成像系统进行圆柱仿体实验来评估上述3种方法,并与以往常用的代数重建方法(algebraic reconstruction technology,简称ART)作了比较.单荧光团和双荧光团的实验结果表明,上述3种迭代方法可以比较准确地估计荧光团位置,而所需计算时间仅为ART的2%左右.     

一种简单的共享式多层梯度补给方法

深度学习通过多层特征提取方式,可以将原始复杂数据自动表征为高级抽象特征,该模型具有很强的建模能力,普遍应用于图像识别语音识别、自然语言处理等高复杂问题中.但深度学习由于网络层数深、参数规模庞大,训练时常常会产生梯度消失、陷入局部最优解、过度拟合等现象.借鉴集成学习的思想,提出一个新颖的深度共享集成网络,该网络通过在深度学习各隐藏层引出多个独立输出层的联合训练的方式,在网络的各层注入梯度,从而对低层隐藏层进行梯度补给,从而降低深度学习中的梯度消失现象,并通过集成多输出层的方式使得整个网络拥有更强的泛化性能.     

反向学习粒子群算法和多层分类器相融合的网络入侵检测

为了提高网络入侵检测率,提出一种反向学习粒子群算法和多层次分类器相融合的网络入侵检测模型。首先将反向学习粒子群算法优化最小二乘支持向量机,以提高分类性能;然后利用由粗到精策略构造多层的网络入侵分类器降低计算时间杂度复;最后采用KDD 99数据集进行仿真测试。仿真结果表明,相对于其他检测模型,该模型不仅提高了网络入侵检测率,降低了入侵检测误报率,同时加快了入侵检测速度,为网络安全提供了有效保证。     

一种应对非平稳频率失调的窄带主动噪声控制系统

在窄带主动噪声控制(Active noise control, ANC)系统中, 参考信号频率失调(Frequency mismatch, FM)和噪声信号非平稳将会使系统性能下降, 甚至失效. 本文提出一种基于动量最小均方的改进FM补偿算法, 通过在代价函数中引入加权累加的平方误差, 提升系统的追踪和收敛能力. 并分别与基于滤波-X 最小均方(Filtered -X least mean square, FXLMS)、滤波-X 递归最小二乘(Filtered -X recursive least square, FXRLS)和变步长滤波-X最小均方(Variable step-size filtered -X least mean square, VSS-FXLMS)算法的主控制系统结合, 共同完成系统综合性能的提高. 大量仿真分析表明, 新的FM补偿算法在非平稳的FM和离散傅里叶系数翻转的条件下仍能保持较高的追踪能力和合理的残余误差.     

基于贝叶斯方法的神经网络非线性模型辨识

研究了基于贝叶斯推理的多层前向神经网络训练算法,以提高网络的泛化性能。在网络目标函数中引入表示网络结构复杂性的惩罚项,以便能够在训练优化过程中降低网络结构的复杂性,达到避免网络过拟合的目的。训练过程中使用显式的概率分布假设对模型进行分析和推断,根据融入先验分布的假设和依据,获取网络参数和正则化参数的后验条件概率,并基于后验分布的贝叶斯推理得出最优化参数。利用上述算法训练前向网络,对一个微型锅炉对象进行了模型辨识,通过测试,证明所辨识出的对象模型能够较好地表现出对象的动态行为,且具有较好的泛化性能。     

基于堆叠泛化的设计模式检测方法

设计模式检测是理解和维护软件系统的一项重要工作.以高效识别设计模式变体和提高设计模式识别准确率为目的,将面向对象度量与模式微结构相结合,提出一种基于堆叠泛化的设计模式检测方法.该方法应用典型的机器学习算法,分别训练度量分类器和微结构分类器,并基于两者的预测值和相关对象模型特征进一步训练,从而形成堆叠分类器.为了评估该方法,基于该方法开发了一个原型工具OOSdpd.该工具从Java字节码级别的系统实现中抽取设计模式实例,并在JUnit等几个经典的开源项目上进行实验.通过与现有的两种工具进行对比分析,实验验证了该方法在提高设计模式识别准确率及召回率方面的有效性.     

基于最小二乘支持向量机的航煤干点软测量应用研究

传统支持向量机是近几年发展起来的一种基于统计学习理论的学习机器,在非线性函数回归估计方面有许多应用。最小二乘支持向量机用等式约束代替传统支持向量机方法中的不等式约束,利用求解一组线性方程得出对象模型,避免了求解二次规划问题。本文采用最小二乘支持向量机解决了航空煤油干点的在线估计问题,结果表明,最小二乘支持向量机学习速度快、精度高,是一种软测量建模的有效方法。在相同样本条件下,比RBF网络具有较好的模型逼近性和泛化性能,比传统支持向量机可节省大量的计算时间。