基于改进并行回火算法的RBM网络训练研究

目前受限玻尔兹曼机网络训练算法主要是基于采样的算法.当用采样算法进行梯度计算时,得到的采样梯度是真实梯度的近似值,采样梯度和真实梯度之间存在较大的误差,这严重影响了网络的训练效果.针对该问题,本文首先分析了采样梯度和真实梯度之间的数值误差和方向误差,以及它们对网络训练性能的影响,然后从马尔科夫采样的角度对以上问题进行了理论分析,并建立了梯度修正模型,通过修正梯度对采样梯度进行数值和方向的调节,并提出了基于改进并行回火算法的训练算法,即GFPT（Gradient fixing parallel tempering）算法.最后给出GFPT算法与现有算法的对比实验,仿真结果表明,GFPT算法可以极大地减小采样梯度和真实梯度之间的误差,大幅度提升受限玻尔兹曼机网络的训练效果.     

一种数值属性的深度置信网络分类方法

深度置信网络是个包含多个受限玻尔兹曼机的深层架构。针对深度置信网络分类时由于受限玻尔兹曼机的输入一般是二值向量而造成的信息的丢失从而使分类效果降低的问题,提出了通过在sigmoid单元中增加噪声来将输入缩放到[0,1]区间,使用带有一个高斯隐藏节点的顶层受限玻尔兹曼机实现分类功能的一种数值属性深度置信网络分类方法。深度置信网络和受限玻尔兹曼机可以作为特征提取方法也可以认为是带有训练的初始权值的神经网络。由于连接权值的初始化而不仅仅是神经网络的随机权值,深度置信网络分类应该比原有的传统的神经网络分类拥有更好的性能。在UCI的多个数据集上进行对比验证,实验结果表明深度置信网络分类方法比传统的SVM算法拥有更高的准确性。     

提高BP网络收敛速率的又一种算法

提高BP网络的训练速率是改善BP网络性能的一项重要任务。该文在误差反向传播算法(BP算法)的基础上提出了一种新的训练算法，该算法对BP网络的传统动量法进行了修改，采用动态权值调整以减少训练时间。文章提供了改进算法的仿真实例，仿真结果表明用该方法解决某些问题时，其相对于BP网络传统算法的优越性。     

基于随机梯度的变动量因子自适应白化算法

针对自适应白化技术中算法的收敛速度问题, 通过融入具有变动量因子特性的动量项,提出了一种快速的自适应白化算法. 该算法利用动量项来加速系统的收敛速度,并基于随机梯度方法对动量因子进行自适应更新,有效提升了白化系统的整体性能. 仿真实验表明本文算法在平稳和非平稳环境下具有良好的性能.     

基于动态Gibbs采样的RBM训练算法研究

目前大部分受限玻尔兹曼机(Restricted Boltzmann machines, RBMs)训练算法都是以多步Gibbs采样为基础的采样算法. 本文针对多步Gibbs采样过程中出现的采样发散和训练速度过慢的问题,首先, 对问题进行实验描述,给出了问题的具体形式; 然后, 从马尔科夫采样的角度对多步Gibbs采样的收敛性质进行了理论分析, 证明了多步Gibbs采样在受限玻尔兹曼机训练初期较差的收敛性质是造成采样发散和训练速度过慢的主要原因; 最后, 提出了动态Gibbs采样算法,给出了对比仿真实验.实验结果表明, 动态Gibbs采样算法可以有效地克服采样发散的问题,并且能够以微小的运行时间为代价获得更高的训练精度.     

基于受限玻尔兹曼机的电力信息系统多源日志综合特征提取

为了充分利用电力信息系统中的异构数据源挖掘出电网中存在的安全威胁, 本文提出了基于受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)的多源日志综合特征提取方法, 首先采用受限玻尔兹曼机神经网络对各类日志信息进行规范化编码, 随后采用对比散度快速学习方法优化网络权值, 利用随机梯度上升法最大化对数似然函数对RBM模型进行训练学习, 通过对规范化编码后的日志信息进行处理, 实现了数据降维并得到融合后的综合特征, 有效解决了日志数据异构性带来的问题. 通过在电力信息系统中搭建大数据威胁预警监测实验环境, 并进行了安全日志综合特征提取及算法验证, 实验结果表明, 本文所提出的基于RBM的多源日志综合特征提取方法能用于聚类分析、异常检测等各类安全分析, 在提取电力信息系统中日志特征时有较高的准确率, 进而提高了网络安全态势预测的速度和预测精度.     

多层感知器在机械故障诊断中的应用

提出一种动态调整学习率和附加梯度变化量与动量项相结合的权值优化方法,同时引入绝对误差函数用于对多层感知器中BP算法的改进,并将改进算法用于旋转机械故障诊断实例样本的学习。仿真结果表明,改进的BP算法可显著加速网络训练速度,学习过程具有较好的收敛性,并能正确地诊断出存在的故障,具有一定的实用价值。     

基于多属性的动态采样协同过滤推荐算法

针对目前协同过滤推荐算法推荐精度和用户数据在算法中匹配度都不高的问题,提出一种多属性的条件受限波尔兹曼机协同过滤推荐模型（MA-CRBM）。该模型基于实值状态的条件玻尔兹曼机,融合了用户职业和性别属性,充分利用数据集中潜在的评分与未评分信息。在训练过程中,采用动态迭代采样算法对原采样算法进行了改进,克服了训练后期数据采样误差波动太大导致精确度不高的问题。在MovieLens 数据集上的实验结果表明,MA-CRBM模型具有较好的推荐效果,可以有效提升推荐模型的精度和效率。     

基于云计算的受限玻尔兹曼机推荐算法研究

数据的指数级增长及算法本身的复杂性使受限玻尔兹曼机面临着计算效率的问题。在详细分析受限玻尔兹曼机的基础上,将受限玻尔兹曼机与Hadoop平台的并行计算架构相结合,提出基于云平台的受限玻尔兹曼机推荐算法。该算法通过复制机制解决数据相关性问题,并将传统的受限玻尔兹曼机过程分解为若干个Hadoop任务的循环,实现并行计算。实验结果表明,与在传统平台上的实现相比,基于Hadoop并行架构的受限玻尔兹曼机推荐算法在大体量数据集的条件下可大幅提高推荐计算效率。     

改进的BP算法在短期电力负荷预测中的应用

利用标准BP神经网络建立短期电力负荷预测模型,其算法存在最终解过于依赖初值和过学习现象,并且训练过程中存在局部极小问题且预测精度低等缺点。为了提高电力负荷模型的预测精度,通过阅读相关文献,构建了基于改进BP神经网络的短期电力负荷预测模型,该模型采用遗传算法对权值和阈值进行初始化,以相对误差和附加动量法相结合的方式去计算权值修正量。比较改进后的BP算法和标准BP算法在短期电力负荷预测的效果,从实验仿真的效果表明改进后的模型提高了预测精度。     

基于多隐层Gibbs采样的深度信念网络训练方法

深度信念网络（Deep belief network，DBN）作为一类非常重要的概率生成模型，在多个领域都有着广泛的用途.现有深度信念网的训练分为两个阶段，首先是对受限玻尔兹曼机（Restricted Boltzmann machine，RBM）层自底向上逐层进行的贪婪预训练，使得每层的重构误差最小，这个阶段是无监督的；随后再对整体的权值使用有监督的反向传播方法进行精调.本文提出了一种新的DBN训练方法，通过多隐层的Gibbs采样，将局部RBM层组合，并在原有的逐层预训练和整体精调之间进行额外的预训练，有效地提高了DBN的精度.本文同时比较了多种隐层的组合方式，在MNIST和ShapeSet以及Cifar10数据集上的实验表明，使用两两嵌套组合方式比传统的方法错误率更低.新的训练方法可以在更少的神经元上获得比以往的训练方法更好的准确度，有着更高的算法效率.     

基于D H N N 网络的玻尔兹曼机权值计算研究

In recent years, the theory of deep learning is booming again. It is widely used in machine learning, visual recognition and auditory recognition. Boltzmann machine is a typical deep learning neural network. There are many training algorithms for its net- work weights, such as contrast dispersion (CD) algorithm, which is classical. However, the current algorithm cannot accurately ob- tain the expected value of network thermal equilibrium state. Only approximate gradient values can be calculated. At the same time, the algorithm has a large amount of computation and a long running time. In this paper, a method of RBM weight calculation is pro- posed. Firstly, RBM is equivalent to Hopfield network. Then the weight matrix is designed by DHNN weight design method. Final- ly, the RBM weight solving problem is transformed into the eigenvalue and eigenvector problem of DHNN weight matrix. An exam- ple is given to illustrate the calculation process and the correctness of the algorithm is verified by the data.     

一种改进的BP神经网络

BP神经网络利厢误差的反向传播调整神经网络的权值,BP神经网络的训练速度和训练误差很大程度上取决于学习逑率和动量因子的设置。本文提出了一种改进的BP神经网络模型,学习速率和动量因子随误差实时调节,并进行了仿真。仿真结果表明,改进的BP神经网络比传统的BP神经网络收敛更快,误差更小。     

基于容积卡尔曼滤波的神经网络训练算法

针对现有的利用非线性滤波算法对神经网络进行训练中存在滤波精度受限和效率不高的缺陷, 提出一种基于容积卡尔曼滤波(CKF) 的神经网络训练算法. 在算法实现过程中, 首先构建神经网络的状态空间模型; 然后将网络连接权值作为系统的状态参量, 并采用三阶Spherical-Radial 准则生成的容积点实现神经网络中节点连接权值的训练. 理论分析和仿真结果验证了所提出算法的可行性和有效性.

     

基于PID神经网络的滑翔增程制导炮弹解耦控制系统设计

针对低速旋转的滑翔增程制导炮弹存在的俯仰和偏航通道控制耦合性问题,阐述利用基于PID神经网络进行双通道解耦控制设计。首先描述滑翔增程炮弹动力学模型,基于对该模型的分析基础上提出PID神经网络的结构和计算方法,并采用增加动量项的权值修正和自适应可变学习率对其进行改进。在此基础上,通过粒子群优化算法对网络的初始权值进行优化...     

受限玻尔兹曼机与加权Slope One的混合推荐算法研究

针对传统协同过滤算法所面临的稀疏性及预测准确度不高的问题,提出一种基于受限玻尔兹曼机与加权Slope One的混合推荐算法。首先通过受限玻尔兹曼机对评分矩阵的初步填充,缓解数据的稀疏性问题;然后通过一种混合项目相似度计算方法,引入项目属性信息;最后通过加权Slope One算法的二次预测,提升推荐效果。在MovieLens100K数据集上的实验表明,两种算法的结合提高了推荐的准确度。     

神经网络训练算法的对比及应用

神经网络训练算法以传统的BP算法为基础,不断衍生新的改进算法,如加动量的BP算法,RPORP等。本文把实际问题抽象分为连续型和离散型数学问题,将现有几种训练算法分别应用在这两类问题中,通过对训练结果准确率及性能的对比,总结不同的算法适合应用的领域。     

Forecasting foreign exchange rates with an improved back-propagation learning algorithm with adaptive smoothing momentum terms

The slow convergence of back-propagation neural network (BPNN) has become a challenge in data-mining and knowledge discovery applications due to the drawbacks of the gradient descent (GD) optimization method, which is widely adopted in BPNN learning. To solve this problem, some standard optimization techniques such as conjugate-gradient and Newton method have been proposed to improve the convergence rate of BP learning algorithm. This paper presents a heuristic method that adds an adaptive smoothing momentum term to original BP learning algorithm to speedup the convergence. In this improved BP learning algorithm, adaptive smoothing technique is used to adjust the momentums of weight updating formula automatically in terms of “3 σ limits theory.” Using the adaptive smoothing momentum terms, the improved BP learning algorithm can make the network training and convergence process faster, and the network’s generalization performance stronger than the standard BP learning algorithm can do. In order to verify the effectiveness of the proposed BP learning algorithm, three typical foreign exchange rates, British pound (GBP), Euro (EUR), and Japanese yen (JPY), are chosen as the forecasting targets for illustration purpose. Experimental results from homogeneous algorithm comparisons reveal that the proposed BP learning algorithm outperforms the other comparable BP algorithms in performance and convergence rate. Furthermore, empirical results from heterogeneous model comparisons also show the effectiveness of the proposed BP learning algorithm.