基于外时延反馈人工神经网络的短期负荷预测系统

针对当前人工神经网络学习算法存在的问题,使用变步伐最速下降法和共轭梯度法的混合算法来进行神经网络的训练,并建立了负荷预测的人工神经网络模型。介绍了基于Delphi下的短期电力负荷预测系统。该系统由负荷预测数据查询模块、预测方法模块、结果查询模块和图表输出模块四部分组成。事实说明,混合算法在全局收敛性和收敛速度上要好于传统的算法,所基于此的短期负荷预测系统能达到令人满意的精度。     

一种复合算法在短期负荷预测中的应用

为提高电力系统短期负荷预测精度,文中提出一种基于改进遗传算法优化的径向基函数神经网络短期电力负荷预测模型,该模型采用改进的选择策略、自适应交叉和变异概率防止出现早熟现象;将自适应交叉和变异操作的改进遗传算法与梯度下降法混合交互运算,作为径向基函数神经网络的学习算法,将上述模型和算法应用于某地区电网的短期负荷预测,取得良好的预测效果.     

自组织区间二型模糊神经网络及其自适应学习算法

针对复杂不确定非线性系统的辨识问题,提出一种基于聚类的自组织区间二型模糊神经网络学习算法.首先采用具有两个不同加权参数的FCM算法对输入数据进行划分来获取规则前件的不确定均值,同时结合聚类有效性标准确定模糊规则数目,从而自动完成神经网络的结构辨识和规则前件参数辨识;随后给出了基于梯度下降法和Lyapunov函数稳定收敛定理的规则后件权向量学习速率的自适应学习算法.通过非线性系统辨识实例,验证了该算法与其他方法相比具有更快的收敛速度和更高的逼近精度;并且利用该算法建立了某市电力短期负荷预测模型,结果表明该模型具有较高的预测精度,泛化性能更佳.     

多输出数据依赖核支持向量回归快速学习算法

针对基于递推下降法的多输出支持向量回归算法在模型参数拟合过程中收敛速度慢、预测精度低的情况,使用一种基于秩2校正规则且具有二阶收敛速度的修正拟牛顿算法（BFGS）进行多输出支持向量回归算法的模型参数拟合,同时为了保证模型迭代过程中的下降量和全局收敛性,应用非精确线性搜索技术确定步长因子。通过分析支持向量机（SVM）中核函数的几何结构,构造数据依赖核函数替代传统核函数,生成多输出数据依赖核支持向量回归模型。将模型与基于梯度下降法、修正牛顿法拟合的多输出支持向量回归模型进行对比。实验结果表明,在200个样本下该算法的迭代时间为72.98 s,修正牛顿法的迭代时间为116.34 s,递推下降法的迭代时间为2065.22 s。所提算法能够减少模型迭代时间,具有更快的收敛速度。     

一种回归神经网络的快速在线学习算法

针对回归神经网络BP学习算法收敛慢的缺陷,提出了一种新的快速在线递推学 习算法.本算法在目标函数中引入了遗忘因子,并借助于非线性系统的最大似然估计原理成 功地解决了动态非线性系统回归神经网络模型权系数学习的实时性和快速性问题.仿真结果 表明,该算法比传统的回归BP学习算法具有更快的收敛速度.     

基于采样技术和LightGBM的用户用电异常检测模型

在大数据的时代背景下,我国电力事业信息化的发展日趋重要,尤其是需要使用计算机技术对用电数据进行分析.对于用户用电异常的分析问题,传统方法既耗时又耗力,这就需要引入机器学习的相关方法自动的识别异常信息.现阶段,用电异常分析主要基于传统的异常检测算法或深度神经网络,传统异常检测算法运行精度不足而深度神经网络计算速度又过慢.针对目前存在的不足,本分采用了基于采样技术和LightGBM的用户用电异常检测模型,把用电异常检测问题看作分类问题,并使用当前流行的分类模型LightGBM进行训练,在保证速度快的前提下提高了检测的准确率.     

神经网络在电力负荷预测中的应用研究

研究电力负荷预测问题,针对精确测量电力负荷,由于影响电力负荷因素之间存在着菲线性,因素之间存在冗余信息,传统的数学模型在电力负荷预测中精度较低,为了有效提高电力负荷的预测精度,提出了一种主成分分析(PCA)和BP神经网络相结合的电力负荷预测方法.利用PCA对电力负荷的影响因素进行特征提取,以BP神经网络对经过PCA处理得到的新的变量进行训练建模,采用PCA - BP神经网络模型对河南某地区的电力负荷进行了仿真.结果表明,相对于参比模型,可有效地消除因素间的冗余信息,降低了BP神经网络的输入维数,简化了网络的结构,加快了学习速度,显著提高了电力负荷预测精度,证明提出的预测模型在电力负荷预测中是有效.     

基于混合改进GSO与GRNN并行集成学习模型

针对萤火虫群优化算法(GSO)不稳定、收敛速度较慢与收敛精度较低等问题和广义回归神经网络(GRNN)的网络结构导致预测误差的特性,提出基于混合改进萤火虫群算法与广义回归神经网络并行集成学习模型,应用于雾霾预测.首先构建融合多种搜索策略的混合改进萤火虫群优化算法(HIGSO),并使用标准测试函数验证算法性能.然后结合HIGSO与引入扰动因子的GRNN模型,建立并行集成学习模型,并通过UCI标准数据集验证模型的有效性与可行性.最后将模型应用于北京、上海和广州地区的雾霾预测,进一步验证模型在雾霾预测中的性能.     

基于深度神经向量机自回归的协同过滤算法

为发掘卷积神经网络在协同过滤预测中的潜力,针对神经自回归模型方法和支持向量机在深度学习中的优势,提出基于深度神经向量机自回归的协同过滤方法。通过将神经网络最后一层的激发函数替换为线性支持向量回归函数的方式,学习基于最小边缘的对数损失。在多个公开数据集上的实验结果表明,该算法在深度神经自回归对协同过滤问题实现较好预测的基础上,线性向量回归函数的使用能更好地提升预测效果。     

基于遗传算法的BP神经网络在电力负载预测中的应用

为有效利用电力资源,改进电力供需结构,建立面向电力负载的短期预测模型。利用层次分析法,对负载预测的影响因素做权重筛选,优化输入参数。通过主成分分析法对样本数据进行线性组合,压缩数据,提高网络泛化能力。引入L-M算法完善反向传播(BP)算法,加快收敛速度。同时结合改进的遗传算法,自适应调整交叉变异概率,对BP神经网络的初始权重进行动态赋值。在真实数据集上的实验结果表明,相较于传统神经网络模型,提出的模型能够加快神经网络的收敛速度,同时提高预测精度,电力负载的实际值与预测值的相对误差小于3%。     

基于人工蜂群算法的Tor流量在线识别方法

Tor等匿名流量的分类与识别对运营商监管网络安全具有重要意义,但目前Tor流量的分类检测技术普遍存在识别准确率低、缺乏实时性、无法有效处理高维数据等问题。为此,提出一种Tor流量在线识别方法。通过搭建基于逻辑回归的深度神经网络,提取Tor流量特征匹配度以实现特征增强,并使用人工蜂群机制代替梯度下降等常见迭代算法,得到流量分类及识别结果。在此基础上,构建一套实时流量检测工具应用于实际生产环境中。在公开Tor数据集上的实验结果表明,与逻辑回归、随机森林、KNN算法相比,该算法的精确率和召回率分别提高了10%~50%,相比梯度下降的迭代算法准确率提高了7%~8%。     

基于深度置信网络的广告点击率预估的优化

随着互联网广告的飞速发展,如何预测目标用户对互联网广告的点击率（click-through rate,简称CTR）,成为精确广告推荐投放的关键技术,并成为计算广告领域的研究热点和深度神经网络的应用热点.为了提高广告点击率预估的精确度,提出了基于深度置信网络的广告点击率预估模型,并通过基于Kaggle数据挖掘平台数据集的1 000万条随机数据的实验,研究不同的隐藏层层数和隐含节点数目对预测结果的影响.为了解决深度置信网络在数据规模较大的工业界解决方案中的训练效率问题,通过实验证明：广告点击率预估中,深度置信网络的损失函数存在大量的驻点,并且这些驻点对网络训练效率有极大的影响.为了提高模型效率,从发掘网络损失函数特性入手,进一步提出了基于随机梯度下降算法和改进型粒子群算法的融合算法,以优化网络训练.融合算法在迭代步长小于阈值时可以跳出驻点平面,继续正常迭代.实验结果表明,与传统的基于梯度提升决策树和逻辑回归的广告点击率预估模型以及模糊深度神经网络模型相比,基于深度置信网络的预估模型具有更好的预估精度,在均方误差、曲线下面积和对数损失函数指标上分别提升2.39%,9.70%,2.46%和1.24%,7.61%,1.30%;使用融合方法训练深度置信网络,训练效率提高30%~70%.     

改进CNN的多通道语义合成情感分类模型研究

为了解决传统神经网络由于上下文语序变化而导致的情感歧义问题,提出一种多通道语义合成卷积神经网络（SFCNN）。使用改进的情感倾向注意力机制对词向量进行情感加权操作;将情感倾向词向量进行多通道语义合成,生成带有文本上下文语义信息的深度语义向量,构建情感分类模型;使用自适应学习率的梯度下降算法对模型参数进行优化,完成行情感分类任务。为了验证改进算法的有效性,使用多种微博数据样本集在提出的模型上进行对比实验。实验结果表明,改进的情感倾向注意力机制结合多通道语义合成卷积神经网络具有较好的情感分类能力,并且自适应学习率的梯度下降算法可以更快地完成模型收敛工作。     

随机梯度下降算法研究进展

在机器学习领域中, 梯度下降算法是求解最优化问题最重要、最基础的方法. 随着数据规模的不断扩大, 传统的梯度下降算法已不能有效地解决大规模机器学习问题. 随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度, 以达到降低计算复杂度的目的. 近年来, 随机梯度下降算法已成为机器学习特别是深度学习研究的焦点. 随着对搜索方向和步长的不断探索, 涌现出随机梯度下降算法的众多改进版本, 本文对这些算法的主要研究进展进行了综述. 将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种. 其中, 前三种主要是校正梯度或搜索方向, 第四种对参数变量的不同分量自适应地设计步长. 着重介绍了各种策略下随机梯度下降算法的核心思想、原理, 探讨了不同算法之间的区别与联系. 将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中, 并定量地比较了这些算法的实际性能. 文末总结了本文的主要研究工作, 并展望了随机梯度下降算法的未来发展方向.     

基于LM神经网络的一种生物医学数据分类方法

生物医学数据智能化处理是当前医学信息工程中一个研究热点,针对梯度下降BP(反向传播)神经网络收敛速度慢,易于陷入局部极小等缺点,采用LM神经网络对梯度下降算法进行改进。分析了LM算法的原理并通过对一组乳腺癌数据进行分类,表明该算法具有很快的收敛速度及较高的识别准确率,为医学数据分类提供了一种新方法。采用的数据来源于UCI机器学习数据集。     

Fuzzy min–max neural networks: from classification to regression

 In this paper we show two new learning algorithms for a fuzzy min–max neural network. The top down fuzzy min–max (TDFMM) algorithm modifies the classic Simpson's learning algorithm overcoming its main difficulties: the dependence on the presentation order of the patterns and the poor resolutive adaptation to the characteristics of input space. The top down fuzzy min–max regressor (TDFMMR) algorithm extends our neural network to solve regression problems by using a hybrid fuzzy classifier and a gradient descent algorithm.     

深度学习应用技术研究

本文针对深度学习应用技术进行了研究性综述。详细阐述了RBM（Restricted Boltzmann Machine）逐层预训练后再用BP（back-propagation）微调的深度学习贪婪层训练方法,对比分析了BP算法中三种梯度下降的方式,建议在线学习系统,采用随机梯度下降,静态离线学习系统采用随机小批量梯度下降;归纳总结了深度学习深层结构特征,并推荐了目前最受欢迎的5层深度网络结构设计方法。分析了前馈神经网络非线性激活函数的必要性及常用的激活函数优点,并推荐ReLU （rectified linear units）激活函数。最后简要概括了深度CNNs(Convolutional Neural Networks), 深度RNNs(recurrent neural networks), LSTM(long short-termmemory networks)等新型深度网络的特点及应用场景,并归纳总结了当前深度学习可能的发展方向。     

面向深度神经网络训练的数据差分隐私保护随机梯度下降算法

针对传统深度神经网络所采用的随机梯度下降算法忽略了对数据集隐私性保护的缺点,提出一种基于数据差分隐私保护的随机梯度下降算法。引入范数剪切与附加高斯噪声操作,对传统梯度更新策略进行改进。为衡量每次迭代过程中对数据隐私性的破坏,提出隐私损失累积函数在迭代过程中对数据隐私性的侵犯程度进行度量。MNIST手写数字识别和CIFAR-10图像分类实验表明,该算法在保护数据集隐私性的同时,对手写数字以及图像分类的识别准确率分别超过了90%和70%,且相较于传统的随机梯度下降算法,其准确率提升了5%以上。该算法在实际工程中能够有效兼顾数据隐私性保护与神经网络辨识准确度。     

采用分数阶动量的卷积神经网络随机梯度下降法

针对随机梯度下降法可能会收敛到局部最优的问题,文中提出采用分数阶动量的随机梯度下降法,提高卷积神经网络的识别精度和学习收敛速度.结合基于动量的随机梯度下降法和分数阶差分运算,改进参数更新方法,讨论分数阶阶次对网络参数训练效果的影响,给出阶次调整方法.在MNIST、CIFAR-10数据集上的实验表明,文中方法可以提高卷积神经网络的识别精度和学习收敛速度.