基于MapReduce的Bagging决策树优化算法

针对经典C4.5决策树算法存在过度拟合和伸缩性差的问题,提出了一种基于Bagging的决策树改进算法,并基于MapReduce模型对改进算法进行了并行化。首先,基于Bagging技术对C4.5算法进行了改进,通过有放回采样得到多个与初始训练集大小相等的新训练集,并在每个训练集上进行训练,得到多个分类器,再根据多数投票规则集成训练结果得到最终的分类器;然后,基于MapReduce模型对改进算法进行了并行化,能够并行化处理训练集、并行选择最佳分割属性和最佳分割点,以及并行生成子节点,实现了基于MapReduce Job工作流的并行决策树改进算法,提高了对大数据集的分析能力。实验结果表明,并行Bagging决策树改进算法具有较高的准确度与敏感度,以及较好的伸缩性和加速比。     

基于面向对象自适应粒子群算法的神经网络训练*

针对传统的神经网络训练算法收敛速度慢和泛化性能低的缺陷,提出一种新的基于面向对象的自适应粒子群优化算法(OAPSO)用于神经网络的训练。该算法通过改进PSO的编码方式和自适应搜索策略以提高网络的训练速度与泛化性能,并结合Iris和Ionosphere分类数据集进行测试。实验结果表明：基于OAPSO算法训练的神经网络在分类准确率上明显优于BP算法及标准PSO算法,极大地提高了网络泛化能力和优化效果,具有快速全局收敛的性能。     

基于Spark深度感知决策树的恒星/星系分类应用研究

针对传统决策树分类算法需要依靠人工构造特征才能实现对数据进行分类的问题, 以及其在处理海量天文数据时所面临的处理速度和资源分配瓶颈问题,结合深度学习强大的特征学习能力和Spark高效的数据处理性能,提出了一种基于Spark平台的深度感知决策树并行化算法,并将其应用于天文恒星/星系分类问题中。研究结果表明,该算法具有很好的可伸缩性,可以通过增加Spark集群计算节点的数量,来减少分类模型所需的训练时间和增强其对海量天文数据的处理能力。并且,其因同时具备强大的特征学习和分类能力而在恒星星系分类问题上可以获得比传统决策树更高的分类准确率。     

用于能耗数据分析的改进并行BP算法

基于Map Reduce框架的传统BP神经网络算法收敛缓慢,训练易陷入局部极小点,使迭代次数过多,极大浪费资源。为此,提出并实现改进的并行BP算法,采用动态调节学习率、动量因子调整权重修正值,提升BP网络并行训练效率,利用预处理数据和最大分类概率增强分类的准确性。实验结果表明,改进的并行算法能提高分类准确率,缩短近17/18的训练时间。     

基于增量KNN模型的分布式入侵检测架构

网络异常检测技术是网络安全领域的热点问题.目前存在的异常检测算法大多属于静态分类算法,并未充分考虑到实际应用领域中海量数据不断增加的问题.本文提出了一种基于增量KNN模型的分布式入侵检测架构,它首先将少量的训练集均匀分配到各个节点上建立初始KNN模型,然后再将新增的数据分割成小块数据交由各个节点并行地进行增量学习,即对各节点的原有模型进行调整、优化,最后通过模型融合得到较为鲁捧的检测效果,在KDD CUP'99数据集上的实验结果验证了本方法的有效性.     

Hadoop下多模式并行分类算法及其应用研究

根据人工神经网络自组织、高度并行以及具有非线性映射能力的特点,提出一种基于云计算的Hadoop多模式并行分类算法。通过将自组织映射网络与多个并行BP神经网络结合,提高多语义模式中复杂分类问题的学习效率和训练精度。采用Hadoop平台下的Map Reduce框架实现算法的并行处理,解决大规模数据样本训练时内存开销大、通信耗时长的问题。实验结果表明,与传统单BP多输出分类算法相比,该算法训练速度更快、分类精度更高,在处理大规模数据集时具有实时和高效的特性。     

基于深度学习的无线传感器网络数据融合

在无线传感器网络数据融合算法中,BP神经网络被广泛用于节点数据的特征提取和分类。为了解决BP神经网络收敛慢,易陷入局部最优值且泛化能力差从而影响数据融合效果的问题,提出一种将深度学习技术和分簇协议相结合的数据融合算法SAESMDA。SAESMDA用基于层叠自动编码器(SAE)的深度学习模型SAESM取代BP神经网络,算法首先在汇聚节点训练SAESM并对网络分簇,接着各簇节点通过SAESM对采集数据进行特征提取,之后由簇首将分类融合后的特征发送至汇聚节点。仿真实验表明,和采用BP神经网络的BPNDA算法相比,SAESMDA在网络能耗大致相同的情况下具有更高的特征提取分类正确率。     

一种解决数据异构问题的联邦学习方法

联邦学习是一种不通过中心化的数据训练就能获得机器学习模型的系统,源数据不出本地,降低了隐私泄露的风险,同时本地也获得优化训练模型。但是由于各节点之间的身份、行为、环境等不同,导致不平衡的数据分布可能引起模型在不同设备上的表现出现较大偏差,从而形成数据异构问题。针对上述问题,提出了基于节点优化的数据共享模型参数聚类算法,将聚类和数据共享同时应用到联邦学习系统中,该方法既能够有效地减少数据异构对联邦学习的影响,也加快了本地模型收敛的速度。同时,设计了一种评估全局共享模型收敛程度的方法,用于判断节点聚类的时机。最后,采用数据集EMNIST、CIFAR-10进行了实验和性能分析,验证了共享比例大小对各个节点收敛速度、准确率的影响,并进一步分析了当聚类与数据共享同时应用到联邦学习前后各个节点的准确率。实验结果表明,当引入数据共享后各节点的收敛速度以及准确率都有所提升,而当聚类与数据共享同时引入到联邦学习训练后,与FedAvg算法对比,其准确度提高10%～15%,表明了该方法针对联邦学习数据异构问题上有着良好的效果。     

基于改进粒子群算法的BP算法的研究

针对BP算法的缺陷以及标准粒子群算法优化BP网络权值的不足,为了提高算法的全局搜索能力,提出了基于自适应动态调整惯性权重的粒子群算法的BP网络算法.算法根据适应度值的改变情况来调整惯性权重,使惯性权重的改变不依赖于最大迭代次数和当代迭代次数,从而使整个网络具有较快的收敛速度和较小的误差.将算法应用于海参疾病的诊断中.实验发现,基于自适应动态调整惯性权重的粒子群算法的BP算法比基本粒子群算法的BP算法收敛速度快,算法的准确率也比较高,同时改进算法训练的BP网络也比基本粒子群算法训练的BP网络稳定.仿真证明,自适应动态调整惯性权重的粒子群算法对BP算法的优化优于基本粒子群算法.     

基于注意力模型的混合学习算法

为了解决传统BP(back-propagation)算法收敛速度慢,训练得到的网络性能较差的问题,在借鉴生理学中"选择性注意力模型"的基础上,将遗传算法与误差放大的BP学习算法进行了有机的融合,提出了基于注意力模型的快速混合学习算法.该算法的核心在于将单独的BP训练过程划分为许多小的切片,并对每个切片进行误差放大的训练和竞争淘汰机制的选择.通过发现收敛速率较快的个体和过滤陷入局部极值的个体,来保证网络训练的成功率和实现快速向全局最优区域逼近的目的.仿真结果表明,该算法有效地解决了传统BP算法中由于初始权值的随机性造成的训练失败问题,并能有效解决饱和区域引起的后期训练缓慢问题,在不增加网络隐层节点数的情况下,显著地提高了网络的收敛精度和泛化能力.这将使神经网络在众多实际的分类问题上具有更广泛的应用前景.     

数值优化改进的BP网络的模式分类对比

研究了共轭梯度算法、拟牛顿算法、LM算法三类常用的数值优化改进算法,基于这三类数值优化算法分别对BP神经网络进行改进,并构建了相应的BP神经网络分类模型,将构建的分类模型应用于二维向量模式的分类,并进行了泛化能力测试,将不同BP网络分类模型的分类结果进行对比. 仿真结果表明,对于中小规模的网络而言,LM数值优化算法改进的BP网络的分类结果最为精确,收敛速度最快,分类性能最优;共轭梯度数值优化算法改进的BP网络的分类结果误差最大,收敛速度最慢,分类性能最差;拟牛顿数值优化算法改进的BP网络的分类结果误差值、收敛速度及分类性能介于上述两种算法之间.     

An optimizing BP neural network algorithm based on genetic algorithm

A back-propagation (BP) neural network has good self-learning, self-adapting and generalization ability, but it may easily get stuck in a local minimum, and has a poor rate of convergence. Therefore, a method to optimize a BP algorithm based on a genetic algorithm (GA) is proposed to speed the training of BP, and to overcome BP’s disadvantage of being easily stuck in a local minimum. The UCI data set is used here for experimental analysis and the experimental result shows that, compared with the BP algorithm and a method that only uses GA to learn the connection weights, our method that combines GA and BP to train the neural network works better; is less easily stuck in a local minimum; the trained network has a better generalization ability; and it has a good stabilization performance.     

分布式环境下卷积神经网络并行策略研究

卷积神经网络通常使用标准误差逆传播算法进行串行训练,随着数据规模的增长,单机串行训练存在耗时长且占有较多的系统资源的问题。为有效实现海量数据的卷积神经网络训练,提出一种基于MapReduce框架的BP神经网络并行化训练模型。该模型结合了标准误差逆传播算法和累积误差逆传播算法,将大数据集分割成若干个子集,在损失少量准确率的条件下进行并行化处理,并扩展MNIST数据集进行图像识别测试。实验结果表明,该算法对数据规模有较好的适应性,能够提高卷积神经网络的训练效率。     

以高维输入神经网络作为生产线产品质量模型

探索用高维输入的神经网络对复杂工业生产过程的建模方法。针对网络输入变量维数较高的特点,提出一种ＢＰ网络各权重独立训练的分散训练方法。该方法用附加大惯性项来协调各个权重的优化训练,运用非线性优化方法调节步长。与用普通的ＢＰ训练方法相比,用该方法训练高维输入的ＢＰ网络具有较快的收敛速度和较高的模型精度,较好地解决了实际生产过程的产品质量模型问题。     

一种基于BP和朴素贝叶斯的时间序列分类模型

针对传统时间序列分类方法需要较为繁琐的特征抽取工作以及在只有少量标记数据时分类效果不佳的问题,通过分析BP神经网络和朴素贝叶斯分类器的特点,提出一种基于BP和朴素贝叶斯的时间序列分类模型。利用了BP神经网络非线性映射能力和朴素贝叶斯分类器在少量标记数据下的分类能力,将BP神经网络抽取到的特征输入到朴素贝叶斯分类器中,可以较为有效的解决传统时间序列分类算法的问题。实验结果表明,该模型在标记数据较少的情况下的时间序列分类中具有较高的分类准确度。     

基于SAA-SSA-BPNN的网络安全态势评估模型

针对目前网络安全态势评估模型准确性和收敛性有待提高的问题,提出一种基于SAA-SSA-BPNN的网络安全态势评估模型。该模型利用模拟退火算法（SAA）可以一定概率接受劣解并有大概率跳出局部极值达到全局最优解的特性来优化麻雀搜索算法,利用优化后的麻雀搜索算法（SSA）具有良好稳定性和收敛速度快且不易陷入局部最优的特点对BP神经网络（BPNN）进行改进,找到最佳适应度个体并获取最优权值和阈值,将其作为初始值赋给BP神经网络,将预处理后的指标数据输入改进后的BP神经网络模型对其进行训练,利用训练好的模型对网络系统所遭受威胁的程度进行评估。对比实验结果表明,该评估模型比其他基于改进BP神经网络的态势评估模型准确性更高,收敛速度更快。     

基于Spark和AMPSO的并行深度卷积神经网络优化算法

针对并行DCNN算法在大数据环境下存在冗余参数过多、收敛速度慢、容易陷入局部最优和并行效率低的问题,提出了基于Spark和AMPSO的并行深度卷积神经网络优化算法PDCNN-SAMPSO。首先,该算法设计了基于卷积核重要性和相似度的卷积核剪枝策略(KP-IS),通过剪枝模型中冗余的卷积核,解决了冗余参数过多的问题;接着,提出了基于自适应变异粒子群优化算法的模型并行训练策略(MPT-AMPSO),通过使用自适应变异的粒子群优化算法(AMPSO)初始化模型参数,解决了并行DCNN算法收敛速度慢和容易陷入局部最优的问题;最后,提出了基于节点性能的动态负载均衡策略(DLBNP),通过均衡集群中各节点负载,解决了集群并行效率低的问题。实验表明,当选取8个计算节点处理CompCars数据集时,PDCNN-SAMPSO较Dis-CNN、DS-DCNN、CLR-Distributed-CNN、RS-DCNN的运行时间分别降低了22%、30%、37%和27%,加速比分别高出了1.707、1.424、1.859、0.922,top-1准确率分别高出了4.01%、4.89%、2.42%、5.94%,表明PD...