面向粒子群优化的贝叶斯网络结构学习算法

提出了一种基于离散粒子群优化的贝叶斯网络结构学习算法——PSBN（Particle Swarm for Bayesian Network）。贝叶斯网络的结构被映射为一种符号编码,通过在迭代过程中对粒子的符号编码进行调整,从而进化得到具有更高适应度值的贝叶斯网络结构。根据贝叶斯网络的结构特点,粒子位置和速度的编码方案和基本操作被设计,使得算法对贝叶斯网络的结构学习有较好的收敛性。实验结果表明,与基于遗传算法的贝叶斯网络结构学习算法相比,PSBN算法具有较好的学习效果。     

基于粒子群算法优化设计RBM网络结构

受限玻尔兹曼机在实际使用中不可避免地遇到设置网络结构的问题,然而对于这一问题并没有有效的方法,因此提出基于粒子群算法优化设计RBM网络结构方法(Particle Swarm Optimization-Restricted Boltzmann Machine,PSO-RBM).该方法克服了粒子群算法在处理标称型数据时的局限性,采用连续型变量构造个体进行迭代训练,在求解适应度时再转变成标称型变量,做到可见层特征和隐藏层数目的优化选择.在MNIST数据集上实验,结果表明粒子群算法优化后的RBM网络结构在错误率和训练时间上与传统的RBM网络结构相比较,该方法在综合性能上有一定的优势,实现了粒子群算法优化设计RBM网络结构的目的.     

一种RBF网络结构调整的稳健增量学习方法

以实现RBF网络的增量学习能力和提高其增量学习的稳健性为目的,给出了一种RBF网络增量学习算法.算法首先对初始数据集进行聚类得到初始的RBF网络结构,然后采用GAP-RBF算法中的隐层节点调整策略动态调整网络结构实现RBF网络增量学习.RBF网络的初始化降低了初始数据集样本训练顺序对RBF网络性能的影响,增强了其增量学习的稳健性.IRIS数据集和雷达实测数据集仿真实验表明,算法具有较好的增量学习能力.     

基于粒子群优化建模的贝叶斯网络结构学习方法

贝叶斯网络(BN)在不确定性的条件下表示信息和推理论证具有良好的性能,但由于其结构搜索空间的复杂性,通常将从一个数据集合中学习贝叶斯网络的结构认为是一种NP-hard的问题。基于此,提出一种新的基于粒子群优化算法建模的贝叶斯网络结构学习方法。为了学习一个贝叶斯网络的结构,该方法先使用粒子群优化算法在排序空间中进行搜索,然后运行K2算法计算每个排序的吻合度。每个排序都会有一个网络结构与之一致,该方法会返回这个网络的计分。仿真结果表明,在不同规模的数据集中,该算法相对于其他贝叶斯网络结构学习算法对不同类型的网络都具有更好的网络稳定性。     

基于遗传算法的Bayesian网结构学习研究

从不完备数据中学习网络结构是Bayesian网学习的难点之一,计算复杂度高,实现困难。针对该问题提出了一种进化算法。设计了结合数学期望的适应度函数,该函数利用进化过程中的最好Bayesian网把不完备数据转换成完备数据,从而大大简化了学习的复杂度,并保证算法能够向好的结构不断进化。此外,给出了网络结构的编码方案,设计了相应的遗传算子,使得该算法能够收敛到全局最优的Bayesian网结构。模拟实验结果表明,该算法能有效地从不完备数据中学习。     

具有多类型激活函数的RBF网络设计

提出多类型激活函数的径向基网络结构设计方式,网络隐层由薄板样条函数节点和高斯函数节点构成,分别采用改进的粒子群算法和前向局部优化算法对两种类型节点的参数进行学习.改进的粒子群算法综合运用粒子运动过程的启发式信息和样本的梯度信息进行种群迭代,减小了陷入局部极值的概率.前向局部优化算法是一种高斯节点的序贯学习算法,算法采用DFP方法对新增高斯节点的参数进行局部优化,提高了网络的逼近性能.通过解析和工程算例验证了多类型激活函数RBF网络的高拟合能力及其学习算法的有效性.     

结合随机森林的PSO-CNN入侵检测研究

为了提高网络入侵检测的准确率、精确率,降低误报率,提出一种结合随机森林(Random-Forest,RF)的粒子群算法(Particle Swarm Optimization,PSO)优化卷积神经网络(Convolutional Neural Networks,CNN)结构及初始参数算法.该方法结合随机森林理论、PSO的全局寻优特点和CNN提取特征的局部相关性能力.在数据预处理阶段,通过随机森林进行数据特征提取,并作为模型的输入数据.采用粒子群算法优化CNN网络结构,使CNN在非经验指导下自主选择最佳网络结构和初始参数.实验结果表明,该方法在准确率、精确率、误报率方面均优于经典卷积神经网络、粒子群优化反向传播(BP)算法、粒子群优化支持向量机(SVM)算法及目前流行的集成学习方法.     

结合随机森林的PSO-CNN入侵检测研究

为了提高网络入侵检测的准确率、精确率,降低误报率,提出一种结合随机森林(Random-Forest,RF)的粒子群算法(Particle Swarm Optimization,PSO)优化卷积神经网络(Convolutional Neural Networks,CNN)结构及初始参数算法.该方法结合随机森林理论、PSO的全局寻优特点和CNN提取特征的局部相关性能力.在数据预处理阶段,通过随机森林进行数据特征提取,并作为模型的输入数据.采用粒子群算法优化CNN网络结构,使CNN在非经验指导下自主选择最佳网络结构和初始参数.实验结果表明,该方法在准确率、精确率、误报率方面均优于经典卷积神经网络、粒子群优化反向传播(BP)算法、粒子群优化支持向量机(SVM)算法及目前流行的集成学习方法.     

一种并行蚁群Bayesian网络学习的算法

Bayesian网络学习的一种方法是根据输入数据集使用某种打分机制找到与数据集相拟合的候选网络.ACOB算法(蚁群优化B算法)是其中一种基于元启发引入蚂蚁机制来进行Bayesian网络学习的方法.本文在该算法基础之上提出一种改进算法--PACOB,并行进行Bayesian网络学习.实验结果表明,该并行算法相对于其串行算法具有一定的优势,提供了一种Bayesian网络学习问题的有效手段.     

自适应前馈神经网络结构优化设计

针对多数前馈神经网络结构设计算法采取贪婪搜索策略而易陷入局部最优结构的问题,提出一种自适应前馈神经网络结构设计算法.该算法在网络训练过程中采取自适应寻优策略合并和分裂隐节点,达到设计最优神经网络结构的目的.在合并操作中,以互信息为准则对输出线性相关的隐节点进行合并;在分裂操作中,引入变异系数,有助于跳出局部最优网络结构.算法将合并和分裂操作之后的权值调整与网络对样本的学习过程结合,减少了网络对样本的学习次数,提高了网络的学习速度,增强了网络的泛化性能.非线性函数逼近结果表明,所提算法能得到更小的检测误差,最终网络结构紧凑.     

Parameter estimation in bayesian networks from incomplete databases

Current methods to learn Bayesian Networks from incomplete databases share the common assumption that the unreported data are missing at random. This paper describes a method—called Bound and Collapse (BC)—to learn Bayesian Networks from incomplete databases which allows the analyst to efficiently integrate information provided by the observed data and exogenous knowledge about the pattern of missing data. BC starts by bounding the set of estimates consistent with the available information and then collapses the resulting set to a point estimate via a convex combination of the extreme points, with weights depending on the assumed pattern of missing data. Experiments comparing BC to Gibbs Sampling are provided.     

小数据集的贝叶斯网络结构学习

针对直接基于小数据集贝叶斯网络结构学习不可靠, 以及目前对小数据集的处理只强调扩展而忽略对扩展数据的修正等, 提出了将扩展与修正相结合的小数据集处理机制, 以及在此基础上的基于结点排序和局部打分--搜索的贝叶斯网络结构学习方法. 可不需要完全结点顺序的先验知识, 但能够结合专家的部分结点顺序信息. 实验结果显示了这种方法的有效性和可靠性.     

On the use of Bayesian Networks to develop behaviours for mobile robots

Bayesian Networks are models which capture uncertainties in terms of probabilities that can be used to perform reasoning under uncertainty. This paper presents an attempt to use Bayesian Networks as a learning technique to manage task execution in mobile robotics. To learn the Bayesian Network structure from data, the K2 structural learning algorithm is used, combined with three different net evaluation metrics. The experiment led to a new hybrid multiclassifying system resulting from the combination of 1-NN with the Bayesian Network, that allows one to use the power of the Bayesian Network while avoiding the computational burden of the reasoning mechanism — the so-called evidence propagation process. As an application example we present an approach of the presented paradigm to implement a door-crossing behaviour in a mobile robot using only sonar readings, in an environment with smooth walls and doors. Both the performance of the learning mechanism and the experiments run in the real robot-environment system show that Bayesian Networks are valuable learning mechanisms, able to deal with the uncertainty and variability inherent to such systems.     

贝叶斯网络结构在线学习算法研究及应用

现代大型机电设备的日趋复杂化和自动化导致设备故障现象和机理之间具有很大的不确定性,因此对故障诊断技术提出了更高的要求。针对汽车发动机的工作原理及其故障知识结构特征,基于贝叶斯网络理论,以机器学习中的增量学习为基础提出和研究了在线式贝叶斯网络结构学习方法,并利用该方法对汽车发动机故障结构网络进行在线学习。最后通过实验分析验证了在线式贝叶斯网络故障诊断方法比起传统的贝叶斯网络方法以及专家系统方法,该方法在汽车发动机故障诊断结果中具有更高的准确性和可靠性。     

基于结点排序的贝叶斯网络结构学习

给出了变量之间k阶分类能力的概念及计算方法,并证明了k阶分类能力就是k阶分类正确率,以及k阶分类能力和条件独立性的等价性,在此基础上构造出基于分类能力的贝叶斯网络结构打分函数,同时结合依赖分析方法和打分-搜索方法建立了有效的贝叶斯网络结构学习方法,实验结果显示该方法能够有效地进行贝叶斯网络结构学习,并使学习得到的结构倾向于简单化。     

基于GATS贝叶斯网络结构学习的航班延误模型

对遗传算法（GA）贝叶斯网络（BN）结构学习和禁忌搜索算法（TS）进行分析,提出遗传禁忌搜索贝叶斯网络结构学习算法GATS_BNSL。把禁忌搜索思想引入到遗传算法BN结构学习由父代种群产生后代种群的演化过程中,以禁忌搜索交叉和禁忌搜索变异改进传统的遗传算子,对比实验分析表明了GATS_BNSL的学习优势。应用此方法,基于真实数据,建立了大型枢纽机场航班离港延误模型。该模型切实反映了导致航班延误的多因素之间的因果关系,而且建模时间少,学习正确率高。     

一种基于EM和分类损失的半监督主动DBN学习算法

对于建立动态贝叶斯网络(DBN)分类模型时,带有类标注样本数据集获得困难的问题,提出一种基于EM和分类损失的半监督主动DBN学习算法.半监督学习中的EM算法可以有效利用未标注样本数据来学习DBN分类模型,但是由于迭代过程中易于加入错误的样本分类信息而影响模型的准确性.基于分类损失的主动学习借鉴到EM学习中,可以自主选择有用的未标注样本来请求用户标注,当把这些样本加入训练集后能够最大程度减少模型对未标注样本分类的不确定性.实验表明,该算法能够显著提高DBN学习器的效率和性能,并快速收敛于预定的分类精度.     

基于量子遗传算法的贝叶斯网络结构学习*

将量子遗传算法用于贝叶斯网络(BN)的结构学习,对BN结构进行量子编码得到染色体,通过量子变异操作使其作为一个完备的独立解空间进行演化,可快速搜索到全局最优的网络结构。实验结果表明,量子遗传算法用于BN结构学习,可取得很好的效果。     

软件项目投资风险评价过程建模研究

提出了一种基于贝叶斯网络的软件项目投资风险评价模型。在建模过程中以样本数据集为基础进行贝叶斯网络参数学习,从而在软件项目的投资阶段建立更加符合实际项目特征的贝叶斯网络。同时,从算法精度以及算法收敛性这两个方面验证该参数学习过程的有效性。经实践检验,在软件项目投资过程中该风险评价模型能够向决策者提供准确的投资风险信息。     

Monitoring and improving Greek banking services using Bayesian Networks: An analysis of mystery shopping data

Mystery shopping is a well known marketing technique used by companies and marketing analysts to measure quality of service, and gather information about products and services. In this article, we analyse data from mystery shopping surveys via Bayesian Networks in order to examine and evaluate the quality of service offered by the loan departments of Greek Banks. We use mystery shopping visits to collect information about loan products and services and, by this way, evaluate the customer satisfaction and plan improvement strategies that will assist banks to reach their internal standards. Bayesian Networks not only provide a pictorial representation of the dependence structure between the characteristics of interest but also allow to evaluate, interpret and understand the effects of possible improvement strategies.