基于双尺度约束模型的BN结构自适应学习算法

在无先验信息的情况下, 贝叶斯网络(Bayesian network, BN)结构搜索空间的规模随节点数目增加呈指数级增长, 造成BN结构学习难度急剧增加. 针对该问题, 提出基于双尺度约束模型的BN结构自适应学习算法. 该算法利用最大互信息和条件独立性测试构建大尺度约束模型, 完成BN结构搜索空间的初始化. 在此基础上设计改进遗传算法, 在结构迭代优化过程中引入小尺度约束模型, 实现结构搜索空间小尺度动态缩放. 同时, 在改进遗传算法中构建变异概率自适应调节函数, 以降低结构学习过程陷入局部最优解的概率. 仿真结果表明, 提出的基于双尺度约束模型的BN结构自适应学习算法能够在无先验信息的情况下保证BN结构学习的精度和迭代寻优的收敛速度.     

一种基于随机块模型的快速广义社区发现算法

随机块模型可以生成各种不同结构(称作广义社区,包括传统社区、二分结构、层次结构等)的网络,也可以根据概率对等原则发现网络中的广义社区.但简单的随机块模型在网络生成过程建模和模型学习方面存在许多问题,导致不能很好地发现实际网络的结构,其扩展模型GSB(general stochastic block)基于链接社区思想发现广义社区,但时间复杂度限制其在中大型规模网络中的应用.为了在无任何先验的情形下探索不同规模网络的潜在结构,基于GSB 模型设计一种快速算法FGSB,更快地发现网络的广义社区.FGSB 在迭代过程中动态学习网络结构参数,将GSB 模型的参数重新组织,减少不必要的参数,降低算法的存储空间;对收敛节点和边的参数进行裁剪,减少每次迭代的相关计算,节省算法的运行时间.FGSB 与GSB 模型求解算法有相同的结构发现能力,但FGSB 耗费的存储空间和运行时间比GSB 模型求解算法要低.在不同规模的人工网络和实际网络上验证得出:在近似相同的准确率下,FGSB 比GSB 模型求解算法快,且可发现大型网络的广义社区.     

基于先验估计的传播中心溯源算法

针对多数信息传播溯源算法未考虑先验估计对溯源的作用和价值,造成溯源检测率较低、错误距离较大等问题,文中利用易感-感染模型(SI)模拟信息在加权网络上的传播过程,提出基于先验估计的传播中心溯源算法.算法综合考虑邻居节点中感染节点和未被感染节点,根据它们的数量关系作为源节点先验估计值,有效弥补现有溯源算法先验估计不足的缺陷.在人工网络和真实网络上的实验表明,文中算法检测率较高、错误距离较小、真实源节点排名精确度较高.     

基于强化学习的无线自组网络多节点干扰策略

为了实现无线自组网络通信拒止的干扰需求,构建无线自组网络模型,并针对该模型提出一种基于强化学习理论的未知拓扑网络多节点干扰策略选择算法,以实时交互的方式进行在线学习.该算法无需获悉网络拓扑等先验知识,仅以网络流数目作为反馈信息,以多节点联合干扰的方式逐步学习最佳干扰节点.在不同参数的无线自组网中的仿真结果表明,所提算法在累积阻断网络流方面优于现有算法,且在新的奖赏标准下,所提算法仍具有优异的干扰性能.     

基于因子图模型的动态图半监督聚类算法

针对动态图的聚类主要存在着两点不足:首先, 现有的经典聚类算法大多从静态图分析的角度出发, 无法对真实网络图持续演化的特性进行有效建模, 亟待对动态图的聚类算法展开研究, 通过对不同时刻图快照的聚类结构进行分析进而掌握图的动态演化情况.其次, 真实网络中可以预先获取图中部分节点的聚类标签, 如何将这些先验信息融入到动态图的聚类结构划分中, 从而向图中的未标记节点分配聚类标签也是本文需要解决的问题.为此, 本文提出进化因子图模型(Evolution factor graph model, EFGM)用于解决动态图节点的半监督聚类问题, 所提EFGM不仅可以捕获动态图的节点属性和边邻接属性, 还可以捕获节点的时间快照信息.本文对真实数据集进行实验验证, 实验结果表明EFGM算法将动态图与先验信息融合到一个统一的进化因子图框架中, 既使得聚类结果满足先验知识, 又契合动态图的整体演化规律, 有效验证了本文方法的有效性.     

一种基于改进蜂群算法的网络重构技术

空间信息网络在给定拓扑结构和资源受限的情况下,卫星节点间如何优化链路选择,重构网络拓扑结构,使得升级后的空间信息网络具有良好的抗毁性,是非常具有研究价值的问题.本文针对空间信网络拓扑重构问题,综合考虑卫星节点之间的可见性、可连通时间和可连通度等约束条件,建立了卫星网络拓扑链路模型和节点模型并提出基于改进蜂群算法的空间信息网络拓扑重构算法.仿真实验表明,该算法在资源受限的情况下,能够兼顾改善网络的有效性和抗毁性,有效延长网络的生存时间.     

融合拓扑和属性的动态网络链路预测方法

网络数据中出现的大量节点属性和随时间变化的特征,给链路预测提出了新挑战。基于注意力机制和循环神经网络对随时间演化网络进行建模,提出了DTA-LP模型。与传统的静态链路预测算法相比,DTA-LP使用LSTM捕获时序信息,动态预测可以更好应用于现实网络;与基于网络拓扑的动态链路预测算法相比,DTA-LP可以聚集高阶拓扑特征,有效挖掘网络邻域信息;与基于属性网络的动态链路预测算法相比,DTA-LP可以加权融合网络拓扑属性,提高预测精度。在4种真实数据上的实验结果表明,该方法能结合网络已有先验知识,以较高的MAP值来预测未来网络中的边,验证了模型的有效性。     

基于信息传播节点集的CTDN节点分类算法

针对连续时间动态网络的节点分类问题,根据实际网络信息传播特点定义信息传播节点集,改进网络表示学习的节点序列采样策略,并设计基于信息传播节点集的连续时间动态网络节点分类算法,通过网络表示学习方法生成的节点低维向量以及OpenNE框架内的LogicRegression分类器,获得连续时间动态网络的节点分类结果。实验结果表明,与CTDNE和STWalk算法相比,该算法在实验条件相同的情况下,网络表示学习结果的二维可视化效果更优且最终的网络节点分类精度更高。     

一种基于递增估计GMM的连续优化算法

目前的分布估计算法(estimation of distribution algorithms)中概率模型的学习或多或少存在着对先验知识的依赖,而这些先验知识往往是不可预知的.针对这一问题,文中提出采用集成学习(ensemble learning)的思想实现EDAs中概率模型结构和参数的自动学习,并提出了一种基于递增学习策略的连续域分布估计算法,该算法采用贪心EM算法来实现高斯混合模型(GMM)的递增学习,在不需要任何先验知识的情况下,实现模型结构和参数的自动学习.通过一组函数优化实验对该算法的性能进行了考查,并与其它同类算法进行了比较.实验结果表明该方法是有效的,并且,相比其它同类EDAs,该算法用相对少的迭代,可以得到同样或者更好的结果.     

基于双视角的耦合网络表示学习算法

传统网络表示学习算法大多依赖于节点视角下的随机游走获取网络局部采样序列,再通过最大化相邻节点的共现概率将网络中的节点表示成低维向量.本文在真实网络上的经验分析表明,对节点和边两种视角分别进行随机游走会产生具有不同节点分布的采样序列,进而得到不同的社区划分.为此,本文提出了一种基于双视角的耦合表示学习算法DPBCNE.该方法基于边视角进行随机游走以获得不同于节点视角的采样结果,再融合基于节点视角下的节点采样序列进行耦合训练,以学习节点和边的表示.实验结果表明,相较于现有的网络表示学习算法,DPBCNE能更好地保留网络拓扑结构信息,并在下游分类和预测任务中获得更好的效果.     

GPU加速的神经网络BP算法*

近年来图形处理器(GPU)快速拓展的可编程性能力加上渲染流水线的高速度及并行性,使得图形处理器通用计算(GPGPU)迅速成为一个研究热点。针对大规模神经网络BP算法效率低下问题,提出了一种GPU加速的神经网络BP算法。将BP网络的前向计算、反向学习转换为GPU纹理的渲染过程,从而利用GPU强大的浮点运算能力和高度并行的计算特性对BP算法进行求解。实验结果表明,在保证求解结果准确度不变的情况下,该方法运行效率有明显的提高。     

一种基于并行策略的BP改进算法

介绍了BP神经网络的基本结构及原理,分析了其收敛慢的原因。为加快其收敛速度,结合带动量梯度下降法提出一种新的算法(PBBP),用多个学习速率不同但结构相同的网络进行并行训练,在每次迭代后都根据误差找出处于最佳状态的网络,并使其它网络的训练参数作适当变化再进行下一次迭代,直到整个网络的误差减小到允许范围内或达到训练次数要求,加快了其收敛速度,能够很好地脱离平坦区。通过在Matlab里编程进行仿真实验证明,该算法是可行的。     

A fast and accurate online self-organizing scheme for parsimonious fuzzy neural networks

In this paper, we present a fast and accurate online self-organizing scheme for parsimonious fuzzy neural networks (FAOS-PFNN), where a novel structure learning algorithm incorporating a pruning strategy into new growth criteria is developed. The proposed growing procedure without pruning not only speeds up the online learning process but also facilitates a more parsimonious fuzzy neural network while achieving comparable performance and accuracy by virtue of the growing and pruning strategy. The FAOS-PFNN starts with no hidden neurons and parsimoniously generates new hidden units according to the proposed growth criteria as learning proceeds. In the parameter learning phase, all the free parameters of hidden units, regardless of whether they are newly created or originally existing, are updated by the extended Kalman filter (EKF) method. The effectiveness and superiority of the FAOS-PFNN paradigm is compared with other popular approaches like resource allocation network (RAN), RAN via the extended Kalman filter (RANEKF), minimal resource allocation network (MRAN), adaptive-network-based fuzzy inference system (ANFIS), orthogonal least squares (OLS), RBF-AFS, dynamic fuzzy neural networks (DFNN), generalized DFNN (GDFNN), generalized GAP-RBF (GGAP-RBF), online sequential extreme learning machine (OS-ELM) and self-organizing fuzzy neural network (SOFNN) on various benchmark problems in the areas of function approximation, nonlinear dynamic system identification, chaotic time-series prediction and real-world regression problems. Simulation results demonstrate that the proposed FAOS-PFNN algorithm can achieve faster learning speed and more compact network structure with comparably high accuracy of approximation and generalization.     

椭球定界算法在混合建模中的应用研究

并行结构混合建模主要由机理模型与误差补偿模型组成.一般地,误差补偿模型不宜过于复杂,且模型应具有校正功能,以免精度随时间不断下降.针对这个问题,本文选择单层神经网络作为误差补偿模型,并将椭球定界算法应用于单层神经网络的参数更新,不仅能够保证建模误差稳定有界,同时能够提高网络的收敛速度.将提出的方法应用于氧化铝生产过程,改进了原有的苛性碱和氧化铝组 分浓度软测量方法.实验研究结果表明,椭球定界算法的应用提高了模型的精度和网络的收敛速度.除此之外,在存在噪声干扰下,改进 的方法比原有方法更稳定,进一步证明了方法的有效性和优越性.     

双并联前向过程神经网络及其应用研究

为克服多层前向过程神经网络收敛速度慢、精度低的问题,提出了一种双并联前向过程神经网络模型.在输入空间中引入一组合适的函数正交基,将输入函数和网络权函数表示为该组正交基的展开形式,并利用基函数的正交性简化网络聚合运算过程.给出了相应的学习算法,并以飞机发动机状态监控中发动机排气温度的预测为例验证了模型和算法的有效性.     

基于脉冲神经网络的迁移学习算法与软件框架

使用脉冲序列进行数据处理的脉冲神经网络具有优异的低功耗特性,但由于学习算法不成熟,多层网络训练存在收敛困难的问题。利用反向传播网络具有学习算法成熟和训练速度快的特点,设计一种迁移学习算法。基于反向传播网络完成训练过程,并通过脉冲编码规则和自适应的权值映射关系,将训练结果迁移至脉冲神经网络。实验结果表明,在多层脉冲神经网络中,迁移学习算法能够有效解决训练过程中收敛困难的问题,在MNIST数据集和CIFAR-10数据集上的识别准确率分别达到98.56%和56.00%,且具有微瓦级别的低功耗特性。     

基于神经网络模型分割的入侵检测方法

针对神经网络在入侵检测应用中存在资源消耗大、学习效率低等不足,提出一种基于神经网络模型分割的入侵检测方法.该方法根据当前典型攻击的特征,为每类攻击分别建立独立的子神经网络,对该类攻击进行学习和检测.然后再将每个子神经网络分割成多个更小的子模型,来降低学习时间和减少神经网络各层之间的连接权数目.设计了相应算法并进行仿真实验.实验结果表明,提出的方法提高了入侵检测的速度,降低了系统资源的消耗,提高了检测率.     

基于粒子群优化的BP网络学习算法

本文提出一种新颖的基于粒子群优化的BP网络学习算法，该算法是一种全局随机优化算法。用Iris分类问题，将所提出的算法与BP算法作了对比实验。实验结果表明：所提出的算法性能优于BP算法，而且具有良好的收敛性。