基于边界的Markov网的发现

一、引言 Bayesian网是一种进行不确定性推理的有力工具,被广泛应用于人工智能、专家系统以及数据挖掘等领域。近年来,越来越多的研究者开始研究如何从大量的样本数据中发现Bayesian网络,提出了许多Bayesian网的学习算法。这些算法大致可以分为两类:基于搜索和打分的算法与基于依赖分析的算法。基于搜索和打分的算法的基本思想是根据评分函数搜索得到对样本数据拟合得最好的Bayesian网络。评分函数主要对待选的网络结构进行打分,选择与数据拟合得最好的网络结构。由于不可能对所有的网络结构进行测试,所以需要运用局部搜索算法进行网络结构的搜索,通常是从初始网络结构(可以是空结构,随机指定的结构或先验网络结构等)开始,通过增加、删除或转向操作使得局部最优化(根据评分函数),再逐渐扩展到整个网络最优化。常用的局部搜索算法是爬山法和模拟退火法。     

径向基函数神经网络的一种两级学习方法

建立RBF(radial basis function)神经网络模型关键在于确定网络隐中心向量、基宽度参数和隐节点数.为设计结构简单,且具有良好泛化性能径向基网络结构,本文提出了一种RBF网络的两级学习新设计方法.该方法在下级由正则化正交最小二乘法与D-最优试验设计结合算法自动构建结构节俭的RBF网络模型;在上级通过粒子群优化算法优选结合算法中影响网络泛化性能的3个学习参数,即基宽度参数、正则化系数和D-最优代价系数的最佳参数组合.仿真实例表明了该方法的有效性.     

基于多视图集成的网络表示学习算法

现有的网络表示学习算法主要为基于浅层神经网络的网络表示学习和基于神经矩阵分解的网络表示学习。基于浅层神经网络的网络表示学习又被证实是分解网络结构的特征矩阵。另外,现有的大多数网络表示学习仅仅从网络的结构学习特征,即单视图的表示学习;然而,网络本身蕴含有多种视图。因此,文中提出了一种基于多视图集成的网络表示学习算法(MVENR)。该算法摈弃了神经网络的训练过程,将矩阵的信息融合和分解思想融入到网络表示学习中。另外,将网络的结构视图、连边权重视图和节点属性视图进行了有效的融合,弥补了现有网络表示学习中忽略了网络连边权重的不足,解决了基于单一视图训练时网络特征稀疏的问题。实验结果表明,所提MVENR算法的性能优于网络表示学习中部分常用的联合学习算法和基于结构的网络表示学习算法,是一种简单且高效的网络表示学习算法。     

动态深度信念网络模型构建

深度学习是一类新兴的多层神经网络学习算法,因其缓解了传统训练算法的局部最小性,故引起机器学习领域的广泛关注。但是,如何使一个网络模型在选取任意数值的隐藏层节点数时都能够得到一个比较合适的网络结构是目前深度学习界普遍存在的一个开放性问题。文章提出了一种能够动态地学习模型结构的算法——最大判别能力转换法,根据Fisher准则来评估隐藏层每一个节点的判别性能,然后通过动态地选择部分隐层节点来构建最优的模型结构。     

基于自适应模糊网络的在线辨识

研究了基于一阶Sugeno的自适应网络模糊推理系统（ANFIS）进行在线辨识的方法。给出了该自适应网络的结构,在此基础上给出了网络权值的修正算法,即综合最陡下降法和最小二乘法得到的一种混合学习算法。对一个非线性模型进行了数字仿真,得到的在线辨识的结果优于采用反传算法的普通神经网络辨识方法。由此证明,一阶Sugeno模糊推理模型和混合学习算法的采用,使得该辨识方法具备网络结构简单、收敛速度快的优势,便于工程实现。     

基于时空异构双流卷积网络的行为识别

目前大多数基于双流卷积网络的行为识别方法采用同样的时空网络结构,双流合并时会产生大量的冗余信息,从而降低识别的精确度.对此提出一种基于双流网络的时空异构网络结构.该网络采用两种不同的时空网络结构对行为进行分类.此外,对视频序列的长时间结构采用分段形式进行建模,使整个行为视频的学习变得高效.在UCF101和HMDB51数...     

半监督属性网络表示学习方法

网络表示学习是一个重要的研究课题,其目的是将高维的属性网络表示为低维稠密的向量,为下一步任务提供有效特征表示。最近提出的属性网络表示学习模型SNE（Social Network Embedding）同时使用网络结构与属性信息学习网络节点表示,但该模型属于无监督模型,不能充分利用一些容易获取的先验信息来提高所学特征表示的质量。基于上述考虑提出了一种半监督属性网络表示学习方法SSNE（Semi-supervised Social Network Embedding）,该方法以属性网络和少量节点先验作为前馈神经网络输入,经过多个隐层非线性变换,在输出层通过保持网络链接结构和少量节点先验,学习最优化的节点表示。在四个真实属性网络和两个人工属性网络上,同现有主流方法进行对比,结果表明本方法学到的表示,在聚类和分类任务上具有较好的性能。     

知识堆叠降噪自编码器EI北大核心CSCD

深度神经网络是具有复杂结构和多个非线性处理单元的模型,广泛应用于计算机视觉、自然语言处理等领域.但是,深度神经网络存在不可解释这一致命缺陷,即“黑箱问题”,这使得深度学习在各个领域的应用仍然存在巨大的障碍.本文提出了一种新的深度神经网络模型——知识堆叠降噪自编码器(Knowledge-based stacked denoising autoencoder,KBSDAE).尝试以一种逻辑语言的方式有效解释网络结构及内在运作机理,同时确保逻辑规则可以进行深度推导.进一步通过插入提取的规则到深度网络,使KBSDAE不仅能自适应地构建深度网络模型并具有可解释和可视化特性,而且有效地提高了模式识别性能.大量的实验结果表明,提取的规则不仅能够有效地表示深度网络,还能够初始化网络结构以提高KBSDAE的特征学习性能、模型可解释性与可视化,可应用性更强.     

贝叶斯网络结构学习综述

贝叶斯网络是一种有效的不确定性知识表达和推理工具,在数据挖掘等领域得到了较好的应用,而结构学习是其重要研究内容之一.经过二十多年的发展,已经出现了一些比较成熟的贝叶斯网络结构学习算法,对迄今为止的贝叶斯网络结构学习方法进行了综述.现阶段获得的用于结构学习的观测数据都比较复杂,这些数据分为完备数据和不完备数据两种类型.针对完备数据,分别从基于依赖统计分析的方法、基于评分搜索的方法和混合搜索方法三个方面对已有的算法进行分析.对于不完备数据,给出了数据不完备情况下网络结构的学习框架.在此基础上归纳总结了贝叶斯网络结构学习各个方向的研究进展,给出了贝叶斯网络结构学习未来可能的研究方向.     

面向粒子群优化的贝叶斯网络结构学习算法

提出了一种基于离散粒子群优化的贝叶斯网络结构学习算法——PSBN（Particle Swarm for Bayesian Network）。贝叶斯网络的结构被映射为一种符号编码,通过在迭代过程中对粒子的符号编码进行调整,从而进化得到具有更高适应度值的贝叶斯网络结构。根据贝叶斯网络的结构特点,粒子位置和速度的编码方案和基本操作被设计,使得算法对贝叶斯网络的结构学习有较好的收敛性。实验结果表明,与基于遗传算法的贝叶斯网络结构学习算法相比,PSBN算法具有较好的学习效果。     

贝叶斯网络结构模型的构建

贝叶斯网络结构是一种将贝叶斯概率方法和有向无环图的网络拓扑结构有机结合的表示模型,它描述了数据项及其依赖关系,并根据各个变量之间概率关系建立图论模型,但是如何获取具有丢失数据的网络结构是一个急需解决的问题.本文提出一个基于Kullback-Leibler(KL)散度的贝叶斯网络结构学习的KLBN(Kullback-Leibler Bayesian Network)算法.实验结果表明,KLBN算法在可靠性方面明显优于传统的具有丢失数据的贝叶斯网络结构学习算法.     

具有丢失数据的贝叶斯网络结构学习研究

目前主要基于EM算法和打分-搜索方法进行具有丢失数据的贝叶斯网络结构学习,算法效率较低,而且易于陷入局部最优结构.针对这些问题,建立了一种新的具有丢失数据的贝叶斯网络结构学习方法.首先随机初始化未观察到的数据,得到完整的数据集,并利用完整数据集建立最大似然树作为初始贝叶斯网络结构,然后进行迭代学习.在每一次迭代中,结合贝叶斯网络结构和Gibbs sampling修正未观察到的数据,在新的完整数据集的基础上,基于变量之间的基本依赖关系和依赖分析思想调整贝叶斯网络结构,直到结构趋于稳定.该方法既解决了标准Gi     

具有丢失数据的贝叶斯网络结构学习算法

学习具有丢失数据的贝叶斯网络结构主要采用结合 EM 算法的打分一搜索方法,其效率和可靠性比较低.针对此问题建立一个新的具有丢失数据的贝叶斯网络结构学习算法.该方法首先用 Kullback-Leibler(KL)散度来表示同一结点的各个案例之间的相似程度,然后根据 Gibbs 取样来得出丢失数据的取值.最后,用启发式搜索完成贝叶斯网络结构的学习.该方法能够有效避免标准 Gibbs 取样的指数复杂性问题和现有学习方法存在的主要问题.     

基于贝努里分布的贝叶斯网络结构学习算法

目前,学习具有丢失数据的贝叶斯网络结构主要采用结合EM算法的打分-搜索方法和基于依赖分析的思想,其效率和可靠性比较低.本文针对此问题建立一个新的具有丢失数据的贝叶斯网络结构学习算法.该方法首先根据贝努里分布来表示数据库中变量结点之间的关系,并用Kullback-Leibler(KL)散度来表示同一结点的各个案例之间的相似程度,然后根据Gibbs取样来得出丢失数据的取值.最后,用启发式搜索完成贝叶斯网络结构的学习.该方法能够有效避免标准Gibbs取样的指数复杂性问题和现有学习方法存在的主要问题.     

Visual analysis for panel data imputation with Bayesian network

Bayesian network is derived from conditional probability and is useful in inferring the next state of the currently observed variables. If data are missed or corrupted during data collection or transfer, the characteristics of the original data may be distorted and biased. Therefore, predicted values from the Bayesian network designed with missing data are not reliable. Various techniques have been studied to resolve the imperfection in data using statistical techniques or machine learning, but since the complete data are unknown, there is no optimal way to impute missing values. In this paper, we present a visual analysis system that supports decision-making to impute missing values occurring in panel data. The visual analysis system allows data analysts to explore the cause of missing data in panel datasets. The system also enables us to compare the performance of suitable imputation models with the Bayesian network accuracy and the Kolmogorov–Smirnov test. We evaluate how the visual analysis system supports the decision-making process for the data imputation with datasets in different domains.

     

Bayesian Networks for Data Mining

A Bayesian network is a graphical model that encodesprobabilistic relationships among variables of interest. When used inconjunction with statistical techniques, the graphical model hasseveral advantages for data modeling. One, because the model encodesdependencies among all variables, it readily handles situations wheresome data entries are missing. Two, a Bayesian network can be used tolearn causal relationships, and hence can be used to gain understanding about a problem domain and to predict the consequencesof intervention. Three, because the model has both a causal andprobabilistic semantics, it is an ideal representation for combiningprior knowledge (which often comes in causal form) and data. Four,Bayesian statistical methods in conjunction with Bayesian networksoffer an efficient and principled approach for avoiding theoverfitting of data. In this paper, we discuss methods for constructing Bayesian networks from prior knowledge and summarizeBayesian statistical methods for using data to improve these models.With regard to the latter task, we describe methods for learning boththe parameters and structure of a Bayesian network, includingtechniques for learning with incomplete data. In addition, we relateBayesian-network methods for learning to techniques for supervised andunsupervised learning. We illustrate the graphical-modeling approachusing a real-world case study.     

面向上下文感知计算的贝叶斯网络结构自学习算法的研究

通过对上下文感知计算中上下文特点的详细分析,提出一种面向上下文感知计算的通用贝叶斯网络结构自学习方法。该方法能在足够实例数据的支撑下自动对上下文感知计算中上下文之间的关系进行学习,进而形成贝叶斯网络结构,用于从低层上下文向高层上下文的演化。通过对上下文感知计算中上下文的层次化特点的有效利用,该方法对贝叶斯网络自学习方法进行了有效优化。研究分析表明,该方法能显著降低贝叶斯网络学习过程中的时间复杂度。     

贝叶斯网络结构稀疏学习研究进展*

贝叶斯网络结构稀疏化学习因其既能简化结构又能保留原始网络中的重要信息,已经成为当前贝叶斯网络的研究热点.文中首先讨论贝叶斯网络结构稀疏学习的必要性、贝叶斯网络稀疏性的定义,并在此基础上介绍现有的贝叶斯网络结构稀疏学习研究思路.然后,回顾一般的贝叶斯网络结构学习方法,并分析它们在高维背景下存在的问题,进而发现基于评分的方法通常适合于贝叶斯网络结构的稀疏学习,因此重点介绍贝叶斯网络结构稀疏学习的目标函数和优化求解算法.最后,探讨未来贝叶斯网络结构稀疏学习的一些研究方向.     

基于互信息的贝叶斯网络结构学习算法

结构学习是贝叶斯网络的重要分支之一,而由数据学习贝叶斯网络是NP-完全问题,提出了一个由数据学习贝叶斯网络的改进算法。该算法基于互信息知识构造初始无向图,并通过条件独立测试对无向边添加方向;同时提出了一个针对4节点环和5节点环的局部优化方法来构造初始框架,最后利用贪婪搜索算法得到最优网络结构。数值实验结果表明,改进的算法无论是在BIC评分值,还是在结构的误差上都有一定的改善,并且在迭代次数、运行时间上均有明显降低,能较快地确定出与数据匹配程度最高的网络结构。     

贝叶斯网络结构学习的发展与展望

从最初的概率贝叶斯网络构建阶段到涌现大量研究成果的因果贝叶斯网络结构学习阶段,本文完整地回顾了贝叶斯网络结构学习的整个发展历程,并对该领域当前存在的问题及相关研究进行分析论述,给出了研究展望.值得一提的是,贝叶斯网络结构学习正在成为因果数据挖掘的主流.