知识图谱引导的贝叶斯网概率推理

在基于贝叶斯网的概率推理应用中,由于缺乏节点间潜在的关联信息,使得与推理任务无关的节点参与计算,导致推理效率不高,高效的贝叶斯网推理有待深入研究.为此,本文引入知识图谱,使用领域知识补充节点间潜在的关联信息,从而支持高效贝叶斯网推理.首先,基于TransE模型将知识图谱中的三元组嵌入到低维向量空间,通过向量的相似度计算得到实体间的关联信息,以此为依据从贝叶斯网中抽取与推理任务相关的子图构建节点关联图;然后,基于实体间的相似度与贝叶斯网节点参数给出图中的权值计算方法;最后,基于节点关联图的嵌入实现近似推理.实验结果表明,本文方法的效率优于吉布斯采样算法与前向采样算法,验证了本方法的高效性.     

概率图模型推理方法的研究进展

近年来概率图模型已成为不确定性推理的研究热点,在人工智能、机器学习与计算机视觉等领域有广阔的应用前景.根据网络结构与查询问题类型的不同,系统地综述了概率图模型的推理算法.首先讨论了贝叶斯网络与马尔可夫网络中解决概率查询问题的精确推理算法与近似推理算法,其中主要介绍精确推理中的VE算法、递归约束算法和团树算法,以及近似推理中的变分近似推理和抽样近似推理算法,并给出了解决MAP查询问题的常用推理算法;然后分别针对混合网络的连续与混合情况阐述其推理算法,并分析了暂态网络的精确推理、近似推理以及混合情况下的推理;最后指出了概率图模型推理方法未来的研究方向.     

基于概率推理的知识图谱中实体间关联度计算

针对知识图谱中实体间的关联关系存在不确定性、实体间关联度计算复杂度高等问题,提出一种基于贝叶斯网的实体间关联度的计算方法.针对知识图谱做预处理,利用剪枝后获取的核心子图构建贝叶斯网,提出基于知识图谱的贝叶斯网构建方法;利用贝叶斯网作为知识图谱中实体之间关联关系的量化和推理框架,基于贝叶斯网的概率推理,提出知识图谱中实体间关联度的定量计算方法.建立在真实数据之上的实验结果验证了方法的有效性.     

概率图模型中的变分近似推理方法

概率图模型将图论和概率论相结合,为多个变量之间复杂依赖关系的表示提供了统一的框架,在计算机视觉、自然语言处理和计算生物学等领域有着广泛的应用.概率推理(包括计算边缘概率和计算最大概率状态等问题)是概率图模型研究及应用的核心问题.本文主要介绍概率图模型近似推理方法中变分推理的最新研究成果.在变分近似推理的框架下,系统地归纳了概率图模型推理问题的基本研究思路,综述了目前主要的近似推理方法,并分析了近似算法的单调性、收敛性和全局性等性质.最后,对概率图模型近似推理方法的研究方向和应用前景作了展望.     

基于SOA-LSSVM的短时交通流量预测

针对短时交通流量存在的非线性与不确定性的问题,结合搜索者算法收敛精度高和最小二乘支持向量机计算速度快的优点,提出基于搜索者-最小二乘支持向量机( SOA-LSSVM)的流量预测模型,将该模型应用于短时交通流量预测,并与人工神经网络进行对比分析,结果表明,该模型具有较高的预测精度和泛化能力,适合于短时交通流量的预测,具有良好的推广应用价值。     

基于自编码器的贝叶斯网嵌入及概率推理

贝叶斯网(BN)是不确定性知识表示和推理的基本框架,广泛用于社交网络、知识图谱和医疗诊断等领域.特定领域中基于BN的分析诊断和决策支持,其核心计算任务是基于BN进行多次概率推理.然而,使用传统的概率推理方法,基于同一BN的多次概率推理其中间过程存在很多重复的计算结果,具有较高的时间复杂度.为了提高多次概率推理的效率,提出易于重用和易于计算的贝叶斯网嵌入及相应的概率推理方法.首先,借鉴图嵌入的基本思想,使用点互信息矩阵来表示BN的有向无环图结构和条件概率参数,提出基于自编码器和注意力机制的BN嵌入方法.其中,自编码器的每一编码层利用节点与其邻居节点(父节点和子节点)的相关性生成节点嵌入,从而在嵌入向量中保存BN节点间的概率依赖关系.然后,使用嵌入向量之间的距离来度量节点之间的联合概率,提出基于嵌入向量的BN概率推理方法.实验证明,针对BN的多次概率推理,所提方法的效率高于现有方法,且能得到准确的推理结果.     

一种基于概率图模型的不确定性数据世系表示方法

不确定性数据的世系分析是基于数据产生和演变的过程来跟踪数据不确定性的来源.为了有效地描述数据间复杂的相关性及不确定性,并从理论上保证世系分析中概率计算的正确性,文中研究了基于贝叶斯网这一重要的概率图模型的不确定性数据世系表示方法.以世系的布尔公式和不确定性数据本身为出发点,提出了将布尔公式等价转换为贝叶斯网的方法,并讨...     

基于故障关联的多故障概率诊断方法

故障软件诊断的必要性在于真实世界中的软件几乎都会包含一个以上的故障。与单故障不同,多个故障的传播及其关联导致软件诊断更复杂,不确定性更高,概率推理因而被用于适应多故障程序的特殊性。提出了一种新的基于变形概率图FCG及其推理的软件诊断方法。相比于BARINEL方法和经典的贝叶斯网,FCG的特别之处在于采用了无向图上候选故障及其关联关系的贝叶斯推理和Noisy-or推理,而候选故障及其关联可以从程序语句间的控制依赖关系和数据依赖关系中创建。从西门子套件到更大的space,grep程序的实验,无论是在处理单故障还是处理多故障的情况下,实验结果都证明了FCG的有效性,其诊断效果比LOUPE,Ochiai,Tarantula甚至BARINEL方法都准确。     

基于结构分析的局部Gibbs抽样自动推理算法

提出一种基于结构分析的局部Gibbs抽样的贝叶斯网络推理算法(S-LGSI).S-LGSI算法基于联合树算法的概率图模型分析思想,对贝叶斯网络进行精确分解,然后根据查询结点和证据结点生成具有强相关性的局部网络模型,进而对局部网络模型进行Gibbs抽样推理.与当前基于抽样的其它近似推理算法相比,该算法降低推理的计算维数.同时,由于局部抽样模型包含了与查询结点相关的重要信息,因此该算法保证局部抽样推理的精度.算法分析和在Alarm网的实验结果表明,S-LGSI算法较显著降低时间复杂度,同时也提高推理精度.S-LGSI算法应用于上海证券交易所股票网络的推理结果与实际情况基本一致,表现出较强的实用性.     

基于贝叶斯网的知识图谱链接预测

结合外部知识,使用特定方法进行知识图谱的链接预测,即知识图谱中缺失信息的发现和还原,是目前知识图谱领域研究的热点和关键。以电子商务应用为背景,基于已经构建好的描述用户兴趣的知识图谱,结合外部数据集,以贝叶斯网这一重要概率图模型作为不同商品之间相似性及其不确定性的表示和推理框架,通过对商品属性进行统计计算,构建反映商品之间相似关系的贝叶斯网,进而基于概率推理机制,定量地判断商品节点与用户节点之间存在链接的真实性,得到真实和完整的知识图谱,为个性化推荐和关联查询提供依据。建立在真实数据上的实验结果表明,提出的模型和算法是有效的。     

融合多种时空自注意力机制的Transformer交通流预测模型

交通流预测是智能交通系统中实现城市交通优化的一种重要方法,准确的交通流量预测对交通管理和诱导具有重要意义.然而,因交通流本身存在高度时空依赖性而表现出复杂的非线性特征,现有的方法主要考虑路网中节点的局部时空特征,忽略了路网中所有节点的长期时空特征.为了充分挖掘交通流数据复杂的时空依赖,提出一种融合多种时空自注意力机制的Transformer交通流预测模型(MSTTF).该模型在嵌入层通过位置编码嵌入时间和空间信息,并在注意力机制层融合邻接空间自注意力机制,相似空间自注意力机制,时间自注意力机制,时间-空间自注意力机制等多种自注意力机制挖掘数据中潜在的时空依赖关系,最后在输出层进行预测.结果表明, MSTTF模型与传统时空Transformer相比, MAE平均降低了10.36%.特别地,相比于目前最先进的PDFormer模型, MAE平均降低了1.24%,能取得更好的预测效果.     

基于时空多图卷积网络的交通站点流量预测

交通流量预测是智能交通系统中的重要组成部分,但由于交通流量受交通状况、地理位置、时间等多种因素影响,使其具有高度非线性与复杂性,实现精准预测的难度较大。针对交通站点的出入流量预测问题,提出一种基于上下文门控的时空多图卷积网络(CG-STMGCN)模型。根据站点间的相邻关系与流通流量关系构造邻居图与流通流量图表示站点流量之间的邻近相关性与流量依赖性,在两图上分别建立基于上下文门控的时空卷积模块捕获站点流量的时空特征,并使用哈达玛乘积融合两图的输出作为最终预测结果。在真实交通站点数据集上的实验结果表明,CG-STMGCN模型的预测准确性优于同类预测方法,且稳定性更强。     

基于注意力的时空神经网络城市区域交通流量预测

可靠的交通流量预测在交通管理和公共安全方面具有重要意义.然而,这也是一件具有挑战性的任务,因为它易受到空间依赖性、时间依赖性以及一些额外因素(天气和突发事件等)的影响.现有的大部分工作只考虑了交通数据的部分属性,导致建模不充分,预测性能不理想.因此,提出了一种新的端到端的深度学习模型——时空注意力卷积长短期记忆网络(ST-AttConvLSTM),用于交通流量的预测.ST-AttConvLSTM将整个模型分为三个分支进行建模,每个分支经过残差神经网络提取局部的空间特征,同时进一步结合天气等外部因素,再利用卷积长短时记忆网络(ConvLSTM)和注意力模型两种组件来挖掘流量的潜在规律,捕获时空维度上数据的关联性.使用北京市和纽约市两个真实的移动数据集来评估提出的方法,实验结果表明,该方法比知名的基准方法有更高的预测精度.     

基于DCGRU-RF模型的路网短时交通流预测

随着城市化进程的加快,我国城市机动车数量快速增加,使得现有路网容量难以满足交通运输需求,交通拥堵、环境污染、交通事故等问题与日俱增。准确高效的交通流预测作为智能交通系统的核心,能够有效解决交通出行和管理方面的问题。现有的短时交通流预测研究往往基于浅层的模型方法,不能充分反映交通流特性。文中针对复杂的交通网络结构,提出了一种基于DCGRU-RF(Diffusion Convolutional Gated Recurrent Unit-Random Forest)模型的短时交通流预测方法。首先,使用DCGRU(Diffusion Convolutional Gated Recurrent Unit)网络刻画交通流时间序列数据中的时空相关性特征;在获取数据中的依赖关系和潜在特征后,选择RF(Random Forest)模型作为预测器,以抽取的特征为基础构建非线性预测模型,得出最终的预测结果。实验以两条城市道路中的38个检测器为实验对象,选取了5周工作日的交通流数据,并将所提方法与其他常见交通流量预测模型进行比较。结果表明,DCGRU-RF模型能够进一步提高预测精度,准确度可达95%。     

Internet traffic modeling by means of Hidden Markov Models

In this work, we propose a Hidden Markov Model for Internet traffic sources at packet level, jointly analyzing Inter Packet Time and Packet Size. We give an analytical basis and the mathematical details regarding the model, and we test the flexibility of the proposed modeling approach with real traffic traces related to common Internet services with strong differences in terms of both applications/users and protocol behavior: SMTP, HTTP, a network game, and an instant messaging platform. The presented experimental analysis shows that, even maintaining a simple structure, the model is able to achieve good results in terms of estimation of statistical parameters and synthetic series generation, taking into account marginal distributions, mutual, and temporal dependencies. Moreover we show how, by exploiting such temporal dependencies, the model is able to perform short-term prediction by observing traffic from real sources.     

基于时空依赖性和注意力机制的交通速度预测

交通流精准预测对保障公共安全和解决交通拥堵具有重要的意义,在城市交通规划、交通管理、交通控制等起着重要的作用.交通预测由于其受限制于城市路网并且随着时间动态变化,其中存在着空间依赖与时间依赖,是近些年来具有挑战性的课题之一.为了同时捕获到空间和时间上的依赖,提出了一个新的神经网络:基于注意力机制的时空图卷积网络(A-TGCN).TGCN网络模型用于捕获交通数据中的动态时空特性与相关性,采用注意力机制来增强每个A-TGCN层中关键节点的信息.通过在两组数据上的实验结果表明,A-TGCN在精度以及可解释性方面都有很好的表现.     

Detecting P2P botnets by discovering flow dependency in C&C traffic

Botnets are widely used by attackers and they have evolved from centralized structures to distributed structures. Most of the modern P2P bots launch attacks in a stealthy way and the detection approaches based on the malicious traffic of bots are inefficient. In this paper, an approach that aims to detect Peer-to-Peer (P2P) botnets is proposed. Unlike previous works, the approach is independent of any malicious traffic generated by bots and does not require bots’ information provided by external systems. It detects P2P bots by focusing on the instinct characteristics of their Command and Control (C&C) communications, which are identified by discovering flow dependencies in C&C traffic. After discovering the flow dependencies, our approach distinguishes P2P bots and normal hosts by clustering technique. Experimental results on real-world network traces merged with synthetic P2P botnet traces indicate that 1) flow dependency can be used to detect P2P botnets, and 2) the proposed approach can detect P2P botnets with a high detection rate and a low false positive rate.     

Deep spatial-temporal bi-directional residual optimisation based on tensor decomposition for traffic data imputation on urban road network

Applied Intelligence - The capacity of fully exploiting underlying spatial-temporal dependencies holds the key for missing traffic data imputation, however, previous studies have neglected the...     

Topology-regularized universal vector autoregression for traffic forecasting in large urban areas

Autonomous vehicles are soon to become ubiquitous in large urban areas, encompassing cities, suburbs and vast highway networks. In turn, this will bring new challenges to the existing traffic management expert systems. Concurrently, urban development is causing growth, thus changing the network structures. As such, a new generation of adaptive algorithms are needed, ones that learn in real-time, capture the multivariate nonlinear spatio-temporal dependencies and are easily adaptable to new data (e.g. weather or crowdsourced data) and changes in network structure, without having to retrain and/or redeploy the entire system.We propose learning Topology-Regularized Universal Vector Autoregression (TRU-VAR) and examplify deployment with of state-of-the-art function approximators. Our expert system produces reliable forecasts in large urban areas and is best described as scalable, versatile and accurate. By introducing constraints via a topology-designed adjacency matrix (TDAM), we simultaneously reduce computational complexity while improving accuracy by capturing the non-linear spatio-temporal dependencies between timeseries. The strength of our method also resides in its redundancy through modularity and adaptability via the TDAM, which can be altered even while the system is deployed. The large-scale network-wide empirical evaluations on two qualitatively and quantitatively different datasets show that our method scales well and can be trained efficiently with low generalization error.We also provide a broad review of the literature and illustrate the complex dependencies at intersections and discuss the issues of data broadcasted by road network sensors. The lowest prediction error was observed for TRU-VAR, which outperforms ARIMA in all cases and the equivalent univariate predictors in almost all cases for both datasets. We conclude that forecasting accuracy is heavily influenced by the TDAM, which should be tailored specifically for each dataset and network type. Further improvements are possible based on including additional data in the model, such as readings from different metrics.     

基于自注意力机制的多模态语义轨迹预测

随着社交媒体的快速发展,多模态语义轨迹的预测成为新的挑战。轨迹点间的依赖关系在预测中起到重要作用,同时也存在着以下挑战：轨迹信息中包含多种模态信息(时间、兴趣点和活动文本等),存在时间、空间和活动意图等多种依赖,这些依赖关系很复杂,现有方法很难量化这些复杂依赖关系。为了解决以上问题,提出一种基于自注意力机制的多模态语义轨迹预测模型SAMSTP。SAMSTP先对多模态特征进行联合嵌入,再设计自注意力机制结合Position Encoding计算轨迹点之间的特征相似度,自动学习并量化复杂依赖权重,同时解决轨迹的长期依赖关系。最后,采用LSTM网络处理轨迹时序关系,并设计模式规范化机制解决依赖关系失真问题,加快模型收敛速度。在真实数据集上的实验结果表明,SAMSTP是有效的,并且优于现有最新方法。