基于相关性分析的工业时序数据异常检测

多维时间序列上的异常检测,是时态数据分析的重要研究问题之一.近年来,工业互联网中传感器设备采集并积累了大量工业时间序列数据,这些数据具有模式多样、工况多变的特性,给异常检测方法的效率、效果和可靠性均提出更高要求.序列间相互影响、关联,其隐藏的相关性信息可以用于识别、解释异常问题.基于此,提出一种基于序列相关性分析的多维时间序列异常检测方法.首先对多维时间序列进行分段、标准化计算,得到相关性矩阵,提取量化的相关关系;然后建立了时序相关图模型,通过在时序相关图上的相关性强度划分时间序列团,进行时间序列团内、团间以及单维的异常检测.在真实的工业设备传感器数据集上进行了大量实验,实验结果验证了该方法在高维时序数据的异常检测任务上的有效性.通过对比实验,验证了该方法从性能上优于基于统计和基于机器学习模型的基准算法.该研究通过对高维时序数据相关性知识的挖掘,既节约了计算成本,又实现了对复杂模式的异常数据的精准识别.     

多时间序列k′/k-支配Skyline查询处理

时间序列是各个领域中大量存在的一类数据,有着极广泛的应用.多时间序列是其中常见的一种数据类型,它从多个角度以单时间序列的形式去描述同一个对象.目前关于时间序列的研究主要集中于单时间序列,而多时间序列的研究工作则相对较少,如多时间序列的查询处理等,但是在实际生活中多时间序列的查询却有着非常广泛的应用.首先定义了多时间序列的支配关系,然后在此基础上给出多时间序列k′/k-支配Skyline查询的定义,并提出了GMS和GMI两种查询算法,对算法的正确性和复杂性也进行了证明和分析.合成数据和真实数据上的大量实验表明,两种算法都可以得到较好的查询结果,而GMI算法的查询效率较GMS算法有很大程度地提升.     

基于相关性的多维时序数据异常溯源方法

提出一种基于统计学相关性分析的多维时序异常数据检测分析方法,以对检测中表现为异常的数据进行溯源:对反映系统故障的数据和传感器质量问题的数据进行分类,进而识别出真正的系统故障,避免误检.首先根据相关关系构建时序相关图,再进一步归纳为时序相关环模型,通过在时序相关图上搜索并确定时序相关环的过程,提取时序相关环中的特征,得到时间序列相关性集合.进而利用时间序列相关性集合进行时序数据异常来源检测,根据检测结果评估时序传感器数据对应的系统故障的几率.在真实的工业设备传感器序列数据集上进行大量实验,实验结果验证了该方法在高维时序数据的异常检测任务上的有效性.通过对比实验,验证了该方法从稳定性和效率上优于基于统计和基于机器学习模型的基准算法,时间序列的维度越高,该方法较基准算法的提升越明显.该方法通过对多维时序数据相关性知识的挖掘,既节约了计算成本,又实现了对多维异常数据来源的精准识别.     

基于配对堆的交互式医学图像分割算法的研究

在序列医学图像的交互式分割过程中,分割速度是交互式算法应用的一个瓶颈.提出了一种基于配对堆的交互式医学图像分割算法.通过使用配对堆实现可降级的优先队列,降低了Live-Wire交互式分割算法从图上大量节点中动态搜索两目标点之间最短路径的时间复杂度.经算法分析以及在放疗计划系统中的应用实验表明,该算法可有效提高序列医学图像的分割效率.     

基于时间动态因果图的复杂工业过程故障预测方法

故障预测技术有力地保证了生产过程的平稳有序和人员安全.但在实际操作过程中,过程数据的定性与定量信息并存,模型较为复杂.此外,在生产过程中,利用在线收集的数据进行故障预测时存在时序延迟问题.对此,建立一种基于时间动态因果图(TDCD)的故障预测模型.在模型建立过程中,提出参数的延迟时间间隔学习算法,即移动搜索最大信息系数(MIC)算法,充分考虑了时序方面的延迟问题.在推理过程中,加入趋势分析和延时信息排序以优化推理过程,减少因延迟时间造成的故障误报率.最后,使用某浮选过程因果图网络进行算法验证,并将所提出的策略应用于湿法冶金浸出过程,与单值/多值不确定动态因果图进行对比,以表明故障预测策略的先进性和有效性.     

复杂因果图并行推理算法研究

因果图的精确推理算法是NP难的,因此寻找高效的推理方法是值得研究的问题。介绍了因果关系研究进展,对经典因果图推理过程作了进一步分析,在此基础上提出了复杂因果图的并行推理算法,并对算法的时间复杂度进行了分析,最后用一个实例验证了算法的推理效果。研究表明,该复杂因果图并行推理算法有效地降低了时间复杂度,特别是在有环且处理机数量足够的情况下和无环且处理机有限的情况下,算法的复杂度是一个多项式时间复杂度,这为因果图提供了一种可行的新的推理方法。     

基于条件独立性的LiNGAM模型剪枝算法

如何根据观察数据来推断因果网络结构是统计学和机器学习领域的重要问题。近年来学者们取得了许多研究成果,Li NGAM算法是其中一种经典的线性因果推断算法。但Li NGAM算法采用的剪枝策略时间复杂度较高,且在稀疏图上准确率低。为此,提出一种基于条件独立性测试的剪枝算法来解决这个问题。该算法首先将变量根据因果顺序重新排列,再按照该次序采用偏相关系数检验变量之间的条件独立性。大量的实验结果表明,基于条件独立性的剪枝算法在稀疏图上比Li NGAM的剪枝算法获得更高的准确率与执行效率。     

面向故障间格兰杰因果发现的霍克斯过程研究

现有因果关系建模方法应用于故障事件序列时,难以有效引入因果先验,使得算法结果过于稠密,同时在稀疏、时间精度低的数据上因果关系可靠性较差。将不同故障类型事件的因果关系建模为基于霍克斯过程的格兰杰因果关系,提出一种面向故障序列的格兰杰因果发现的霍克斯过程模型。将霍克斯过程拓展到离散时间域,解决低时间精度数据的建模问题,并通过构造基于贝叶斯信息准则的目标函数,保证因果结构稀疏性,进而利用基于EM算法与爬山法的迭代优化算法引入因果先验,提高模型的可靠性。实验结果表明,该方法在由不同参数生成的模拟数据上均表现突出,且在两个通信网络的真实数据集中,F1评分相比ADM4、MLE-SGL、TSSO和PCMCI算法提升15.18%以上。而通过引入根因标注和因果依赖性先验,算法的F1评分进一步提升22.43%以上,验证了引入先验的有效性。     

一种故障树结构匹配算法及其应用

面对以故障树形式汇集的大量历史事故案例,故障树结构匹配是借鉴历史经验在有限时间、人力和成本下实现对新事故准确和全面调查的有效手段。根据事件演化的时序和因果推理的结构特征,提出一种故障树结构匹配算法。通过构造故障树结构匹配的隐马尔可夫模型,利用维特比算法预测待匹配序列的最佳序列。实验数据显示,相对于基于节点的结构匹配算法,该算法在匹配的准确性、结构缺陷的检测效果等方面有显著提升。     

反事实增强的对抗学习序列推荐

最近,强化学习技术在序列推荐系统取得成功,它能从用户长期反馈信号中学习有效的推荐策略.然而,模型的激励函数设计面临区分度过低的难题.这限制了模型学习不同用户反馈信号间的价值差异的能力,并导致推荐策略总是次优的.现有工作主要通过调节衰减因子来保证激励函数区分度,但它依赖专家先验知识缺乏理论基础.为了更合理地设计激励函数和提高其区分度,本文依据因果论来分析推荐系统,并提出一种基于反事实区分度增强的序列推荐算法CAL4Rec.首先,所提出方法用结构因果图描述序列推荐过程,并创造性地用因果图定义了因果可鉴别的价值激励区分度.其次,该方法用反事实生成对抗的自监督学习过程优化推荐策略网络,以学习用户的真实倾向.在一系列序列推荐基准数据集上,对CAL4Rec开展了广泛对比和消融实验,实验结果表明CAL4Rec的提升对多种网络实现结构有效(平均2.34%).     

大规模时序图数据的查询处理与挖掘技术综述

时序图作为一种带有时间维度的图结构,在图数据的查询处理与挖掘工作中扮演着越来越重要的角色.与传统的静态图不同,时序图的结构会随时间序列发生改变,即时序图的边由时间激活.而且由于时序图上每条边都有记录时间的标签,所以时序图包含的信息量相较于静态图也更为庞大,这使得现有的数据查询处理方法不能很好地应用于时序图中.因此如何解决时序图上的数据查询处理与挖掘问题得到研究者们的关注.对现有的时序图上的查询处理与挖掘方法进行了综述,详细介绍了时序图的应用背景和基本定义,梳理了现有的时序图模型,并从图查询处理方法、图挖掘方法和时序图管理系统3个方面对时序图上现有的工作进行了详细的介绍和分析.最后对时序图上可能的研究方向进行了展望,为相关研究提供参考.     

A spatiotemporal compression based approach for efficient big data processing on Cloud

It is well known that processing big graph data can be costly on Cloud. Processing big graph data introduces complex and multiple iterations that raise challenges such as parallel memory bottlenecks, deadlocks, and inefficiency. To tackle the challenges, we propose a novel technique for effectively processing big graph data on Cloud. Specifically, the big data will be compressed with its spatiotemporal features on Cloud. By exploring spatial data correlation, we partition a graph data set into clusters. In a cluster, the workload can be shared by the inference based on time series similarity. By exploiting temporal correlation, in each time series or a single graph edge, temporal data compression is conducted. A novel data driven scheduling is also developed for data processing optimisation. The experiment results demonstrate that the spatiotemporal compression and scheduling achieve significant performance gains in terms of data size and data fidelity loss.     

由Markov网到Bayesian网

Markov网（马尔可夫网）是类似于Bayesian网（贝叶斯网）的另一种进行不确定性揄的有力工具，Markov网是一个无向图，而Bayesian网是一个有向无环图，发现Markov网不需要发现边的方向，因此要比发现Bayesian网容易得多，提出了一种通过发现Markov网得到等价的Bayesian网的方法，首先利用信息论中验证信息独立的一个重要结论，提出了一个基于依赖分析的边删除算法发现Markov网，该算法需O（n^2)次CI（条件独立）测试，CI测试的时间复杂度取决于由样本数据得到的联合概率函数表的大小，经证明，假如由样本数据得到的联合概率函数严格为正，则该算法发现的Markov网一定是样本的最小L图，由发现Markov网，根据表示的联合概率函数相等，得到与其等价的Bayesian网。     

异构大数据网络的多维关联细粒度数据挖掘算法

为了解决具有密度高、关联复杂的异构大数据网络的数据挖掘效率低下问题,基于多维关联架构,结合细粒度控制提出了数据挖掘算法.首先,在异构大数据网络存储与转发、处理的数据个性特征和差异化的基础上,给出了异构大数据网络数据定义和多维关联模型.接着,基于大数据网络多维关联初始化进程,通过大数据单位重构、维度置换、细粒度化和粒度均衡等,提出了多维关联细粒度数据挖掘算法.最后,通过与粗粒度算法、线性化结构数据挖掘算法对比了在不同网络规模和数据规模下的执行效率.实验结果表明,所提算法具有更佳的执行效率.     

大型数据库中利用强化学习改进treap的关联规则挖掘算法

信息的爆炸式增长使数据挖掘分析过程更加困难,针对普通关联规则挖掘算法很难在短运行时间和低关联度的前提下完成大型数据库中变量关系的评估和发现的问题,提出利用强化学习算法改进treap的大型数据库关联规则挖掘算法。提出的算法首先计算数据库中每个变量的优先级;然后,在优先级模型中利用强化学习算法改进的build-treap程序构建treap数据结构;最后,通过遍历程序和generateRule程序完成数据库中所需的关系查找。在对提出的算法进行稳定性分析后进行了仿真验证实验,实验结果表明,提出的算法在其最次和最佳案例分析中分别能够完成O(n log n)次和O(n 2)次挖掘,能够在较短时间内完成低关联度的大型数据库中变量关系挖掘任务,相对于改进型Apriori算法和改进型FP生长算法有较大提升。     

基于用户搜索行为的query-doc关联挖掘

query和doc之间的关联关系是搜索引擎期望获取的一类有价值的信息. query和doc间准确的关联分析不仅可以帮助搜索结果排序,也在query和doc之间的桥接中起到重要作用,以实现相关query和doc之间的信息传递,有利于更深入的query理解和doc理解,并在此基础上开展相关应用.本文提出了一种基于用户搜索行为的query和doc关联关系挖掘算法,该方法首先对用户搜索点击日志中的数据进行整理与分析,构建query与doc间的二部图,再通过采用马尔可夫随机游走模型对二部图数据进行建模,挖掘二部图中的点击数据和session数据,最终挖掘出点击日志中用户没有点击到的doc数据,从而预测出query和doc间的隐含关联关系,同时也可以利用该算法得到query和query潜在的关联关系.基于以上理论基础,我们实现了一套完整的日志挖掘系统,通过大量的实验对比,该系统在各方面均取得了优异的表现,其中对检索结果相关性的性能提升可以达到71.23%,这充分表明,本文所提出的理论和算法能够很好地解决query和doc之间的隐含关系挖掘问题,为提高搜索结果的召回率、实现查询推荐和检索结果聚类奠定了良好的前提基础.     

社交网络下的不确定图隐私保护算法

社交网络平台的快速普及使得社交网络中的个人隐私泄露问题愈发受到用户的关心,传统的数据隐私保护方法无法满足用户数量巨大、关系复杂的社交网络隐私保护需求.图修改技术是针对社交网络数据的隐私保护所提出的一系列隐私保护措施,其中不确定图是将确定图转化为概率图的一种隐私保护方法.主要研究了不确定图中边概率赋值算法,提出了基于差分隐私的不确定图边概率赋值算法,该算法具有双重隐私保障,适合社交网络隐私保护要求高的场景.同时提出了基于三元闭包的不确定图边概率分配算法,该算法在实现隐私保护的同时保持了较高的数据效用,适合简单的社交网络隐私保护场景.分析与比较表明：与（k,ε）-混淆算法相比,基于差分隐私的不确定图边概率赋值算法可以实现较高的隐私保护效果,基于三元闭包的不确定图边概率分配算法具有较高的数据效用性.最后,为了衡量网络结构的失真程度,提出了基于网络结构熵的数据效用性度量算法,该算法能够度量不确定图与原始图结构的相似程度.     

基于知识图谱的智能决策支持技术及应用研究

知识图谱是把复杂的领域知识通过数据挖掘、信息处理、知识计量和图形绘制而显示出来,解释知识领域的动态发展规律。知识图谱把所有不同种类的信息(heterogeneous information)连接在一起得到一个关系网络并从"关系"的角度去分析问题。知识图谱目前被广泛应用于智能搜索、智能问答等领域。提出了一种基于知识图谱的智能决策支持框架,用于解决传统决策支持系统存在的问题。通过大数据、知识图谱等海量知识分析和模型构建技术,结合决策支持系统,增强对问题的分解与处理、形成具有关系型网络的知识系统。最后结合电信领域中的经典决策案例,搭建基于知识图谱的欺诈电话智能决策支撑平台。和传统的决策支持系统比较,该研究方法的优点在于结合大数据处理方法提升了知识建模的算力和决策支持的效率,使实时处理大规模信息数据成为现实;基于知识图谱的关系型网络,提升了决策模型的准确性和关联相关性。     

基于KFCMSA的(k，l)加权社交网络匿名算法

图数据隐私保护的研究目前主要集中在简单图,适应范围有限。将权重图数据的隐私保护作为研究对象,可以改善权重图发布之后数据的可用性及有效性。针对在利用聚类匿名化方法处理社交网络数据时,需要增删大量的边和节点,造成严重的数据失真的问题进行了研究。提出了（k,l）加权社交网络匿名算法KFCMSA（联合k成员模糊聚类和模拟退火）,并利用改进的簇划分算法将权重社交网络聚类成不同的簇,对同一簇中节点的边权重进行泛化使节点满足l多样性。在实现k度匿名的同时有效减少了边的改变量,提高了数据的可用性,实现最优聚类的同时防止了同质性攻击。聚类质量实验和数据可用性分析表明该算法具有较高的性能优势和较高边保留率。