图数据挖掘技术的研究与进展

生物信息学(蛋白质结构分析、基因组识别)、社会网络(实体间的联系)、Web分析(Web链接结构分析、Web内容挖掘和Web日志搜索)以及文本信息检索等的迅速发展积累了大量图数据,对于图数据的挖掘逐渐成为研究领域的热点。一些诸如聚类、分类、频繁模式挖掘的传统数据挖掘研究逐渐拓展到图数据领域。通过介绍现阶段图数据挖掘技术的研究进展,总结了图数据挖掘的特点、现实意义、主要问题以及应用场景,讨论并预测了图数据,尤其是不确定图数据研究的发展趋势和热点。     

基于确定图的频繁子图挖掘技术概述

化学信息学、生物信息学、医学和社会科学等领域的科学研究的迅速发展积累了大量的图数据,如何从复杂和庞大的图数据中挖掘出有效信息成为数据挖掘领域的热点。通过介绍现阶段图数据挖掘技术的进展,特别是确定图挖掘技术中有代表性的频繁子图挖掘技术研究,讨论并预测了频繁子图挖掘研究的发展趋势。     

多维图结构聚类的社交关系挖掘算法

社交关系的数据挖掘一直是大图数据研究领域中的热门问题。图聚类算法如SCAN（Structural clustering algorithm for networks）虽可迅速地从海量图数据中获得关系紧密的社区结构,但这类社区往往只表示了社交对象的聚集,无法反馈对象间的真实社交关系,如家庭成员、同事、同学等。要获取对象间真实的社交关系,需要更多维度地挖掘现实中社交对象间复杂的交互关系。对象间的交互维度很多,例如：通话、见面、微信、Email等,而传统SCAN等聚类算法仅能够挖掘单维度的交互数据。本文在研究社交对象间的多维社交关系图数据与传统图结构聚类算法的基础上,提出了一种有效的子空间聚类算法SCA（Subspace Cluster Algorithm）,首次对多维度下子空间的图结构聚类进行研究,目的是探索如何通过图数据挖掘发现对象间真实的社交关系。SCA算法遵循自底向上的原则,能够发现社交图数据中所有子空间的聚类集。为了提升SCA的运行速度,我们利用其子空间聚类单调性进行了性能优化,进而提出了剪枝算法SCA+。最后,我们进行了大规模的性能测试实验,以及真实数据的案例研究,其结果验证了算法的效率和效用。     

一种新的基于频繁闭显露模式的图分类方法

由于图模型能够准确地表示科学与工程领域中数据的关键特征,图挖掘逐渐成为了数据挖掘领域的热点研究内容.图分类是图挖掘的一个重要研究分支.提出了一种新的基于频繁闭显露模式的图分类方法CEP,其基本思想是首先挖掘频繁闭图模式,然后从闭图模式中得到显露模式,最后根据显露模式构造一系列分类规则.实验结果显示:在对化合物数据分类时,CEP在分类性能上优于目前最好的图分类方法.而且,领域专家容易理解和利用CEP产生的分类规则.     

不确定数据频繁项集挖掘方法综述

近几年来,不确定数据广泛出现在传感器网络、Web应用等领域中。不确定数据挖掘已经成为了新的研究热点,主要包括聚类、分类、频繁项集挖掘、孤立点检测等方面,其中频繁项集挖掘是重点研究的问题之一。综述了传统的频繁项集挖掘的两类基本算法,分析了在此基础上提出的适用于不确定数据以及不确定数据流的频繁项集挖掘的方法,并探讨了今后可能的研究方向。     

数据挖掘技术

数据挖掘技术是当前数据库和人工智能领域研究的热点课题,为了使人们对该领域现状有个概略了解,在消化大量文献资料的基础上,首先对数据挖掘技术的国内外总体研究情况进行了概略介绍,包括数据挖掘技术的产生背景、应用领域、分类及主要挖掘技术;结合作者的研究工作,对关联规则的挖掘、分类规则的挖掘、离群数据的挖掘及聚类分析作了 较详细的论述;介绍了关联规则挖掘的主要研究成果,同时指出了关联规则衡量标准的不足及其改进方法,提出了分类模式的准确度评估方法;最后,描述了数据挖掘技术在科学研究、金属投资、市场营销、保险业、制造业及通信网络管理等行业的应用情况,并对数据挖掘技术的应用前景作了展望。     

基于朴素贝叶斯算法的社交网络数据挖掘技术研究

近年来,随着互联网技术飞速发展与普及,大量社交网络平台迅速崛起。社交网络平台拉近了日常人际关系,提供了便捷的信息通讯交流通道。同时,针对社交网络平台数据挖掘的技术研究成为不可缺少的网络数据研究领域一部分。现有社交网络数据挖掘技术所采用的传统数据挖掘算法与数据分离模式,存在大数据多元特征条件下,数据挖掘准确度降低、挖掘分类逻辑混乱等现象。针对问题产生根源,提出基于朴素贝叶斯算法的社交网络数据挖掘技术研究。采用基于朴素贝叶斯算法设计的PCIE-FN社交网络数据挖掘平台进行全面化的深入性解决。通过实验证明,提出的基于朴素贝叶斯算法的社交网络数据挖掘技术研究,各项数据满足社交网络数据挖掘日常应用要求。     

基于人工免疫系统的数据挖掘技术原理与应用

该文首先对人工免疫系统的发展历史和自然免疫系统机制进行简要介绍,之后重点对人工免疫系统在数据挖掘领域中的原理与应用研究进行详细分析综述。主要分两个部分,第一部分是从数据挖掘的主要任务——聚类和分类角度阐述人工免疫系统应用现状,第二部分主要从数据挖掘对象子领域——网络数据挖掘和文件挖掘角度分析人工免疫系统的应用,同时对有代表性的方法及其改进过程进行了详细介绍,指出人工免疫数据挖掘技术中的优点和缺点。最后提出新的研究方向。     

基于图数据挖掘算法的犯罪规律研究及应用

数据挖掘应用于犯罪集团或恐怖组织社会网络结构分析已经成为公安信息系统领域的研究热点,国内外在分析犯罪和恐怖组织之间的内在规律方面的研究工作亟待深入.与一般的数据挖掘技术相比,图能够表达更加丰富的语义,基于图数据挖掘技术应用于犯罪规律研究是一种新兴的研究方法.为了挖掘犯罪规律和频繁出现的核心成员,首先提出了基于图数据挖掘的相关理论,然后提出了基于相同犯罪特征频繁子图结构的挖掘犯罪规律算法GDMCR(Graph Data Mining Crime Rule),最后利用GDMCR算法得到的频繁子图关联知识分析犯罪规律及网络核心成员.实验证明了文中提出的基于图数据挖掘犯罪规律分析系统的有效性和实用性,并验证了GDMCR算法的有效性.     

一种基于Apriori思想的频繁子图发现算法

如今,关联规则技术应用在许多非传统领域,许多已有的频繁项集搜索方法已经不适用了。一种解决的方法就是用图的形式表示这些领域的事务,然后利用基于图论的数据挖掘技术发现频繁子图。本文提出了一种基于Aproiri思想的频繁子图发现算法SLAGM,它可以有效地挖掘简单图中的频繁子图。实验证明,该算法在性能上优于另一种子图挖掘算法AGM。     

一种新的基于嵌入集的图分类方法

随着图数据收集技术在许多科学领域的发展,对图数据分类已成为机器学习和数据挖掘领域的重要课题.目前已经提出许多图分类方法.其中,一些图分类方法采用3步来构筑分类模型;一些图分类方法采用2步来构筑分类模型.这些方法在挖掘频繁子图或特征子图时,只考虑到子图的结构信息,而没有考虑到子图的嵌入信息.为此,在L-CCAM子图编码的基础上,提出了一种基于嵌入集的图分类方法.该方法采用基于类别信息的特征子图选择策略,不但考虑了子图的结构信息,而且在频繁子图挖掘过程中充分利用嵌入信息——嵌入集,通过一步即直接选择特征子图以及生成分类规则.实验结果表明：在对化合物数据分类时,在分类精度上该方法优于采用3步的图分类方法;在运行效率上该方法优于采用2步和3步的图数据分类方法.     

基于并行图计算的社区划分方法

以图计算形式研究社交网络由来已久,但对于如何提升图计算应用于大规模社交网络的计算速度和扩展性,一直是研究的难点。谱图论的应用为社交网络在图计算方面的研究带来新的研究热点,谱图分割为社交网络社区划分带来基于结构的支撑。为了解决谱图论在处理大规模社交网络时存在计算缓慢、内存溢出等问题,本文提出了谱聚类改进算法结合矩阵方式在并行环境下的处理方法。首先,利用Spark对网络数据进行并行化预处理,将社交网络以图结构表示,再将图转化为Spark分布式稀疏矩阵。然后,将谱聚类改进算法在Spark环境下,实现并行化社交网络社区快速划分,并以分布式方式持久化存储源数据、中间计算数据和计算结果,提高图计算在社交网络中的可靠性。最后,通过实验证明并行化图计算方法能有效提高计算速度和扩展性,支持大规模社交网络的挖掘分析,实现并行算法下高并发、高吞吐的特点。     

基于gSpan的数据筛选算法研究与应用*

针对图结构数据库中如何实现图结构的快速有效检索问题,提出了一种新的数据筛选算法。它在gSpan算法原理的基础上引入了新的剪枝规则,修改了DFS编码的形式。其次利用改进后的gSpan挖掘出频繁图结构的DFS编码,以此建立索引并对图结构分类。最后将新算法应用于化学数据库,实验结果证明了该算法的正确性和高效性。     

基于图的关联规则改进算法

关联规则挖掘是数据挖掘研究的最重要课题之一。基于图的关联规则挖掘DLG算法通过一次扫描数据库构建关联图,然后遍历该关联图产生频繁项集,有效地提高了关联规则挖掘的性能。在分析该算法基本原理基础上,提出了一种改进的算法—DLG#。改进算法在关联图构造同时构造项集关联矩阵,在候选项集生成时结合关联图和Apriori性质对冗余项集进行剪枝,减少了候选项集数,简化了候选项集的验证。比较实验结果表明,在不同数据集和不同支持度阈值下,改进算法都能更快速的发现频繁项集,当频繁项集平均长度较大时性能提高明显。     

基于异构动态图模型的社交网络节点分类方法

在机器学习领域,与传统的神经网络相比,图神经网络在社交推荐等任务中发挥着越来越重要的作用,但是目前工作中大多数都使用静态图.针对现有静态图神经网络方法难以考虑社交用户动态特性的问题,通过引入动态图模型提出了一种基于异构动态图模型的社交网络节点分类方法.该方法在动态图建模的基础上,通过基于点边交互的节点特征更新机制和基于循环神经网络的时序聚合方法,实现了高效的动态社交网络节点分类.在多个真实数据集上的实验结果表明,提出方法在动态社交网络数据的节点分类方面有较好的效果,对比静态图和动态图的基准方法有显著的提升.     

基于人脸卡口数据的行人共现关系图谱构建

随着人脸识别技术的不断进步以及人脸卡口的大范围且密集的部署, 本文针对团伙犯罪案件侦察这一应用场景, 对人脸卡口数据进行深入挖掘, 探究其中行人间的共现关系, 获取所关注的嫌疑人的现实社交网络, 锁定团伙其余人员. 经过实验比对和论证, 本文使用Chinese Whispers聚类算法对行人节点进行识别, 通过Faiss加速邻接边的构建, 加速图的初始化步骤, 解决其聚类效率低下的问题. 在此基础上, 使用共现频次和Apriori算法中的置信度挖掘行人间的共现关系, 构建行人共现关系图谱.