基于Spark无线城市社团发现算法的研究*

针对已有的社团发现算法存在时间复杂度较高、运行过程会产生大量重复团等问题,引入二叉树的存储结构、权重排序、深度优先遍历的概念,与Spark基于内存计算的特点相结合,提出一种改进的并行化S-T-CS算法。通过搭建Spark大数据平台实现该算法,并与传统团搜索CS算法和基于Hadoop的MP-T-CS算法进行性能对比。实验结果表明,S-T-CS算法解决了生成结果冗余的问题,降低了时间代价,提升了社团发现算法的运行速度和对海量数据的处理能力。     

基于节点相似度的社团发现算法

对现有的社会网络社团发现算法进行研究,发现存在算法时间复杂度高、准确率低和没有充分利用节点属性信息等问题,提出了一种基于节点相似度的社团发现算法以解决这些问题。综合考虑图的拓扑结构和节点属性信息,结合构造属性扩展图的思想和基于结构情境相似度的思想得到节点的相似度,利用改进的K-means算法对所有节点进行聚类得到社团结构。编程实验结果表明,使用该算法得到的社团准确率较高,算法的时间复杂度为线性的,在带属性的数据集上和不带属性的数据集上的测试结果均验证了算法的有效性。     

无线城市数据中的社团发现方法

为了在缺失社交关系的无线城市接入日志中挖掘频繁共现的社团结构。提出了一种基于无向有权图的社团发现方法：团搜索（Clique Search）。该算法将日志数据映射到图空间,通过挖掘其中的团来对潜在的社团关系进行挖掘。相较于传统算法,该算法显著减小了运算时间复杂度与空间复杂度。实验结果表明,随着输入数据集规模的增长,该算法仍然能够在常数级别时间内完成计算。算法中的参数[δ]对结果社团中成员的联系紧密度影响比较明显,使用不同的[δ]值可以满足不同应用的需求。     

基于MapReduce的无线城市社团发现算法研究

对于无线城市数据中社团发现问题,针对已有的团搜索（CS）算法运行过程生成大量重复团、生成结果冗余、算法时间复杂度较高等问题,从优化边存储、预先进行边处理、搜索建团入手,用特殊的二叉树结构存储、权重[K]选择排序、深度优先遍历构建T-CS算法。针对海量数据溢出问题,结合MapReduce模型,提出了MP-T-CS算法。实验证明,MP-T-CS算法不仅可以解决运行过程大量重复团问题,时间代价大大降低,对海量数据的处理能力大大提升,生成团的代表性大大提高。     

一个基于中心度的社团结构发现新算法*

针对GN算法在社团结构发现中时间复杂度高等问题,提出一种基于中心度的GN改进算法（DCGN）。该算法根据节点中心度以及节点之间的最短路径首先确定社团结构中心节点集,然后逐步删除社团结构中心节点之间的最大边介数连边,完成社团结构划分。DCGN算法避免了GN算法边介数计算开销大的问题,算法的时间复杂度约为O(cmn),其中c为常数,n为网络成员数,m为网络连边数。将DCGN和GN算法同时应用到Zachary网络及计算机随机生成网络中并进行了比较。实验结果表明,所提出的DCGN算法在运行效率和效果方面较之GN算     

基于FP-Growth的战略绩效关联分析算法研究

在处理战略绩效KPI关联规则挖掘的问题时,由于FP-Growth不能根据业务的需要简化计算过程,从而产生了许多冗余计算,影响了算法的效率。因此,提出了一种基于FP-Growth的战略绩效关联分析算法。通过采用基于规则的约束方法对FP-Growth算法进行改进。一方面,在挖掘的过程中添加剪枝操作,提高频繁项集的挖掘效率;另一方面,在关联规则产生过程中,添加规则约束,生成符合业务要求的关联规则,从而减少了冗余计算,提高了算法的效率。最后,以"某高校科研服务质量指标"为例,验证了该算法的可行性。     

基于频繁量化约简格的非冗余关联规则发现算法研究

作为KDD应用领域重要组成部分的关联规则发现面临着生成过多冗余规则的问题,并成为制约其挖掘效率的主要因素之一;作为一种新的表示数据和知识的有效工具,频繁量化约简格因其是基于支持度筛选而仅保留量化相对约简格中的频繁概念和空概念及其关系的更为简化的扩展概念格结构,所以更加适用于从大规模数据库中进行非冗余规则的发现.提出了一种基于频繁量化约简格的非冗余关联规则发现算法,并进行了相应的发现过程的研究.     

基于Galois联络的最小非冗余关联规则挖掘

关联规则挖掘是NP难题,关键是如何约简频繁项集。本文以Galois联络为理论基础,应用Galois联络的闭包运算及其性质定义数据库中的频繁项和封闭频繁项,提出了挖掘关联规则生成子、精确关联规则生成基和近似关联规则本征基的概念,并由此构造最小非冗余精确关联规则和近似关联规则挖掘的MNRM算法。该算法与Apriori算法相比较,挖掘的关联规则是最小非冗余的,降低了计算复杂度,而且规则具有不丢失任何信息、最小前件和最大后件以及对用户最实用和最相关等优点。     

基于矩阵的关联规则挖掘算法研究与改进

为了有效提高关联规则挖掘算法处理数据库的效率,在研究基于矩阵的关联规则挖掘算法的基础上,提出了改进的关联规则挖掘算法DMApriori,并选取程序模拟超市购物产生的4个试验数据集,应用DMapriori算法对该数据集进行了关联规则挖掘;实验结果表明,该算法能平均提高关联规则挖掘时间20%;在计算数据库中的频繁项集时,通过有效裁剪布尔矩阵,使算法逐层扫描的数据量大大减少,并且对每个项集计数时,只扫描部分数据,提高了关联规则挖掘算法的性能。     

一种基于相对关系亲密度的局部社团发现算法

在复杂网络研究中,社会网络中的社团发现,对商业营销、疾病传播控制等具有实际意义.目前许多研究针对于全局网络进行社团挖掘.挖掘算法因其较高的复杂度往往不适用于动态、大型网络.针对某个点或者某个区域的局部社团挖掘成为了近期的研究热点.为此提出了一种新的相对关系亲密度的计算方法,并与已有算法思想结合,形成了一种新的局部社团发现算法,提高了算法性能.基于已知社会网络、随机测试网络的实验证明了算法的有效性.     

社区挖掘技术研究

复杂网络分析已成为近年来的一个热点研究领域。如何快速有效地对复杂网络进行社区划分,并在社区划分的基础上找出网络中的重要节点有很强的现实意义。本文分析比较了近年来复杂网络分析中社区结构挖掘算法和社区节点等级排序算法的原理和特征,最后对复杂网络分析的发展进行了总结和展望。     

基于社区发现的网络异常检测方法

随着互联网的不断普及与网络通信技术的不断进步,网络已经逐渐进入到人们生活的每一个层面,越来越多的网络应用应运而生.但是另一方面,随着当前网络结构的日益复杂,会引起各种各样的网络安全问题,对社会构成了巨大的威胁和挑战.因此,网络安全问题至关重要.其中网络异常检测得到了研究人员的普遍关注.多年来,虽然已有许多异常检测的工作...     

基于社团强度系数的社团结构发现算法

社团结构是复杂网络普遍存在的拓扑特性之一.为了将复杂网络中的社团结构有效地划分出来,在对强社团定义的基础上,引入社团强度系数的概念,提出了一种基于社团强度系数的社团结构发现算法.该算法具有较低的时间复杂度,通过不断寻找网络最大度数的节点及其邻居节点,计算其社团强度系数来衡量社团如何划分.主要针对Zachary网络和Dolphin网络等进行了仿真实验,结果表明该算法具有较高的社团划分准确度、较好的敏感性和良好的可扩展性,充分验证了其可行性和有效性.     

基于核心图的标签传播算法

网络中的社团发现是当前的一个研究热点.在众多社团发现算法中,标签传播算法因简单快速而被广泛应用,但标签传播算法也存在结果稳定性较差的问题.基于此对标签传播算法的初始化过程进行改进,提出了基于核心图的标签传播算法.通过计算图中任意两点的k阶公共邻居,将具有最大相似性的节点及k阶邻居作为初始核心社团,并为其分配初始标签.通过上述过程,提取一些较为紧密的子结构来作为标签传播的初始社团,并给这些结构分配初始社团标签.在真实网络中的实验结果表明,该算法可以大幅提高结果的稳定性.     

基于LeaderRank的重叠社区发现算法

在真实的社交网络结构中常常存在着社区相互重叠的现象,发现社交网络中的重叠社区有利于研究网络特性,反映网络中的真实情况。针对多标签传播重叠社区发现算法COPRA存在的随机性,导致社区发现结果稳定性差等问题,提出一种结合节点重要性的标签传播算法。该算法首先采用LeaderRank计算出网络中各个节点的重要性,选择重要性高的节点进行团扩展作为标签初始阶段的预处理,采用合理的标签更新顺序以防止抵消预处理阶段的工作,后期引入贡献度来弱化标签选择阶段的随机性,在基准网络和真实网络上的实验结果表明本文算法提高了社区发现结果的质量。     

基于完全子图的社区发现算法

根据复杂网络中同一社区内节点连接比较紧密,社区之间节点连接比较稀疏的特点,提出一种基于完全子图的社区发现算法,通过判别2个节点是否能在网络中与任意一个节点构成3个节点的完全子图来确认该2点是否属于同一社区。对于有些节点并不满足完全子图,或在不同社区同时满足完全子图的情况,采用节点社区归属度解决该节点的归属问题。该算法不需要任何参数设置,在计算机生成网络和真实网络上进行测试,结果验证了该算法的可行性和准确性。     

一种基于局部信息的社区发现方法

针对复杂网络中难以发现小社区的问题,在CNM算法的基础上,提出一种利用局部信息进行社区挖掘的方法。定义节点的强度及节点对社区的贡献,改进模块度使该方法能适用于带权网络。利用社区局部信息得到小社区集合,将小社区集合作为CNM算法的输入,计算小社区间的模块度增量,凝聚模块度增量小的小社区,并得到最终结果。实验结果表明,该方法具有较高的社区模块度和算法执行 效率。     

基于桥系数的分裂社区检测算法研究

研究社区结构有助于揭示网络结构和功能之间的关系,而社区检测是社区结构研究的基础和核心。该文定义了一种聚集度桥系数,将其应用到社区检测中,设计出一种分裂社区检测方法,包括分裂和合并两个算法。分裂算法使用桥系数识别社区间边,通过迭代删除社区间边分解网络,从而发现网络中的社区结构;合并算法根据社区连接强度合并社区,可以揭示社区结构中的分层嵌套的现象。在六个社会网络数据集上的实验表明,本文算法可以有效的将网络分裂为有意义的社区,并且准确性接近或超过经典的社区检测算法。     

基于最小割图分割的社区发现算法

该文证明了模块度最大化问题可以被转换成为原网络上的最小割图分割问题,并且基于该证明提出了一种高效的社区发现算法。同时,该文创新性地将模块度理论与当今比较流行的统计推理模型相结合: 首先,这些统计推理模型被转化为模块度最大化问题中的零模型;其次,统计推理模型中的目标函数被修改并应用于本文的最优化算法中。实验结果显示,无论是在真实世界网络还是在人工生成网络中,该文提出的算法均具有高效和稳定的发现社区的能力。     

复杂网络社区发现研究进展

近年来,随着现代网络通信和社会媒体等技术的飞速发展,复杂网络成为多学科交叉研究的热点之一,社区发现是复杂网络中的一个重要问题,对其进行研究具有重要的理论意义和应用价值。该问题吸引了多个学科领域的众多学者的关注,并且已有许多社区发现算法被提出。已有的社区发现综述多是侧重某一方向或特定领域展开,基于此,文中在之前工作的基础上,对国内外社区发现工作进行了深入调研,较全面地阐述了复杂网络社区发现的研究现状。首先,针对不同网络结构,给出社区发现的问题定义和主要的评价指标。然后,介绍了不同网络结构中的经典社区发现算法,包括同质网络中的全局社区发现、局部社区发现算法,异质网络中的二分网络、三分网络和多分网络中的社区发现,结合节点内容和连接结构的社区发现算法,以及动态网络中的社区发现和社区演化工作。最后,简要介绍了社区发现的典型应用,包括影响最大化、链路预测和情感分析领域的应用。此外,探讨了当前社区发现研究面临的主要挑战,试图为社区发现研究领域勾画一个较为清晰和全面的轮廓,为初学者提供指引。