一种基于GAS模型的k-Truss分解算法

在大规模网络中发现稠密子图具有极其广泛的应用,如社区发现、垃圾邮件检测等。为了在大规模网络数据中快速、有效地发现稠密子图,本文提出一种基于GAS (Gather-Apply-Scatter)编程模型的分布式k-Truss算法—GASTruss。该算法采用GAS的模式完成数据同步和算法迭代,有效的克服了传统并行算法重复性计算及不能有效处理依赖关系大的数据等问题。本实验选择在GraphLab平台上进行,结果表明：与串行k-Truss算法以及基于MapReduce的GPTruss算法性能相比,GASTruss算法对数据规模具有良好的拓展性,在保持算法效果的同时能有效降低时间复杂度。     

基于滑动时间窗的稠密子图发现算法研究

针对在滑动时间窗中发现稠密子图的问题,提出一种有效的动态算法,结合时间窗将网络时间线划分为k个非重叠的间隔,间隔内包含最大密度的子图.算法输入是一个边流,输出是一系列稠密子图及相应的时间间隔.现有技术在图更新时需要迭代整个图,所提算法仅影响图的有限区域,只需要局部更新稠密子图.结合理论分析,证明了该算法比基线KGOPTDP和KGOPTDS更快.多组数据集上的实验结果表明,该算法具有很高的效率和很好的扩展性,可用于处理大规模时态图.     

基于Twitter Storm平台并行挖掘最稠密子图

在大规模图结构数据中发现最稠密子图具有极其广泛的应用,如社区发现、垃圾邮件检测和论文引用关系抽取等。基于带标签的无向图,提出了查询标签集的概念,设计了一个可以快速发现最稠密子图的近似算法DSFLC(Densest Subgraph Finding based on Labelset Constraint):用户提交自定义的查询标签集,算法便可保证在用户可以接受的时间内返回满足查询标签集约束的最稠密子图。对于任何参数ε(ε0),DSFLC算法只需扫描大规模数据集O(log1+εn)次,同时可保证算法的近似因子是2(1+ε)。对DSFLC算法进行分析后,发现该算法在预处理阶段易于并行化,因此选择Twitter Storm平台,并行化地实现了DSFLC算法。最后对从DBLP数据库中抽取的合作关系图进行测试,一方面研究Storm平台对算法的加速程度;另一方面分析挖掘出的子图的稠密度与参数ε之间的关系,最终验证了DSFLC算法的实用性和可扩展性。     

基于大规模社会网络的并行布局算法框架

随着社会网络的迅速发展,针对大规模社会网络的可视化已经成为数据挖掘领域中的一项重要的研究课题。传统的布局算法已经无法对大规模的社区网络进行全局管理和展示。因此,该框架基于并行化技术以及分层的思想,实现了大规模社会网络的可视化框架。其贡献主要有:提出了一种基于力导引算法的非重叠社区布局算法(简称NFR);设计了一个基于Spark的并行计算框架;将图数据库(Neo4j)无缝地整合到框架中。最后通过在真实数据集上的测试,验证了该框架的有效性。     

基于最小描述长度原则的属性图概要方法

图概要技术是管理、分析和可视化大规模图的关键技术之一。如何综合结构和属性信息进行图概要是一个挑战。大部分现有的图概要方法或者只考虑结构或属性某一方面的信息,或者要求属性的表现形式是一致的。结合信息论中最小描述长度原则,对属性图概要问题建模,将其转化为求解最小表示代价问题,以实现图压缩和图概要的双重目标。提出了一种计算节点属性相似性的方法,该属性度量方法对节点属性的限制较小,并且将节点间的相似性统一为存储代价,实现了节点结构相似和属性相似的协同考虑。提出了两种求解最小代价表示的图概要算法。在真实和合成的数据集上实验,验证了提出算法的有效性。     

大规模时序图中持续性稠密子图搜索算法研究

时序图是一种边上带有时间戳的图结构,其中边上的时间戳表示该边出现时间,即图随时间变化不断变化.图数据中的稠密子图挖掘问题具有非常强烈的现实意义.目前,时序图中大多数现有的工作都集中在稠密子图检测问题,该问题目标是找到时序图中所有的目标子图.然而,当时序图的规模过大时,这一问题将变得极其复杂且收效甚微.旨在研究在时序图中...     

基于本体分割的语义图概要方法

语义图概要的目的是提取语义图的关键信息,形成原数据集的概要模型以解决大规模语义图的理解、查询、应用难题。为提升现有语义图概要方法效率,提出一种基于本体分割的概要方法。通过本体分割算法对语义图进行分割生成扩展子图。采用形式概念分析对每个扩展子图生成元素的偏序格（又称特征集格）。在此基础上,由所有子图的特征集格形成了原语义图的概要。在关联开放数据集和Berlin SPARQL Benchmark数据集上的实验结果表明,该方法具有较好的可扩展性,有效提高了概要方法的效率。     

基于GPU的大尺度网络布局显示

复杂网络的可视化是复杂网络研究中的重要手段.随着Web2.0时代和大数据时代的来临,作为研究对象的复杂网络的规模越来越大,这对复杂网络可视化布局算法的布局效果和运算速度提出了新的挑战.本文针对复杂网络布局的力导引算法,从布局效果和算法效率两方面对该算法进行了改进和实现.布局效果方面,利用复杂网络中的关节点,对网络数据进行抽象合并,从而实现分层次的网络布局显示.算法效率方面,针对压缩后的网络采用具有强大浮点运算能力的GPU进行计算,对力导引算法需要斥力计算、引力计算和坐标更新三个部分均实现了基于GPU的并行计算,大大提高了计算效率.     

一种加权稠密子图社区发现算法

目前,针对复杂网络的社区发现算法大多仅根据网络的拓扑结构来确定社区,然而现实复杂网络中的边可能带有表示连接紧密程度或者可信度意义的权重,这些先验信息对社区发现的准确性至关重要.针对该问题,提出了基于加权稠密子图的重叠聚类算法（overlap community detection on weighted networks,简称OCDW）.首先,综合考虑网络拓扑结构及真实网络中边权重的影响,给出了一种网络中边的权重定义方法;进而给出种子节点选取方式和权重更新策略;最终得到聚类结果.OCDW算法在无权网络和加权网络都适用.通过与一些经典的社区发现算法在9个真实网络数据集上进行分析比较,结果表明算法OCDW在F度量、准确度、分离度、标准互信息、调整兰德系数、模块性及运行时间等方面均表现出较好的性能.     

双网络中影响力凝聚子图发现算法

双网络由物理图和概念图构成，其中物理图和概念图共享网络结点集合而具有不同边集合.物理图中边表示结点间实际存在的关系；概念图中边表示结点间的相似程度，通常由计算得出.最近，从双网络中发现凝聚子图，即物理图中连通且概念图中稠密的子图受到研究者的广泛关注，在研讨会筹备、商品推荐和致病基因发现等真实场景中具有广泛应用.但现有研究鲜有考虑双网络中凝聚子图的影响力.为此：1）提出一种基于最小边权重定义的影响力凝聚子图，即影响力k-连通truss(k-ICT)子图模型.k-ICT子图模型能够有效刻画子图在双网络中的重要性且对低影响力边鲁棒. 2）由证明可知，发现影响力最大的k-ICT子图是NP-难的，因此提出一种基于概念图边等价类划分的CT索引结构.利用索引的概要图，能够根据不同的k值，快速发现包含所有k-ICT子图的候选子图. 3）提出了基于全局枚举删除和局部子图扩展的精确算法Exact-G kICT和Exact-LkICT，用于发现top-r具有最大影响力的k-ICT子图.通过大量在真实数据集上的实验，验证算法的高效性和有效性.     

基于节点内聚系数的局部社团发现算法

为了能够快速有效地发现复杂网络中的局部社团,提出一种基于节点内聚系数的局部社团发现算法。该算法选取最大度节点作为起始社团,不断搜索其邻居节点,将满足条件的节点不断加入起始社团从而形成新的社团。在不同规模的真实网络数据集和人工合成数据集上进行实验,并与其他三种局部社团发现算法进行社团划分效果的对比。实验结果表明,该算法能够在较短的运行时间内保持较高模块度来识别复杂网络中的局部社团结构,更适合于大规模复杂网络的社团结构挖掘。     

语义增强的大规模多元图简化可视分析方法

网络图可视化可以有效展示网络节点之间的连接关系,广泛应用于诸多领域,如社交网络、知识图谱、生物基因网络等.随着网络数据规模的不断增加,如何简化表达大规模网络图结构已成为图可视化领域中的研究热点.经典的网络图简化可视化方法主要包括图采样、边绑定和图聚类等技术,在减少大量点线交叉造成的视觉紊乱的基础上,提高用户对大规模网络结构的探索和认知效率.然而,上述方法主要侧重于网络图中的拓扑结构,却较少考虑和利用多元图节点的多维属性特征,难以有效提取和表达语义信息,从而无法帮助用户理解大规模多元网络的拓扑结构与多维属性之间的内在关联,为大规模多元图的认知和理解带来困难.因此,本文提出一种语义增强的大规模多元图简化可视分析方法,首先在基于模块度的图聚类算法基础上提取出网络图的层次结构;其次通过多维属性信息熵的计算和比较分析,对网络层次结构进行自适应划分,筛选出具有最优属性聚集特征的社团;进而设计交互便捷的多个关联视图来展示社团之间的拓扑结构、层次关系和属性分布,从不同角度帮助用户分析多维属性在社团形成和网络演化中的作用.大量实验结果表明,本文方法能够有效简化大规模多元图的视觉表达,可以快速分析不同应用领域大规模多元图的关联结构与语义构成,具有较强的实用性.     

时序图中Top-k稠密子图查询算法研究

稠密子图的查询是图分析领域的重要研究问题之一,在社交用户相关性分析、Web中社群分析等方面都有着广泛的应用.目前,关于稠密子图查询的研究工作主要基于静态图.而在实际应用中,时序信息会对稠密子图查询产生重要的影响,使得图拓扑结构随时间序列不断发生变化,包含的信息量也不断增加,使得已有的针对静态图的查找方法不再适用于时序图.因此,如何高效地在时序图上查找稠密子图仍然是一个挑战.为了解决上述挑战,首先规范化地定义了基于时序图的稠密子图查找问题;然后,根据图的拓扑结构和包含时间标签的边之间的相似度,提出一种基于阈值的近似查找算法DTS-base.为了加快算法的收敛速度,提出了一个基于快速计算最大相似度时间片的优化算法DTS-opt.最后,通过在真实数据集上的实验,证明了所提算法的高效性和可扩展性.     

Pathfinder算法优化研究

Pathfinder算法是复杂网络分析及可视化的重要方法,但现有算法时间复杂度大,难以在大数据环境下广泛应用。提出一种基于Prim算法的Pathfinder优化算法,在求解复杂网络图的最小生成树的过程中,通过距离矩阵计算得到Pathfinder算法的结果图。算法时间复杂度可稳定为O(n2)。实验结果表明,在顶点数为500的稠密网络上,该算法的运行时间有较大的优势。     

基于社区探测的层次自适应并行布局算法

针对大规模网络高效布局和递进式结构分析的需求,提出基于社区发现的多层级力导向布局算法.首先,该算法采用Louvain算法对网络进行多层级社团结构划分,根据划分结果压缩网络并进行骨架布局,确定网络整体架构;然后,采用自适应的力导向变体算法对各个社团内部的原始节点并行布局,细化社区内部网络结构,并引入补偿力减少社区划分带来的网络结构信息缺失;最后,设计了初始布局算法、改良了振颤模型来减少布局所需的迭代次数.实验结果表明,与现有网络布局算法相比,该算法能够更清晰、高效地展示大规模社交网络数据,满足大规模复杂网络可视化的需要.     

网管系统中基于谷歌地图的拓扑可视化实现

为了解决网络管理系统中简洁高效实现网络拓扑可视化的问题,提出一种基于谷歌地图API的网络拓扑可视化设计与实现方法:先采用分层算法将网络拓扑分为主干网与子网两层,再用谷歌地图API实现网络拓扑的分层显示,同时对设备数据和业务数据予以显示,使网管人员在获得地理位置信息的同时,能直观地查看设备和业务相关信息.实际工程结果表明采用该方法设计和开发的网管系统实现了拓扑展示的功能,且具有很好的可操作性.     

ZigBee网络拓扑可视化再现算法研究

基于Zig Bee的网络拓扑结构在网络性能分析、网络节点部署、节点压力测试、安全监控等方面起着重要作用。但是在拓扑结构可视化时,由于网络拓扑图可视化模型会出现点覆盖、边交叉和图形拥塞,导致算法复杂度高、耗时陡增,影响可视化效果。为了解决以上问题,并满足实时在线显示需求,提出了一种基于坐标变换-虚拟节点模型的Zig Bee Tree-Star型网络拓扑结构可视化再现算法。该算法能够自适应节点变化。在节点数量较少时,层次算法模型对节点进行布局规划;当节点数量较多时,虚拟节点模型对布局进行扩展延伸。该算法对Zig Bee网络管理具有较高的参考价值。试验表明,该算法所需时间复杂度与空间复杂度低,可解决大量边交叉导致的布局混乱问题,并能适应Zig Bee网络大规模节点的实时可视化需求。     

社交网络数据个性化推荐的可视化方法

针对大规模社交网络应用中检索结果过于庞大复杂的问题,将个性化推荐与可视化相结合,用于在大量数据中找到用户感兴趣的信息。在开拓网络缩放算法的基础上,提出关键信息显示算法,能够区别显示社交网络关系图中用户相对重要的信息和次要信息,增强关联度较高数据的显示效果。将带权值的力导向布局算法应用于用户关系聚类中,通过在二维显示空间中合理安排节点布局,达到减少用户认知负担和个性化推荐的目的。设计并实现个性化推荐的可视化工具HRVis,在Movielens数据集上进行测试,结果表明,HRVis能够强调显示具有良好社会关系的重要用户以及与用户相似的关联用户,获得较好的可视推荐效果。     

异质信息网络中最大路径连通Steiner分量查询算法

异质信息网络(HINs)是包含多种类型对象(顶点)和链接(边)的有向图,能够表达丰富复杂的语义和结构信息.HINs中的稠密子图查询问题,即给定一个查询点q,在HINs中查询包含q的稠密子图,已成为该领域的热点和重点研究问题,并在活动策划、生物分析和商品推荐等领域具有广泛应用.但现有方法主要存在以下两个问题:(1)基于模体团和关系约束查询的稠密子图具有多种类型顶点,导致其不能解决仅关注某种特定类型顶点的场景;(2)基于元路径的方法虽然可查询到某种特定类型顶点的稠密子图,但其忽略了子图中顶点之间基于元路径的连通度.为此,首先在HINs中提出了基于元路径的边不相交路径的连通度,即路径连通度;然后,基于路径连通度提出了k-路径连通分量(k-PCC)模型,该模型要求子图的路径连通度至少为k;其次,基于k-PCC模型提出了最大路径连通Steiner分量(SMPCC)概念,其为包含q的具有最大路径连通度的k-PCC;最后,提出一种高效的基于图分解的k-PCC发现算法,并在此基础上提出了优化查询SMPCC算法.大量基于真实和合成HINs数据的实验结果验证了所提出模型和算法的有效性和高效性.     

基于概率模型的动态分层强化学习

为解决大规模强化学习中的＂维度灾难＂问题,克服以往学习算法的性能高度依赖于先验知识的局限性,本文提出一种基于概率模型的动态分层强化学习方法.首先基于贝叶斯学习对状态转移概率进行建模,建立基于概率参数的关键状态识别方法,进而通过聚类动态生成若干状态子空间和学习分层结构下的最优策略.仿真结果表明该算法能显著提高复杂环境下智能体的学习效率,适用于未知环境中的大规模学习.