GCPR:一种在MapReduce平台上基于图划分的PageRank加速方法

随着应用的扩展,大规模图数据不断涌现,如何对拥有大量结点的图进行分析成为研究者关注的焦点问题之一.结点的海量性与分析的复杂性使得图分析任务需要借助MapReduce平台多机并行完成.在该平台上,现有的PageRank算法每轮迭代都须扫描、传输所有网页的完整状态,I/O和网络传输的开销严重影响了计算效率.为此,本文提出一种在MapReduce平台上基于图划分的PageRank加速方法:GCPR(Graph-clustering PageRank).GCPR利用图划分、数据两层压缩技术在MapReduce平台上进行PageRank迭代计算,不仅减少了Map到Reduce中间阶段I/O和网络传输的开销(MapReduce运算的主要瓶颈之一),而且平衡了计算资源.实验证明GCPR能极大提升MapReduce平台上的PageRank计算效率.     

一种利用熵函数和Affinity Propagation聚类的超图模型优化方法

属性图相似性阈值对类属超图(CSHG)模型的训练结果具有重要影响。在满足聚类准确性的条件下,利用定义的熵函数给出优化CSHG模型结构的相似性阈值,并得到初始优化的CSHG模型,进一步利用FTOG之间的相似性矩阵得到最简CSHG模型结构。另外,利用亲缘传播聚类(affinity propagation clustering)方法去除FTOG聚类中的冗余属性图,最终得到最优的CSHG模型。实验结果表明,本方法是有效的。     

一种连通非加权图的快速聚类方法

图的聚类是数据聚类的一种很重要的变体,一方面通常可以用图来表示数据集中数据的相似度;另一方面对大型复杂网络的分析也引起人们越来越多地关注;而且对图进行聚类分析可以增强图的可视性,有助于可视化的分析、观测和导航。将最大最小方法的基本思想应用于非加权图的聚类,提出一种无向连通非加权图的快速聚类方法,该方法具有简单、聚类时间短、运行效率高、对于大型静态图的聚类具有良好的适应性等特点。