共查询到17条相似文献,搜索用时 55 毫秒
1.
在线社交网络的UNI64采样方法 总被引:1,自引:0,他引:1
在对社交网络采样方法进行研究时,常以拒绝-接受采样法得到的样本作为对照来评价其他采样方法的优劣.由于各种在线社交网络陆续将其用户ID系统由32位升级为64位,导致拒绝-接受采样法的采样命中率近乎为零.本文根据在线社交网络的特点,以新浪微博为例,对其用户ID分布情况进行分析,提出了一种改进的拒绝-接受采样法UNI64.该方法通过分析网络有效ID样本的分布情况,结合聚类的方法将整个样本空间划分为有效区间和无效区间,并使采样算法避开无效区间,仅在有效区间内生成待测样本,从而有效提高了拒绝-接受采样法在有效样本极为稀疏的样本空间内采样的命中率. 相似文献
2.
针对现有在线社交网络(OSNs)采样方法无法有效地应用于低连通性的社交网络,且采集的样本顶点平均度严重偏离原始社交网络、顶点过度采样等问题,本文基于蒙特卡罗随机游走(MHRW)采样方法,引入双重跳跃策略、并行机制和顶点缓存区,提出一种跳跃无偏并行顶点(JPS)采样方法。将在线社交网络数据集建模为包含顶点和边的社交图进行模拟采样,利用Python/Matplotlib绘图库绘制采集的样本顶点属性图。实验结果表明,该采样方法更有效地应用于不同连通强度的社交图,提高了采样过程中的顶点更新率,降低了样本顶点的平均度偏差且能够更快速地收敛。 相似文献
3.
4.
在讨论周期性数据采样算法弊端的基础上,提出自适应往返时延(RTT)的采样算法。该算法以时延变化率作为动态控制采样频率的主要依据,根据网络时延变化的缓急自动调整采样时间间隔。通过实验分析证明,该算法实现简单,可有效地跟踪网络RTT变化情况,从总体上减少采样工作量,减轻因网络测量而给网络带来的额外负载。 相似文献
5.
6.
作为当前流行的内容共享和信息传播的平台,在线社会网络(online social network, OSN)(例如Facebook和Twitter)已经吸引了各个领域研究人员的关注.然而,研究者通常很难获取完整的在线社会网络数据集,取而代之的是通过一个具有代表性样本集来估计完整网络的特性.因此,怎样获得无偏样本集或对网络特性进行无偏估算成为了OSN研究的关键前提.对在线社会网络的无偏采样技术研究现状进行了综述分析.首先在理论上给出了大规模网络无偏采样的充分必要条件,接着从采样原理、采样偏见性和采样效率3方面对目前常用的采样技术进行了对比分析,最后讨论了在线社会网络采样技术的发展趋势.该工作为在线社会网络采样技术的使用及其研究提供了重要的参考价值. 相似文献
7.
指出基于全局优化的社区挖掘方法的不足,给出OSNs网络及其社区挖掘的形式定义,提出一个启发式社区挖掘框架,在此框架下对包括LWP,Clauset,Schaeffer,Papadopoulos,Bagrow与Chen在内的6种启发式社区挖掘算法进行分析比较.通过3个真实OSNs网络的实验比较,验证了启发式社区挖掘框架的可行性,在结果社区有效性与时间效率上对6种启发式算法进行比较,实验结论为网络社区挖掘的工程实践与理论研究提供了借鉴. 相似文献
8.
9.
10.
推荐系统利用用户的历史记录、物品的基础信息等数据进行建模来捕获用户的偏好,有效缓解了信息过载等问题,虽然其已应用广泛,但整个推荐领域面临的挑战却依旧存在,其中数据稀疏这一问题对于推荐性能有举足轻重的影响。近年来,大量研究表明基于社交信息的推荐算法能够有效缓解数据稀疏问题,但它们也仍然存在一定的局限。线上的社交网络是非常稀疏的,并且线上社交网络中的“朋友”通常包括同学、同事、亲戚等,因此,拥有显式朋友关系的用户不一定拥有相似的偏好,即直接利用显式朋友的兴趣偏好进行推荐会存在噪声问题。此外,大部分基于隐式反馈的算法通常直接对用户没有交互过的物品进行随机采样,然后将其作为用户实际交互过的物品的负样本来优化模型,然而用户没有交互过的物品并不代表用户不喜欢,这种粗粒度的采样策略忽略了用户的真实偏好,同样也带来了一定程度的噪声。生成对抗网络(GANs)因其在训练中捕获复杂数据分布的能力以及强大的鲁棒性被广泛应用到推荐系统中,为了减弱上述噪声问题带来的影响,本文基于生成对抗网络提出了一种细粒度的对抗采样推荐模型(ASGAN),包括一个生成器和判别器。其中,生成器首先利用图表示学习技术初始化社交网络,接着为用户生成一个与其偏好相似的朋友,然后再从该朋友喜欢的物品集中同时生成该用户喜欢的物品和用户不喜欢的物品。判别器则尽可能区分出用户实际交互过的物品和生成器生成的两类物品。随着对抗训练的进行,生成器能更有效地进行社交朋友采样和物品采样,而判别器能够良好地捕获用户的真实偏好分布。最后,在三个公开的真实数据集上与现有的六个工作进行对比,实验结果证明:ASGAN拥有更好的推荐性能,通过重构社交网络和细粒度采样有效缓解了社交信息和物品采样策略带来的噪声问题。 相似文献
11.
Adaptive Sampling for Network Management 总被引:3,自引:0,他引:3
Edwin A. Hernandez Matthew C. Chidester Alan D. George 《Journal of Network and Systems Management》2001,9(4):409-434
High-performance networks require sophisticated management systems to identify sources of bottlenecks and detect faults. At the same time, the impact of network queries on the latency and bandwidth available to the applications must be minimized. Adaptive techniques can be used to control and reduce the rate of sampling of network information, reducing the amount of processed data and lessening the overhead on the network. Two adaptive sampling methods are proposed in this paper based on linear prediction and fuzzy logic. The performance of these techniques is compared with conventional sampling methods by conducting simulative experiments using Internet and videoconference traffic patterns. The adaptive techniques are significantly more flexible in their ability to dynamically adjust with fluctuations in network behavior, and in some cases they are able to reduce the sample count by as much as a factor of two while maintaining the same accuracy as the best conventional sampling interval. The results illustrate that adaptive sampling provides the potential for better monitoring, control, and management of high-performance networks with higher accuracy, lower overhead, or both. 相似文献
12.
在线社会化媒体大数据是行动者自组织关系的集合,其内部蕴含了多层次的社会实体关系,因此,在线社会化媒体大数据抽样方法的研究对于社会计算这一新兴研究领域具有重要的理论和应用价值.现有抽样方法存在大型马尔可夫链难以并行化、样本局部性陷入、马尔可夫链燃烧预热等问题.针对这些问题,提出了在线社会化媒体大数据整群多阶段抽样方法OSM-MSCS.该方法首先进行整群分解,将总体分解成若干小型凝聚子群;而后,使用动态延迟拒绝方法对凝聚子群内部的关系抽样;最后,使用Gibbs方法完成不同凝聚子群之间相干关系的筛选,从而获得整个样本序列.实验结果表明,OSM-MSCS方法能够有效地对各种结构特征的在线社会化媒体大数据进行抽样,从“个体地位-群体凝聚性-整体结构性”这3个层次进行综合评价,其抽样效果要明显好于MHRW和BFS这两种最主流的抽样方法. 相似文献
13.
14.
网络测量中自适应数据采集方法 总被引:7,自引:2,他引:7
抽样方法广泛地应用于网络测量与其他领域对被测总体的指标进行估计.研究表明,多种网络指标呈现重尾分布或自相似的特征.这些特性为准确估计总体指标带来了诸多困难.但同时,对被测网络指标进行建模也有着重要的应用.然而,建立精确网络模型是困难的.从时间序列拟合角度出发,提出了一种基于拟合的自适应抽样方法,对被测指标进行基于测量的建模.工作主要体现在: (1) 采用分段线性函数对被测指标进行逼近,建立基于测量的模型; (2) 与常用的抽样方法相比,在相同的样本数情况下,由拟合模型对指标进行的估计更准确、更稳定;通过对两个测量记录的分析表明,在与常用抽样方法保持相同的拟合误差时,自适应抽样方法明显地减少了所需采集的样本数量; (3) 与其他概率抽样方法相比,自适应抽样最终抽取的样本数更稳定、更可靠,并给出了最终样本数的概率分布. 相似文献
15.
16.
17.
一种改进的自适应流量采样方法 总被引:1,自引:0,他引:1
高速链路对实时网络流量监测提出挑战.由于流量采集分析设备性能的限制,采用精确、高效的采样方法进行流量监测分析已成为必然.最简单的固定概率采样能监测较大业务流,但往往忽略掉比例几乎超过80%的较小业务流.数据流算法可以实时高效采集高速链路数据,基于该算法的SGS(sketch guided sampling)采样技术可以实时准确估计流大小分布,但当采样速率增大到监测系统处理能力最大值时,该方法的准确性迅速降低.基于SGS方法,提出一种自适应实时网络流量的采样方法SRGS(sketch and resources guided sampling).该方法将监测系统处理能力作为采样概率调节的一个重要参数.实验结果显示,SRGS方法能够及时根据当前流大小和监测系统处理能力,调节数据包采样概率,准确性高于SGS方法. 相似文献