随机分组抽样下子群体的流大小分布估计

随机分组抽样是网络管理和测量中最常见的抽样方法。已有的研究大都集中在此抽样方法下基于总体的流大小分布估计算法,但一些网络应用更关心总体流量中某个子群体的流大小分布。本文将总体的网络流划分成子群体S和子群体的补集-S,提出了一种在随机分组抽样下运用TCP协议信息的由S与S-共同组成流大小的联合分布的估计算法。实验证明,该算法能够较好地还原子群体及其在总体下的流大小分布的特征;另一方面,通过运用样本流中TCP协议信息,提高了子群体流大小分布估计算法的准确性。     

网络自适应公平分组抽样算法研究

针对SGS(sketch guided sampling)的缺陷,提出了一种网络自适应公平抽样算法.根据抽样分组估计出值流量大小,并依据该值调整抽样比,使之适应于流量变化,从而达到对各种流的公平抽样的效果.对算法的相关性质进行了证明与分析,基于实际互联网数据进行了实验比较,实验结果表明,该算法具有准确性、自适应性、易于工程实现等优点.     

流测量中基于测量缓冲区的时间分层分组抽样

NetFlow是流测量中广泛应用的解决方案,但NetFlow的抽样方法存在一定的缺陷:泛洪攻击时消耗路由器过多的资源;用户很难选择适合所有流量组成情况的静态抽样率,以平衡资源消耗量和准确率.提出了一种易于实现的分组抽样方法.该方法利用测量缓冲区对定长时间内到达的分组进行固定数量的抽样,既可以使抽样率自适应于流量变化,又可以控制资源的消耗.证明了抽样估计的无偏性,并推导出估计值相对标准差的理论上界.实验结果表明,与已有方法相比,该方法在具有简单性、自适应性及资源可控性的同时不会失去准确性.     

一种基于FCBF的流信息抽样测量框架及算法

基于FCBF的高效流信息抽样测量框架不仅可以抽样测量三类流参数,而且存储开销小,只需1～3MB字节左右的存储空间;同时还可以做到几乎零概率的流信息识别统计误差。分析结果表明,该算法可以支持远高于OC48的链路速率,甚至可达OC192或更高;适合于将来高速链路上细粒度的流信息抽样测量。     

一种基于抽样统计改进的CHOKe算法

对流行的几种CHOKe算法进行了分析,深入研究了CHOKe算法存在的对高速非适应流的处罚力度不够,不能够很好地实现带宽的公平性的问题。利用到达分组的统计特性,提出一种改进的CHOKe算法,仿真结果表明,在不保持流的状态信息下,该机制对非适应流具有更好的识别和控制能力,与其他CHOKe算法相比,能进一步加强对非适应流的惩罚,实现更为公平的带宽分配。     

一种改进的密度偏差抽样算法

随机抽样技术已经广泛应用于数据挖掘的各类算法中，它在处理分布均匀的数据集时非常有效，但在处理分布比较倾斜的数据集时容易丢失小的聚类。为此提出基于网格的密度偏差抽样算法，仅需要扫描一遍数据集就可以得到近似的密度偏差抽样。经实验测试分析表明，该算法不仅提高了聚类的正确性，而且抗噪声能力强、效率高，是解决海量数据挖掘的一种有效途径。     

基于标签分组的DFSA抽样训练规则防冲突算法

主要对标签防冲突的问题进行研究, 阐述了已有的分组算法原理, 并分析其仍存在的可改进的地方, 将标签分布特点与数据结构原型进行有机结合, 提出相应的改进方案。引入了抽样和训练规则的概念, 经过对分组过程的研究, 找出帧长调整的规律性变化, 提出了基于标签分组的DFSA抽样训练规则防冲突算法。通过实验仿真, 充分体现了该方法在保证现有识别率的情况下, 能够有效减少系统功耗, 降低识别过程中的计算复杂度, 缩短识别时间。     

一种新的数据包公平抽样算法

互联网作为20世纪发展最为迅速的技术之一,已经成为现代信息社会最重要的基础设施,成为国家进步和社会发展的重要支柱。本文针对现有数据包抽样算法小流估计误差大的缺陷,提出一种新的数据包抽样算法。该算法根据到达数据包所属流大小的估计值设置包抽样率,使得大流所含数据包抽样率低,小流所含数据包抽样率高。理论分析和实验结果均表明,与已有算法相比,该算法具有更高的准确性和良好的扩展性,更适合于工程应用。     

一种基于综合不放回抽样的随机森林算法改进

数据挖掘是大数据服务计算的一个重要方法,对于优化服务计算有重要意义。作为一种典型的数据挖掘方法,随机森林有着较高的正确率,因而得到广泛的应用。为了更加准确高效地处理服务计算中的大数据问题,进一步提升随机森林的正确率和效率,成为一项极其重要的研究。通过改变训练集的样本量和样本抽样方法,对平衡样本集和不平衡样本集进行分析,发现通过上述两个改进后,在优化区间内,平衡样本集泛化误差会减小12%~20%;单项改变抽样方法,可以使算法时间缩短,提升效率达10%~40%;对不平衡数据,也能够明显提升效率。理论和实验均证明,基于综合不放回抽样的随机森林算法改进能够提升平衡样本的正确率,使得该数据挖掘方法更适用于服务计算中的大数据分析和处理。     

一种基于模糊逻辑的被动测量自适应抽样算法

结合被动抽样测量系统的特殊性,分析了模糊逻牟译控制理论应用于被动测量系统统抽样算法上的可行性,仿真结果表明,基于模糊逻辑控制理论的自适应抽样算法能够动态地调整被动测量系统地抽样间隔,使网络测量准确度和计算机资源费用达到优化。     

一种改进的基于Douglas—Peucker原理的轮廓采样算法

文章首先介绍了Douglas-Peucker算法,它是一种经典的曲线简化方法,在此基础上提出了DP算法的一种非递归实现方法．该过程主要是利用队和栈的性质来实现的。结果显示,用这种方法进行目标物体的轮廓采样。通过控制距离容差可以得到对轮廓线不同程度的逼近,不仅能够有效减少物体轮廓的冗余点,提高处理效率,又能够不失真地表征物体的形状。     

一种改进的基于Douglas-Peucker原理的轮廓采样算法

文章首先介绍了Douglas-Peucker算法,它是一种经典的曲线简化方法,在此基础上提出了DP算法的一种非递归实现方法,该过程主要是利用队和栈的性质来实现的。结果显示,用这种方法进行目标物体的轮廓采样,通过控制距离容差可以得到对轮廓线不同程度的逼近,不仅能够有效减少物体轮廓的冗余点,提高处理效率,又能够不失真地表征物体的形状。     

一种改进的基于DP原理的分段轮廓采样算法

首先详细介绍了由Douglas和Peucker提出的DP轮廓采样算法。然后采用分割与合并相结合的思想,提出了基于DP算法的分段轮廓采样算法,并从数学上证明了该算法在运行时间上比原DP算法快了η倍,η取值为logn/MnηM。最后,针对医学图像,文章通过实验比较了两种算法的运行时间,结果表明该文提出的算法更快速,也易于编程。     

空间高效的数据包公平抽样算法

数据包公平抽样通过牺牲长流的包抽样率以换取更高的短流包抽样率,因而比均匀随机包抽样更能保证数据流之间的公平性.现有的公平抽样算法SGS(sketch guided sampling)存在空间效率低、短流估计误差大的问题.提出了一种空间高效的数据包公平抽样算法SEFS(space-efficient fair sampling).SEFS算法的新颖之处在于采用多解析度抽样统计器对数据流流量作近似估计,各个统计器由d-left哈希表实现.采用在OC-48和OC-192骨干网采集的真实流量数据,在数据流流量测量以及长流检测的应用背景下,对SEFS算法和SGS算法的性能进行了比较.实验结果表明,与SGS算法相比,SEFS算法在空间复杂度降低65%的前提下,仍具有更高的估计精度.特别是对于占网络数据流绝大多数的短流而言,SEFS算法估计精度高的优势更为明显.     

随机抽样改进算法及其实现

文章对几种随机抽样算法进行了分析,在随机抽取交换法的基础上,针对其存在的缺点,提出了一种改进的随机抽样算法,并给出了算法实现.结果表明该算法简单可行.     

分组采样技术研究

随着网络带宽的不断提高,分组采样技术作为网络测量的手段越来越受到重视。因为在高速网络中对所有的分组进行实时的统计分析代价太大,而通过分组采样可以大大减少测量的代价,从而具有更好的可扩展性。本文对近来提出的一些分组采样技术进行了系统的分析和研究,主要对它们的原理、精度和效果进行了详细分析,并对其中存在的问题提出了一些改进的措施。     

一种改进的自适应流量采样方法

高速链路对实时网络流量监测提出挑战.由于流量采集分析设备性能的限制,采用精确、高效的采样方法进行流量监测分析已成为必然.最简单的固定概率采样能监测较大业务流,但往往忽略掉比例几乎超过80%的较小业务流.数据流算法可以实时高效采集高速链路数据,基于该算法的SGS(sketch guided sampling)采样技术可以实时准确估计流大小分布,但当采样速率增大到监测系统处理能力最大值时,该方法的准确性迅速降低.基于SGS方法,提出一种自适应实时网络流量的采样方法SRGS(sketch and resources guided sampling).该方法将监测系统处理能力作为采样概率调节的一个重要参数.实验结果显示,SRGS方法能够及时根据当前流大小和监测系统处理能力,调节数据包采样概率,准确性高于SGS方法.     

基于CCD亚像元细分原理的点目标自动采样算法

该文首先从短焦距镜头和给定CCD成像阵列的成像特性出发，分析了实现亚像元成像与定位的必要性。在对比提高像素分辨率和提高测量分辨率这两种亚像元动态成像技术之后，研究了如何在保持现有硬件系统不变的情况下，通过软件插值细分实现亚像元定位的方法。针对点目标图像可能存在的“方块效应”与“细节退化”现象，结合点目标灰度特性处理技术，改进并完善了邻域线性插值细分方法。从而，提出该基于CCD亚像元细分原理的点目标自动采样算法。实验结果证明：该算法简单、可靠、稳定、快速，并具有一定适用性，为相关领域内的应用提供了宝贵的参考价值。     

基于障碍物边界采样改进的Visibility-PRM算法

首先分析解决机器人运动规划问题的Visibility-PRM算法。然后针对其在复杂工作空间运动规划中表现出的roadmap连通子图数多、可视性判断效率低等局限性,提出基于障碍物边界采样改进的Visibility-PRM算法(Obs-Visi-PRM)。通过改进采样和连通的策略,减少了roadmap的连通子图数,降低了碰撞检测次数。最后通过实例分析,证明Obs-Visi-PRM算法的有效性。