端到端冗余流量消除技术的指纹选择算法研究

为了兼顾服务器端的内存消耗和有效性,在分析了现有端到端冗余流量消除技术中的指纹选择算法后,提出了贪婪指纹选择算法。该算法认为两个数据包中相同片段的邻接片段很有可能也是相同的,基于这一原理,邻接片段的指纹也将被选为代表指纹,有效地避免了在服务器端缓存整个数据包,大大减少了服务器端的内存消耗。仿真实验结果表明,该算法与现有的指纹选择算法相比,能够大大减少服务器端和用户终端的内存消耗,同时冗余消除率在10%-50%之间,与现有算法相近,证明了该算法的有效性。     

多线程电子通信网络数据流冗余量消除方法

为了解决多线程电子通信网络中大量冗余数据干扰的问题,提出一种基于数据特征相似性及动态频率的多线程电子通信网络高效冗余量消除方法.应用假设法及主动采样法计算数据间的特征相似度,根据初始数据和样本数据的迭代频率,得出基本数据特征收缩量,将其导入至激励函数中,推导得出最终相似特征数据的提取公式;利用相似特征数据间的离散状态分类数据,加快冗余数据消除效率.同时,利用基于数据动态的DYNATABLE消除算法,将网络流量中所有字节值不同的数据片段标记,根据标记对应查找网络中相同字节的正常数据片段,将二者替换,再传输替换后的数据包,完成冗余数据的有效消除.仿真结果证明,上述方法时效性较强可以实时完成转化与消除,算法直观、简便,易于操作,CPU耗用较小、综合性能较强、整体效率优异,有效保证数据信息的完成性.     

一种基于传输容量控制的DTN动态分段编码路由算法*

针对时延容忍网络（DTN）中基于动态分段编码的路由算法DSNC存在的数据冗余编码和节点投递成功率低的问题,提出了一种基于传输容量控制的DTN动态分段编码路由算法NC-TCC。在源节点处,采用AONT矩阵对分段中的数据包进行编码,以减少数据重复编码的次数;在中间节点处,利用构造的节点运动模型计算当前连接的传输容量,并在满足传输容量的前提下按照优先级从高到低的顺序选择合适数量的数据包进行编码,以提高节点投递成功率。仿真结果表明,提出的算法能够有效地减少数据冗余,提高传输效率。     

基于重复数据删除的远程备份系统

针对传统远程备份中大量冗余数据导致备份效率低下和存储空间浪费的问题,设计并实现了一个基于重复数据删除的远程备份系统。首先根据文件的内容用Rabin指纹将备份文件划分为变长的数据块,把每个数据块的相关信息发送到备份中心,在备份中心利用Google Bigtable及Leveldb的索引算法辅以布隆过滤器对数据块进行判重,最后只传输和存储不重复的数据块。实验结果表明,采用该系统备份相似的数据集能够有效删除其中的重复数据。对数据集进行增量备份,在增量数据变化不大时,相比Rsync备份有更少的网络流量。     

大数据访问中信息传输冗余量消除仿真

针对传统的大数据访问中信息传输冗余量消除方法存在查全率、信息传输冗余量消除效率以及速率较低等问题,提出了基于Hamming距离值的大数据访问中信息传输冗余量消除方法。利用滑动以及滚动相结合的窗口移动模式减少窗口计算量,将Rsync滚动校验算法以及MD5算法相结合,在文件任意位置开始计算滚动校验值,通过递进关系,获取连续数据块的校验值,根据不同数据块的校验值进行数据匹配。将经过匹配后的数据块利用CDC分块检测算法进行检测,根据余弦相似度计算公式以及Hamm距离值计算相似度,实现大数据访问中信息传输冗余量消除。实验结果表明,所提方法有效提高了冗余信息查全率、信息传输冗余量消除效率以及速率,能够快速、准确地消除多余的信息。     

基于数据流和网络编码的无线传感器网络数据聚合算法

为了减少分簇的无线传感器网络(WSN)中数据包传输的数量,并使传感器网络的能量效率最大化,提出了一种节能的自适应数据聚合算法.在该算法中,源节点凭借其存储和计算能力,利用数据流技术减少数据包的传输量;当数据从源节点传输到簇头时,簇头根据控制信息选择一组节点作为编码节点,当数据相关性低于某阈值时,该组节点对数据包进行网络编码,若数据相关性高于某阈值,该组节点则会成为聚合节点进行数据聚合,网络编码和数据聚合可以减少簇头冗余流量,提高能量效率.实验结果显示,使用该算法后,数据包交付率有所提高,能量消耗显著减少.     

基于字节指纹极值特征的数据分块算法

针对基于内容的数据分块算法中基本滑动窗口算法不能确定最大数据块的问题,提出一种基于字节指纹极值特征的数据分块算法。算法以上一个块边界点为起点构建最大块长区间,通过定义字节指纹极值域半径函数F并利用函数F值的分布特性,以概率1在允许的最大块长的区间内确定下一个块边界点。该算法克服了基本滑动窗口等分块算法不能确定最大分块长度的不足,其时间复杂度为O(n)。     

一种面向云计算的网络异常流量分组方法

针对云计算下大量用户环境下网络异常流量分组管理问题进行研究,提出一种面向云计算的网络流量分组方法.该方法采用BIRCH算法对云计算产生的大量网络数据进行初次聚类,然后根据初次分类的统计特征进行分组融合,从而得到对网络流量的最终分类结果.实验通过一个具有突发异常流量的仿真场景,从分组效果和基于该分组的流量管理两个角度进行验证.实验结果证明,基于该方法能有效对异常用户进行分组,并且在有效阻断异常流量的同时能极大地减少对正常流量的影响.     

基于重复数据删除技术的SQL Server数据库备份系统

提出了一种基于重复数据删除技术的SQL Server数据库备份系统.系统在临时备份文件生成后将其划分成变长数据块并计算其指纹值作为数据块的惟一标志,在传输文件到远程灾备中心时只传输数据块的单一实例,减小传输量,节省远程灾备中心处存储空间;在灾备中心建立hash表记录已存储数据块指纹值;为了提高数据可靠性,引入受限的冗余...     

基于重复数据消除的差异备份方法

为消除重复数据对数据传输和存储产生的影响,提出一种基于重复数据消除的差异备份方法。通过将文件的块按照一定区间划分固定大小并采用Hash表对文件块进行唯一性标识,使Rsync算法能检测不同文件之间的重复数据,通过分割Hash表,使块实现局部匹配,并利用校验和文件实现文件不同版本的差异传输。实验结果表明,与Rsync算法相比,该方法能有效减少传输的数据量,降低备份中心的存储量,提高块查找的效率。     

Enhancing redundant network traffic elimination

Protocol-independent redundant traffic elimination (RTE) is a method to detect and remove redundant chunks of data from network-layer packets by using caching at both ends of a network link or path. In this paper, we propose a set of techniques to improve the effectiveness of packet-level RTE. In particular, we consider two bypass techniques, with one based on packet size, and the other based on content type. The bypass techniques apply at the front-end of the RTE pipeline. Within the RTE pipeline, we propose chunk overlap and oversampling as techniques to improve redundancy detection, while obviating the need for chunk expansion at the network endpoints. Finally, we propose savings-based cache management at the back-end of the RTE pipeline, as an improvement over FIFO-based cache management. We evaluate our techniques on full-payload packet-level traces from university and enterprise environments. Our results show that the proposed techniques improve detected redundancy by up to 50% for university traffic, and up to 54% for enterprise Web server traffic.     

BPF的实现机制分析与性能优化研究

BSD包过滤器(BSD Packet Filter,BPF)是BSD Unix操作系统提供的网络数据包捕获及过滤机制的内核组件。该文描述了BPF的组成及工作过程,分析了BPF采用的无环控制流图过滤模式,介绍了此模式基于虚拟机的实现。为了提高过滤器性能,必须解决BPF虚拟机指令生成器处理多个过滤条件组合时存在的指令冗余问题,通过引入静态单赋值(SSA),结合冗余谓词消除和窥孔优化等技术,可以有效缩短CFG图的平均路径长度,从而实现对过滤器性能的优化。     

基于优化LT码的深空数据传输策略

针对深空通信中时延长、误码率高、信道非对称及短码长LT码冗余度高、译码成功率低等问题,提出一种基于优化LT(OLT)码的深空数据传输策略。首先通过调整度分布函数、采用新颖的数据包选择策略以及联合译码算法,提出OLT码。然后,提出基于OLT码的深空数据传输策略:发送端对数据文件进行OLT码编码并发送;在接收端,使用联合译码算法对接收到的编码包进行译码得到原始数据。仿真结果表明,与LT码相比,OLT码能够提高译码成功率并降低冗余度;与CFDP相比,该策略可以有效降低时延,提高数据传输的有效性和可靠性;在高丢包率的情况下,该策略的优势更加明显。     

可靠广播/组播的确认冗余度消除算法

为了提高无线传感器网络中可靠广播/组播MAC协议的效率,提出一种基于地理位置信息的确认冗余度消除算法。该算法利用节点的地理位置信息,建立广播/组播分组的最小等价冲突域,消除接收节点集合中对确认而言非必要的冗余节点。仿真结果表明,该算法能在保证可靠性的前提下有效减少参与确认的节点个数,降低分组的发送开销,更高效地保证分组传输质量。     

基于时隙传输的数据中心路由算法设计

基于软件定义网络（SDN,Software Defined Network）的数据中心流量工程,能够通过对全局视图的网络管控,动态选择路由路径规避拥塞发生的风险,但是在制定路由策略的时候经常会对数据流进行迁移,尤其是针对大流的迁移容易造成数据流丢包以及接收端数据包乱序的问题.本文提出“基于时隙的流片装箱算法（FLAT,Flowlet-binned algorithm based on timeslot）”,通过集中控制的方式获取链路状态信息并计算出合理的数据流传输时隙值,能够避免在数据流迁移过程中的丢包以及接收端数据包乱序问题,同时在充分利用数据中心冗余链路的前提下,实现高效和细粒度的流量均衡.通过在Mininet仿真平台中部署并与ECMP以及GFF路由机制相比较,在链路高负载情况下,丢包率相比分别下降90%和80%,而吞吐量分别能提升44%和11%,实验结果展示了FLAT的优越性能.     

SDN中基于图分割的自适应带内网络遥测探测路径配置

软件定义网络（SDN）是一种将控制与转发平面分离的新型网络架构,可以基于全局信息进行网络资源的调度和优化,而精确的调度需要对全网信息（包括网络中所有交换设备状态及拓扑中所有链路信息）进行准确的测量.带内网络遥测可以在转发数据包的同时实现相关信息的采集,其中配置全网覆盖的探测路径是带内网络遥测需要解决的关键问题之一.但现有SDN网络中全网覆盖的带内网络遥测路径配置方案存在以下问题：（1）需要提前部署大量探测节点导致维护开销增大;（2）探测路径过长导致探测分组长度超过网络中的MTU值;（3）冗余的探测路径导致测量引入的流量负荷在网络整体流量中占比过大;（4）动态变化拓扑下探测路径调整恢复时间长等.为解决上述问题,提出了SDN中基于图分割的自适应带内网络遥测探测路径配置（ACGS）方法,其基本思想是：利用图分割对网络拓扑图进行划分,通过控制拓扑规模来限制探测路径长度;在分割后的子图中求解欧拉回路得到只遍历子图中有向边一次的探测路径,以避免探测节点数量过多、探测路径冗余度高的问题;并利用局部调整与整体调整相结合的方式解决拓扑动态变化时探测路径恢复时间长的问题.实验结果证明ACGS方法能够在SDN网络环境下,实现探测路径长度适中、探测节点数量较少、探测路径冗余程度更低的全网覆盖带内网络遥测探测路径配置,并实现其在拓扑动态变化后更快速的调整.     

基于邻域粗糙集的大规模层次分类在线流特征选择

在分类学习任务中,数据的类标记空间存在层次化结构,特征空间伴随着未知性和演化性.因此,文中提出面向大规模层次分类学习的在线流特征选择框架.定义面向层次化结构数据的邻域粗糙模型,基于特征相关性进行重要特征动态选择.最后,基于特征冗余性进行鉴别冗余动态特征.实验验证文中算法的有效性.     

An adaptive redundancy control method for erasure-code-basedreal-time data transmission over the Internet

We propose an adaptive redundancy control method for erasure-code-based real-time data transmission over the Internet. The loss rate is an important quality of service (QoS) parameter for real-time data transmission. However, real-time data transmission over best-effort networks, such as the Internet, suffers from a frequent packet loss due to traffic congestion. Erasure-code-based loss recovery scheme is widely used for loss recovery on the Internet. We propose a redundancy estimation algorithm which considers consecutive losses since the loss recovery rate depends on the amount of redundancy data. A continuous time Markov chain is used for modeling the loss process and adjusting the number of redundant packets. Measurements and simulation results show that the proposed scheme can be used as an efficient loss recovery algorithm for real-time data transmission over the Internet