一种基于数据补全的大象流检测方法

由于在网络测量中存在不可避免的数据损失,网络监测数据通常是不完备的甚至是稀疏的,这使得大象流的精确检测成为一个具有挑战性的问题.本文提出了一种基于数据补全的离线大象流检测方法.为实现对于大象流的精准检测,首先实现了一个基于矩阵分解的数据补全算法,将流量数据补全问题转化为一个低秩矩阵奇异值分解问题.其次,在此基础上进行高阶扩展,引申出张量补全模型,利用张量CP分解实现数据补全,将原问题转化为通过最小化张量秩来恢复缺失条目的张量补全问题.最后对上面使用的矩阵补全算法和张量补全算法进行了仿真实验,对比了各算法精准度,评估了超参数,并展示了张量补全算法的时间开销.实验结果证明该方法取得了较好的效果.     

软件定义数据中心基于残差网络的大象流预测机制

数据中心网络中的流可以分为大象流和老鼠流,预测流类型是实现优化调度各种流的基础,而现有方法在开销、准确性、预测时间等方面都有或多或少的缺点.为此,利用深度学习具有的刻画多维度特征的能力以及软件定义网络(SDN)具有的全局集中控制的优势,提出了边缘预分类+中心精分类两级大象流预测机制.该机制包括以下步骤:首先,利用随...     

基于蚁群算法的SDN数据中心网络大象流调度研究

针对传统方法调度大象流时容易造成数据中心网络拥塞和负载不均衡等问题,提出一种基于蚁群算法的SDN（software defined network）数据中心网络流量调度算法ACO-SDN。对大象流调度问题建立整型线性规划ILP（integral linear programing）模型,优化目标为最小化最大链路利用率。通过重定义蚁群算法的参数和操作求解ILP模型,得到大象流重路由的最优路径。实验结果表明,与ECMP（equal-cost multi-path routing）和GFF（global first fit）流量调度算法相比,ACO-SDN算法降低了网络最大链路利用率,有效地提高了网络对分带宽。     

Hits和Holds:识别大象流的两种算法

随着网络规模的扩大和链路速度的提高,实时采集每条流的流量变得非常困难.Estan等人提出采集大象流的设想,并提出了识别大象流的算法:Sample and Hold算法和Multistage算法.但这两种算法在实现时存在: Sample and Hold算法随机丢弃报文,带来采集数据不准确的问题;Multistage算法需要同时进行5～6次访存,无法使用硬件实现的问题.针对上述问题,提出了两种大象流识别算法:Hits和Holds算法.理论和实验结果表明,Hits和Holds算法对网络大象流的误检率和漏检率均优于Sample and Hold及Multistage算法.     

基于自适应阈值的网络流量异常检测算法

网络流量异常检测大多采用固定阈值进行异常判断,无法精确刻画网络异常行为,从而影响检测精度。针对上述问题提出一种自适应阈值异常检测算法,通过刷新机制叠加前一时刻的行为,得出动态的阈值作为判断当前时刻检测点是否异常的准则,通过标准差设定置信区间,以更准确地描述网络状况。仿真实验及比较结果表明该算法能有效提高异常检测精度。     

数据中心网络中基于SDN的大象流负载均衡的研究

针对数据中心网络中大象流携带大量数据造成网络拥塞和负载不均衡的问题,提出基于SDN(software defined network)的大象流负载均衡(elephant flow load balancing ,EFLB)。当网络负载超过阈值时,控制器利用Openflow特性将检测到的大象流分裂为多个老鼠流,并根据收集的网络拓扑和链路状态动态地计算负载最小的下一跳交换机,确保负载均衡。实验结果表明,相比于等价多路径路算法(equal-cost mulit-path routing ,ECMP),EFLB机制提高网络吞吐量和链路利用率,更好地实现网络负载均衡。     

基于SDN网络大象流负载均衡算法研究

负载均衡算法是通过对网络中的流量进行调度来提高网络资源利用率,是计算机网络中的一个重要研究方向;针对网络中大象流导致的网络拥塞和老鼠流的排队时延等负载不均衡问题,提出了带宽和时延加权负载均衡(BD-WLB)算法来提高负载均衡性能,综合考虑了大小流之间的流量特征不同,改进了传统算法的路径计算方式;算法通过控制器来获取网络流量和状态信息;然后利用带宽和时延等网络状态参数来为大象流和老鼠流分别计算最优路径;采用P4语言来对数据平面转发流程进行优化处理;实验结果表明,在高负载状态时,BD-WLB算法相比于ECMP算法提高了38.4%的网络吞吐量和41.9%的链路利用率,降低了41.8%的网络时延;使网络资源得到了更好的利用,证明了BD-WLB算法的可行性和有效性。     

基于多粒度的自适应UDP流检测

针对用户数据报协议(UDP)流检测研究不足,其准确率和效率不高等问题,提出一种基于多粒度的自适应UDP流检测方法。通过分析UDP流的特征,设计两种不同粒度的动态超时策略,对短流使用“细粒度”方法,对长流采用多粒度结合的方法。与其他超时策略比较,其准确率与固定超时相近,内存约占其他方法的75%。结果证实了方法适用于UDP流检测。     

基于LRU和SCBF的大象流提取及其在DDoS防御中的应用

大象流的及时、准确提取对防御大规模网络安全事件具有重要意义.针对独立的LRU和SCBF提取大象流存在的不足,提出了基于LRU和SCBF的大象流提取方法——LRU_SCBF算法.该算法使用LRU列表和SCBF数组二级存储结构,将到达的老鼠流存入SCBF中,达到一定门限则提取到LRU中,LRU满时按最近最久未用策略淘汰老鼠流到SCBF中,循环实现大象流和老鼠流的分别聚集.理论分析和模拟实验表明:LRU_SCBF算法占用空间小,误报和漏报低,能实现高速网络环境下大象流的及时准确提取.应用于DDoS攻击防御中,能够实现DDoS攻击的及时检测和追踪.     

基于流量特征的流调度策略研究综述

软件定义网络将网络的数据层和控制层相分离,具有可编程性强和全局网络视图的优点,这一优点被越来越多的应用于数据中心网络流调度中。然而,数据中心网络中大象流和老鼠流共存的流量特征是流调度技术的一大挑战。对基于流量特征的流调度策略进行了综述,首先梳理了基于软件定义网络的数据中心网络的理论基础,然后对大象流、老鼠流、大象流与老鼠流三个方面的流调度策略进行了分析和总结,并探讨了相比于传统的流调度技术,在软件定义网络架构下基于流量特征的流调度策略的优势。最后针对目前基于流量特征的流调度技术面临的若干主要问题进行了讨论,指出了下一步的研究方向。     

低速率流淘汰与d-Left散列相结合的大流检测算法

网络中少量较高速率和较大数据量的流生成了网络的大部分流量;利用有限的存储空间有效地识别出这些数据流,对实施流量工程、缓解网络拥塞、改善网络传输具有非常重要的意义.随着网络技术的发展,传输链路的带宽容量和数据流的传输速率越来越高.具有高速报文转发能力的网络设备对数据流检测算法的处理提出了高的性能要求.将超过一定的数据量和传输速率的数据流定义为大流,提出了将低速流淘汰与d-Left散列表存储结构相结合的大流检测算法.为了满足高速网络传输的性能需求,使用d-Left散列表存储流检测的数据结构,将d-Left散列表的存储结构与流缓存替换相结合以实现高效的大流检测.通过低速率的淘汰,提高了检测算法的准确性.基于真实网络数据的测试结果表明：所提算法在相近的存储开销下保持了高的处理性能,其准确性优于LRU派生算法S-LRU和L-LRU以及CSS和WCSS检测算法.     

基于底层数据流分析的恶意软件检测方法

近些年来,层出不穷的恶意软件对系统安全构成了严重的威胁并造成巨大的经济损失,研究者提出了许多恶意软件检测方案。但恶意软件开发中常利用加壳和多态等混淆技术,这使得传统的静态检测方案如静态特征匹配不足以应对。而传统的应用层动态检测方法也存在易被恶意软件禁用或绕过的缺点。本文提出一种利用底层数据流关系进行恶意软件检测的方法,即在系统底层监视程序运行时的数据传递情况,生成数据流图,提取图的特征形成特征向量,使用特征向量衡量数据流图的相似性,评估程序行为的恶意倾向,以达到快速检测恶意软件的目的。该方法具有低复杂度与高检测效率的特点。实验结果表明本文提出的恶意软件检测方法可达到较高的检测精度以及较低的误报率,分别为98.50%及3.18%。     

基于流量行为图的攻击检测方法

传统基于流的攻击检测无法完全捕获网络通信模式,难以对网络中的攻击事件进行有效检测,而流量行为图中包含的信息可以有效反映主机的真实情况。文章针对多类型网络攻击检测问题,提出了基于流量行为图的攻击检测方法,实现了基于流量行为图的攻击检测。检测方法基于聚类和生成学习模型,包含两个阶段,第一阶段通过聚类算法尽可能地过滤良性节点,第二阶段应用生成学习模型检测多种不同攻击事件。在公开数据集上的实验结果表明,文章提出的攻击检测方法可以有效检测出网络中存在的多种不同攻击事件。此外,系统使用基于Apache Spark的分布式处理框架,可以有效进行大规模数据处理。     

允许姿态变化的快速人脸特征检测

本文提出一种在允许姿态显著变化的人脸图象上快速检测眼睛和嘴角的方法。该方法仅仅合理地假设人脸图象要以通过值分割将头发和眼睛与脸部明显分开。首先采用Ｈｏｕｇｈ变换并利用有脸的相似性和对称性约束确定两个瞳孔的位置，然后根据人体测量关系初略估计嘴部区域，最事利用积分投影方法得到嘴角的精确位置。     

基于自适应阈值的船舶轨迹异常点检测算法

定位技术的快速发展催生了轨迹大数据,轨迹数据中总是存在着明显偏离轨迹的异常点。检测出轨迹中的异常点对提高数据质量和后续知识发现精度至关重要。目前轨迹异常点检测算法主要为恒定速度阈值法,没有考虑目标在不同时刻运动状态的变化,仅能检测出速度超出指定阈值的一部分异常点,甚至出现检测错误的情况,算法鲁棒性较差。针对现有问题,本文提出一种基于自适应阈值的轨迹异常点检测算法（Trajectory Outlier Detection Algorithm based on adaptive Threshold, TODAT）。TODAT算法充分考虑了目标在一段时间内的运动信息和观测噪声的影响,采用局部阈值窗和均值滤波窗来计算阈值和速度,同时又引入了经济航速阈值和连续异常点放回机制。基于真实船舶数据的实验结果表明,本文算法可根据轨迹数据得到自适应的阈值,有效检测出全部异常点,大幅度提高轨迹数据的质量。     

一种基于主动学习的恶意代码检测方法

现有恶意代码的检测往往依赖于对足够数量样本的分析.然而新型恶意代码大量涌现,其出现之初,样本数量有限,现有方法无法迅速检测出新型恶意代码及其变种.本文在数据流依赖网络中分析进程访问行为异常度与相似度,引入了恶意代码检测估计风险,并提出一种通过最小化估计风险实现主动学习的恶意代码检测方法.该方法只需要很少比例的训练样本就可实现准确的恶意代码检测,较现有方法更适用于新型恶意代码检测.通过我们对真实的8,340个正常进程以及7,257个恶意代码进程的实验分析,相比于传统基于统计分类器的检测方法,本文方法明显地提升了恶意代码检测效果.即便在训练样本仅为总体样本数量1%的情况下,本文方法可以也可达到5.55%的错误率水平,比传统方法降低了36.5%.     

基于激光雷达回波信号的自适应阈值车道线检测

基于激光雷达的车道线检测目前使用最多的是基于雷达扫描点密度的检测方法,但它的抗干扰能力差.为此,本文利用激光雷达的回波脉冲宽度对于车道线与路面的区分度进行特征提取,提出一种特征提取方法,分两步进行——基于脉冲宽度动态阈值的种子点提取和基于高斯核加权搜索的区域生长.然后引入FCL(fuzzy C-means of line)算法识别车道线(以线为中心进行聚类),最后通过最小二乘法拟合车道线.通过实车在6个不同的道路场景下进行实验,都能够准确检测出车道线,同时具有较高的检测精度.     

面向SDN数据中心网络最大概率路径流量调度算法

随着数据中心网络规模的迅速增长,网络带宽利用率低下导致的网络拥塞问题日益突出,通过负载均衡提高数据中心网络链路带宽利用率和吞吐量成为了研究热点.如何结合流量特征、链路状态和应用需求进行流量的合理调度,是实现网络链路负载均衡的关键.针对数据中心突发性强、带宽占用率高的大象流调度问题,提出一种面向SDN数据中心网络最大概率路径流量调度算法,算法首先计算出满足待调度流带宽需求所有路径,然后计算流带宽与路径最小链路带宽之间的带宽比,结合所有路径的带宽比为每一条路径计算路径概率,最后利用概率机制选择路径.算法不仅考虑了流带宽需求和链路带宽使用情况,而且全局地考虑了流调度和链路带宽碎片问题.实验结果表明,最大概率路径调度算法能够有效地缓解网络拥塞,提高带宽利用率和吞吐量,减少网络延迟,从而提高数据中心的整体网络性能和服务质量.     

基于Sample-CBF技术的长流识别实现

根据网络上的流统计呈现很强的重尾分布的特性,该文提出了使用周期抽样和counting bloom filter(CBF)技术相结合的方法,即Sample-CBF方法来实现长流识别,并根据抽样策略的不同,将其具体化为两种方法：PSample-CBF方法和FSample-CBF方法。理论分析和仿真结果表明,在存在可容忍流长度测量误差的条件下,两种方法都可以准确识别长流,有效地减少存储空间和提高处理速度。     

基于门限动态调整的最优协作检测方法

为提高协作频谱感知的检测效率、减少系统的反馈开销,提出一种基于门限动态调整的最优协作检测方法。在单节点检测错误概率最小的情况下,导出能量检测中门限值与信噪比的关系表达式,利用二分法求得不同信噪比下的动态门限值。根据系统恒虚警率和恒检测率计算最优协作用户数,并与动态门限值相结合得到系统检测错误概率。仿真结果表明,该方法协作检测概率较高,检测错误概率较低。