基于流量信息结构的异常检测

由于人们对网络流量规律的认识还不够深入,大型高速网络流量的异常检测仍然是目前测量领域研究的一个难点问题.通过对网络流量结构和流量信息结构的研究发现,在一定范围内,正常网络流量的IP、端口等具有重尾分布和自相似特性等较为稳定的流量结构,这种结构对应的信息熵值较为稳定.异常流量和抽样流量的信息熵值以正常流量信息熵值为中心波动,构成以IP、端口和活跃IP数量为维度的空间信息结构.据此对流量进行建模,提出了基于流量信息结构的支持向量机(support vector machine,简称SVM)的二值分类算法,其核心是将流量异常检测转化为基于SVM的分类决策问题.实验结果表明,该算法具有很高的检测效率,还初步验证了该算法的抽样检测能力.因此,将该算法应用到大型高速骨干网络具有实际意义.     

一种基于流量行为分析的P2P流媒体识别方法

P2P流媒体的识别问题已经成为P2P研究领域中的热点问题.以目前主流的P2P流媒体软件:PPLive、PPStream、QQLive为蓝本,进行流量行为特征分析,总结出相应的流量特征和特征字符串,提出一种基于流量行为分析的P2P流媒体识别方法.该方法的核心思想是:首先通过流量的统计算法将捕获到的流媒体数据包进行分类统计,再运用特征字匹配算法进行二次识别匹配,从而得出结果.随后.开发出基于流量行为分析的检测系统,试验结果证明该方法能够有效地识别P2P流媒体.     

基于密度偏倚抽样的局部距离异常检测方法

异常检测是数据挖掘的重要研究领域,当前基于距离或者最近邻概念的异常数据检测方法,在进行海量高维数据异常检测时,存在运算时间过长的问题.许多改进的异常检测方法虽然提高了算法运算效率,然而检测效果欠佳.基于此本文提出一种基于密度偏倚抽样的局部距离异常检测算法,首先利用基于密度偏倚的概率抽样方法对所需检测的数据集合进行概率抽样,之后对抽样数据利用基于局部距离的局部异常检测方法.对抽样集合进行局部异常系数计算,得到的异常系数既是抽样数据的局部异常系数,又是数据集的近似全局异常系数.之后对得到的每个数据点的局部异常系数进行排序,异常系数值越大的数据点越可能是异常点.实验结果表明,和已有的算法相比,本算法具有更高的检测精确度和更少的运算时间,并且该算法对各种维度和数据规模的数据都具有很好的检测效果,可扩展性强.     

基于信息熵与服务器识别的DoH流量检测

DNS over HTTPS(DoH)协议是一种针对域名系统(DNS)的最新改进方案,然而用户可使用第三方DoH服务规避内网原有的监管,所以异常流量检测方法不再适用于检测DoH流量。针对该问题提出了一种DTESI算法。首先,基于信息熵将DoH流量作为异常流量从全部网络流量中筛选出来;然后,利用DoH服务器与同一客户端建立TLS连接时响应方式总是相同的特性,用指纹识别检测客户端与DoH服务器之间的TLS协商,确定DoH服务器身份;最后,使用Top-K抽样算法选出一定时段内网络中前K台活跃主机着重进行流量检测,使算法能应用于中大型组织的网络。实验结果表明,针对发现的异常流量,DTESI算法检测出的DoH服务提供商准确率超过94%。在此基础上比较了在不同K值下的算法检测时间和对网络中全部DoH流量的检测覆盖率,结果表明合理选择K值可以提升算法的整体效能。     

基于排列熵与决策级多传感器数据融合的P2P僵尸网络检测方法

提出了一种基于排列熵和决策级多传感器数据融合的P2P僵尸网络检测算法。首先分别构建流量异常检测传感器和异常原因区分传感器:前者利用排列熵刻画网络流量的复杂度特征(该特征并不依赖于特定类型的P2P僵尸网络),通过利用Kalman滤波器检测该特征是否存在异常;后者利用TCP流量特征在一定程度上减弱P2P应用等网络应用程序对P2P僵尸网络检测的误差影响。最后利用D-S证据理论对上述传感器的检测结果进行决策级数据融合以获得最终的检测结果。实验表明,提出的方法可有效检测新型P2P僵尸网络。     

多决策树算法在P2P网络流量检测中的应用

P2P技术作为一种全新的网络应用,正主导着互联网的发展方向,P2P的管理问题也成为当前互联网络中最大的难题.通过分析P2P流最特征及控制P2P流量过程中存在的问题,比较目前P2P流量检测的几种技术,提出一种基于属性关键度的多决策树分类方法,设计了一个基于多决策树算法的P2P流量检测模型,阐述了模型的工作原理.从虚警率和漏警率以及检测率三个方面评价了采用多决策树算法进行P2P流量检测的有效性.通过大量实验证明,该方法具有较高的检测率,说明采用多决策树分类算法进行P2P流量检测的有效性.     

基于多维聚类挖掘的异常检测方法研究

网络异常检测是网络管理中非常重要的课题,因此已在近年来得到广泛研究.人们在该领域提出了许多先进的网络流量异常检测方法,但是自动准确地对网络流量进行分类和识别来发现网络中的异常流量仍然是一个非常具有挑战性的问题.文中提出了一种基于多维聚类挖掘的异常检测方法,通过两个阶段来实现异常检测.第一阶段先通过多维聚类挖掘算法,自动对网络中的流量进行多维聚类,第二阶段通过计算多维聚类的异常度来实现异常检测.通过文中的方法,网络中的异常流量被自动归类到不同的有意义的聚类中,通过对这些聚类进行分析可以发现网络中的异常行为.最后通过实验对算法进行了验证,结果表明该方法能够有效检测网络中的异常流量.     

基于流量异常分析多维优化的入侵检测方法

入侵检测系统在检测和预防各种网络异常行为的过程中,海量和高维的流量数据使其面临着低准确率和高误报率的问题。本文提出一种基于流量异常分析多维优化的入侵检测方法,该方法在入侵检测数据的横向维度和纵向维度两个维度进行优化。在横向维度优化中,对数量较多的类别进行数据抽样,并采用遗传算法得到每个类别的最佳抽样比例参数,完成数据的均衡化。在纵向维度优化中,结合特征与类别的相关分析,采用递归特征添加算法选择特征,并提出平均召回率指标评估特征选择效果,实现训练集的低维高效性。基于优化的入侵检测数据,进一步通过训练数据集得到随机森林分类器,在真实数据集UNSW_NB15评估和验证本文提出的算法。与其他算法相比,本文算法具有高准确率和低误报率,并在攻击类型上取得了有效的召回率。     

基于半监督学习的行为建模与异常检测

提出了一种基于半监督学习的行为建模与异常检测方法.该算法包括以下几个主要步骤:(1) 通过基于动态时间归整(DTW)的谱聚类方法获取适量的正常行为样本,对正常行为的隐马尔可夫模型(HMM)进行初始化;(2) 通过迭代学习的方法在大样本下进一步训练这些隐马尔可夫模型参数;(3) 以监督的方式,利用最大后验(MAP)自适应方法估计异常行为的隐马尔可夫模型参数;(4) 建立行为的隐马尔可夫拓扑结构模型,用于异常检测.该方法的主要特点是:能够自动地选择正常行为模式的种类和样本以建立正常行为模型;能够在较少样本的情     

PeerDetector:一种基于连接模式的P2P流检测算法

基于NetFlow技术,提出一种基于连接模式的流量检测算法PeerDetector,能够从本地网络的所有流量中有效地检测出P2P流量,PeerDetector算法先用HTD算法检测出HTIP流量,再根据P2P连接的单连接特性识别设计了PTD算法区分开P2P流量和传统网络应用流量,检测出P2P流量.对算法和适合数据处理的数据库进行了设计和实现,用Dynamips仿真Cisco路由器搭建了试验床.经过实验测试,P2P流量检测工具工作效果良好,能够有效检测出绝大多数的P2P流量,误检概率和错检概率非常小.     

支持多领域动态数据集成的数据库网格系统

随着公有数据库资源的丰富,广泛分布的用户希望能够按需地、透明地访问和使用这些丰富的数据资源.DS_Grid(database grid)是一个采用SOA(service-oriented architecture)思想、支持多应用领域数据共享的数据库网格系统.系统采用一种P2P(peer-to-peer)多Chord(MultiChord)网格体系结构,实现数据资源的分布存储、查询处理和动态数据集成;基于文本相似性,可分领域地注册数据资源,实现资源的快速发现;根据领域本体知识和推理规则,实现基于语义的智能查询;采用多根节点多点维护的数据资源副本管理机制,提高系统可靠性;基于关键字过滤的数据集成策略,减少通信代价;采用分布式聚类技术,实现大数据量信息的概要显示.通过实验验证了DS_Grid中所采用的关键技术的可行性和有效性.     

P2P数据管理

P2P(peer-to-peer)技术是未来重构分布式体系结构的关键技术,拥有广阔的应用前景.P2P系统的大多数问题都可归结为数据放置和检索问题,因此,P2P数据管理成为数据库领域活跃的研究课题.当前,P2P数据管理主要有信息检索、数据库查询和连续查询3个子领域,取得了许多研究成果.在介绍P2P技术的优点后,指出了P2P数据管理研究的目标.然后针对上述3个方面,论述P2P数据管理研究的现状,着重讨论了P2P数据库查询的索引构造策略、语义异构的解决方法、查询语义、查询处理策略、查询类型和查询优化技术.通过比较,指出了现状与目标的差距,提出了需要进一步研究的问题.     

认证技术在P2P网络中的应用研究

本文首先简要描述了传统客户服务器模式下的身份认证概念和身份认证机制,综合分析现有认证机制的缺点,提出了一种改进的身份认证机制;然后结合P2P网络的特点,分析了P2P技术三种基本应用实例的安全需求;最后给出了认证机制在P2P网络中的应用。     

一种支持多维资源描述的高效P2P路由算法

在分析现有P2P(peer to peer)路由算法的基础上,提出了一种基于二阶矩定位、支持多维资源数据描述的高效资源路由算法--FAN(flabellate addressable network)路由算法.FAN算法将节点映射到统一的多维笛卡尔空间,并以节点相对空间原点的二阶矩作为子空间管理和资源搜索的依据.FAN路由算法具有O(log(N/k))的高路由效率,在节点加入和退出FAN网络时,更新路由信息的代价为O(klog(N/k)).实验结果表明,FAN路由算法具有路由效率高、维护代价小的优点,是一种P2P环境中支持多维资源数据描述的高效结构化资源路由算法.而且,目前部分基于CAN(content-addressable network)网络的改进算法也可以在FAN网络中适用,并获得更好的路由效率和更低的维护代价.     

采用分区缓存调度策略的P2P点播系统

针对在当前的P2P点播系统中,由于节目热度的差异导致数据副本分布不合理的问题,提出一个采用分区缓存调度策略的P2P流媒体点播系统设计方案。该策略将用户节点缓存区分为2个部分,分别考虑节点自身的需求和整个网络的全局需求进行调度,以优化节目数据在各节点间的分布,从而提高播放质量。通过仿真实验,验证了该系统设计与策略的有效性。     

实现一个基于元数据的P2P系统

分布式散列表(DHT)是现有结构化P2P系统普遍采用的一种方法,它能将资源的唯一标识映射到资源位置,Tapestry就是一个基于DHT的基础平台.资源共享是P2P技术应用较广的一个领域.本文以一类典型的带有元数据的资源MP3音乐文件为例,介绍了在Tapestry基础上实现一个基于元数据的P2P资源共享系统MPIS的详细过程,它能够根据资源的多个属性来定位所需资源.     

一种懒惰的Chord指向表更新算法

在节点加入退出或者失效情况下,结构化P2P算法Chord搜索指向表(FT)出现大量指向错误,降低搜索效率。针对该问题,讨论和比较几种搜索 FT的更新策略,分析各算法维护指向正确的开销,提出一种懒惰算法解决搜索 FT更新效率低下的问题。该算法最小化搜索FT更新的消耗,可作为一种有效的错误恢复机制。通过实验对比证明了该算法的有效性。     

基于跨层机制的无线自组对等网

在无线自组对等网的构建中,采用跨层设计机制,对传统Chord组网协议进行改进。将接收信号的能量用于估计节点之间的距离,用节点的指针表信息对网内节点分布的疏密进行估计,获得一个兼顾逻辑网与物理网之间匹配和系统负载平衡的节点标号,提出一种新型无线自组对等网构建方法。仿真结果表明,在基于该方法的无线自组对等网中,资源定位路径缩短,时延和丢包率减小,网络的负载能力得到了提高。     

用于对等全文检索的安全覆盖网

对等全文检索充分利用对等节点的资源实现检索,其关键是控制检索请求传播的节点范围。结合全文检索的安全要求提出安全覆盖网(Secure Overlay Network, SON),按安全级支配关系将对等节点组成网络。SON中节点发起的检索请求只能向下传递到安全级受其支配的节点,涉及节点是整个覆盖网中节点的子集,检索结果也是符合安全要求的。给出了SON的定义并分析了其性质,介绍了基于SON的对等全文检索原理和算法并分析了其安全性。实验表明,基于安全覆盖网的对等全文检索具有良好的检索效率。     

Peer-to-peer indirect reciprocity via personal currency

Motivating peers to contribute services is critical to the success of peer-to-peer (P2P) systems. Incentive protocols use reciprocity to enforce contributions. Indirect reciprocity schemes are more efficient than direct reciprocity schemes for large-scale P2P systems under high churn rate. In this paper, we propose an indirect reciprocity scheme, called FairTrade, in which peers issue personal currencies to trade services in a P2P system. Personal currency enables indirect reciprocity without relying on any central banks or authorities. It wins extra robustness over global currency as well as much improved trading flexibility and efficiency over direct reciprocity schemes. The acceptance degree of a personal currency depends on the issuer’s service capability and reliance. Peer credit limit is introduced to represent the amount of personal currency that will be accepted by other peers. Every peer as a creditor applies a Bayesian network model to setting peer credit limit for a trading partner peer as a creditee. The Bayesian network model learns the creditee’s capability and reliability and anticipates the associated profits and risks for credit setting. Using simulations on a file-sharing P2P system, we demonstrate that FairTrade achieves 100%$100\%$ success rate of download requests without malicious peers, and maintains over 90%$90\%$ success rate even with 50%$50\%$ malicious nodes. The system warms up quickly and does not assume any altruistic service or other kind of help. On average, the system traffic stabilizes before peers issue their second download requests. All these good performances are achieved with extremely low trading overhead, which takes up less than 1%$1\%$ of the total traffic.