一种新型精确深度包检测引擎研究与设计

传统的深度包检测算法通常存在频率带宽瓶颈、不能精确匹配、不切实际的存储要求等其中之一或数个缺点.本文基于哈希与Bloom Filter提出一种新型精确匹配结构:Bloom Filter分类器,首先基于哈希对特征串分组,再用多组Bloom Filter对输入串分类,在每长度定位到唯一可能的匹配串并对比验证.对Snort、ClamAV集合进行了存储实验评估,以约1.22(字节/字符)的低存储代价实现对万条字符串集的精确匹配.该结构具有精确匹配、多字节匹配扩展简单、不存在带宽瓶颈等优点.     

基于深度包检测的防火墙系统设计

随着互联网的飞速发展,防火墙作为网络安全防护的重要手段已经成为了人们研究的重点。为了能够高效地过滤无关数据报文、抵御恶意攻击、保障网络的安全稳定运行,在研究深度包检测技术的基础上,提出了一种基于现场可编程门阵列、三态内容可寻址寄存器架构而实现的硬件防火墙系统。测试表明,该系统能够满足实际要求。     

基于FPGA的深度学习目标检测系统的设计与实现

针对当前深度学习目标检测算法计算复杂度高和内存需求大等问题,设计并实现了一种基于FPGA的深度学习目标检测系统。设计对应YOLOv2-Tiny目标检测算法的硬件加速器,对加速器各模块的处理时延建模,给出卷积计算模块的详细设计。实验结果表明,与CPU相比,CPU+FPGA的异构系统是双核ARM-A9能效的67.5倍,Xeon的94.6倍;速度是双核ARM-A9的84.4倍,Xeon的5.5倍左右。并且,当前设计在性能上超过之前的工作。     

一种虚拟化深度包检测部署机制

网络功能虚拟化转变了网络架构和网络业务的部署。在网络功能虚拟化架构中,实现虚拟化深度包检测只需在传输路径上进行一次扫描,但高效部署深度包检测功能引擎成为难题。将深度包检测功能部署问题形式化为线性规划问题以满足约束条件,并提出一种基于代价最小的贪婪算法和优化的贪婪算法来解决深度包检测功能部署问题。该算法对部署代价和网络资源代价进行折衷,实现了最小化的部署代价。实验结果表明,所提算法能够实现深度包检测功能部署并取得近似最优解。     

一种用于深度包检测的正则表达式分组算法

当前深度包检测算法通常需要将正则表达式转换为NFA或者DFA．但是随着网络带宽的不断增加．NFA和DFA状态占用的存储空间越来越大,极大地考验着系统的存储能力。为了应对这个问题．提出一种基于正则表达式相性的分组算法来对表达式进行分组,实验证明该算法能减少NFA和DFA状态的数量,提高匹配的效率。     

基于状态检测的TCP包过滤的设计与硬件实现

状态检测是目前防火墙的主流技术。本文介绍了状态检测防火墙的工作原理,提出了针对TCP数据包状态检测的流程和状态转换的模型,采用了序列号范围检查、动态超时管 理等办法保证系统的安全性,利用哈希算法对状态表进行操作,最终在FPGA上实现。实验结果表明,该设计能很好地适应千兆网络环境。     

一种改进的自动机压缩算法在深度包检测中的应用

传统的基于自动机的深度包检测算法是把正则表达式转化成确定有限自动机,在转化过程中会导致自动机状态消耗巨大运算空间。针对这个缺点,本文提出了一种改进的、基于确定有限自动机的状态压缩算法。该算法在牺牲少量运算时间的情况下,能极大地减少算法所需的运算空间。最后,本文把此算法应用于深度包检测中,设计了对比实验,验证了该算法的有效性。     

一种面向深度包检测的DFA压缩算法

DFA (确定性有限自动机)对于实现深度包检测（deep packet inspection, DPI）技术具有重要作用。随着深度包检测规则的不断增多,DFA所需的存储空间急剧增大。为此,本文提出了一种基于字符替换的DFA压缩算法,利用状态转换表中每个状态通常只有少数几个不同跳转的特点,我们将状态转换表分解为剩余表和字符替换表,减少了存储空间。此外,通过使相似的状态可以共享相同的字符替换表以进一步压缩存储空间。最后,本文给出了复杂度为O(n2)的压缩算法,n为DFA的状态数。实验结果表明,该算法在L7-filter和Snort规则集上具有较稳定的压缩率,压缩率都在5%以下。     

面向深度包检测的DFA细粒度并行匹配方法

确定性有限自动机(DFA)是实现正则表达式匹配的一种有效手段,但DFA的状态跳转是串行的,导致匹配速度慢、难以满足高速骨干网环境深度包检测(DPI)的性能需求.提出了一种称为LBDFA(Loopback DFA)的细粒度并行化状态跳转方法,通过将在Loopback状态上的连续跳转并行化,提高了匹配速度.此外,利用Bloom filter消除该并行跳转中的临时偏离现象,进一步提高了并行潜力.在L7-filter以及Snort规则集上的测试结果表明,LBDFA能够满足10 Gbps以上的正则表达式匹配需求.     

一种改进的XFA在深度包检测中的应用

提出了一种应用于深度包检测的改进XFA。该算法在XFA的分支迁移边上添加判断指令,消除XFA存在冗余迁移边的问题;采用并行检测机制,将匹配线程升级为两个并行的线程,预统计线程和状态机匹配线程,加快匹配速度。实验验证该算法有更快的运行速度和稳定性,适合多核计算环境。     

隐私敏感的深包检测技术研究

传统深包检测技术需要检测网络包的完整有效载荷,从而给用户隐私安全带来隐患。隐私敏感的深包检测技术在实现较高协议识别率情况下能够有效保护用户隐私。对深包检测技术中涉及的用户隐私进行了研究,根据有效载荷深度对隐私级别进行了划分。设计了根据隐私级别对网络包有效载荷进行截断预处理的方法。针对12种常用协议,使用隐私敏感的深包检测技术进行协议识别,结果表明,隐私敏感的深包检测技术可以获得80%以上的准确率,并严格地限制了用户隐私的泄露。     

一种基于深度报文检测的FSM状态表压缩技术

针对深度报文检测中正则表达式模式匹配的状态表爆炸问题,提出并实现了一种集合交割的预编码方法(SI-precode),在正则表达式转换成DFA前对所有输入符号进行预编码,通过压缩输入,减少FSM中输入符号的种类,从而压缩状态转移表的空间.证明了预编码生成的状态机的正确性及其与原状态机的同态性.采用L7-filter模式进行实验表明SI-precode不仅提高了正则表达式的编译速度,针对单模式状态机,其状态转移表空间比不进行预编码压缩了87%～97%,50个模式的多模式状态机可压缩59%.预编码在软硬件结合体系结构下进行协议识别时不会对性能造成影响;对纯软件结构性能降低2%～4%.     

一种硬件加速型融合防火墙包处理流程的设计与实现

针对硬件加速型融合防火墙,在保证其功能完善的基础上,设计并实现了一种可充分发挥系统性能的包处理流程.对各设计要点进行了详细说明并给出了设备性能测试结果.     

深度包检测中一种高效的正则表达式压缩算法

提出一种基于确定的有穷状态自动机(deterministic finite automaton,简称DFA)的正则表达式压缩算法.首先,定义了膨胀率DR(distending rate)来描述正则表达式的膨胀特性.然后基于DR提出一种分片的算法RECCADR (regular expressions cut and combine algorithm based on DR),有效地选择出导致DFA状态膨胀的片段并隔离,降低了单个正则表达式存储需求.同时,基于正则表达式的组合关系提出一种选择性分群算法REGADR(regular expressions group algorithm based on DR),在可以接受的存储需求总量下,通过选择性分群大幅度减少了状态机的个数,有效地降低了匹配算法的复杂性.     

基于FPGA实现的报文分类智能网卡

一般的网络安全应用软件,只对网络中的某类报文进行处理,基于通用的网卡采集网络数据,会收到大量的无用报文,降低系统效率。本文基于FPGA和零拷贝技术,设计并实现了一种智能网卡,将报文分类过滤工作下移到网卡硬件中实现,智能网卡完成了网络数据包报文捕获、报文分析、规则匹配等工作,可以过滤掉无用报文,只把应用关心的报文提交给到主机系统。与普通网卡相比,智能网卡可以有效提升网络数据采集的效率。     

Deep Packet Inspection: Shaping the Internet and the Implications on Privacy and Security

ABSTRACT

In recent debates on the issues of privacy and the Internet, Deep Packet Inspection (DPI) has been grossly oversimplified as a technology that is primarily harmful to consumers. Much of the commentary has been based on a poor understanding of what DPI is and how DPI works. All too often the debate over DPI is focused on unrelated issues such as free speech and censorship, which are largely political and not technological issues. DPI usage has been described as a violation of consumer privacy when the reality is far more complex and nuanced. What has been missing is a broader discussion on the full nature and application of DPI technology; DPI enables a wide range of applications, most of which are not only positive but also essential to the survival of the Internet. This paper will explain how DPI technology works and explore practical applications of its use. DPI will be an important tool to control economies of scale with the explosive growth of the Internet. While there will always be privacy concerns over the intrusive nature of DPI technology, this worry will be overshadowed by the security and control it allows.