未知协议的逆向分析与自动化测试

在工业控制、军事通信、金融信息等创新型网络中,大量未知(私有或半私有)协议被广泛采用.对通信协议及其实现进行严格的测试是确保网络系统安全性的重要手段,现有测试手段与方法大多只能针对已知协议进行,未知协议的广泛采用对协议测试提出了挑战.本文提出了针对未知协议的逆向分析与自动化测试方法,其基本思想是基于对协议流量的逆向分析,识别出协议特征,动态生成多维测试数据,自动监控被测系统的运行状态,获得准确的测试结果,为系统安全可靠运行提供依据.具体贡献包括:(1)自动化模糊测试框架;(2)基于协议特征库的逆向分析方法;(3)基于多维变异的测试数据生成方法;(4)基于主动探测的测试执行与异常定位方法.本文设计实现了自动化测试工具UPAFuzz,试验结果表明,UPAFuzz能够基于网络流量实现协议特征的自动识别,并自动生成海量模糊测试数据,对被测系统进行测试;在生成的测试数据量达到千万级时,UPAFuzz的内存占用率为现有模糊测试工具Boofuzz的50%,且其耗时仅为Boofuzz的10%,大大提升了测试执行效率.     

基于位置的自动化网络流协议逆向分析方法

现有自动化网络流协议逆向分析方法处理含有大量二进制报文数据的协议时难以准确推断报文格式。为此,提出一种改进的自动化网络流协议逆向分析方法(PoKE)。通过为关键词添加位置属性,提取出二进制报文数据中长度较短的关键词。利用关键词对报文进行标记,根据标记序列建立协议状态转移模型,同时采用基于报文分割和关键词提取的递归循环方式,实现更全面的关键词信息提取。实验结果表明,与Biprominer方法相比,PoKE方法能提取出更多的关键词信息,从而建立更精确的二进制协议模型。     

准确高效的应用层协议分析识别方法

本文对现行应用层协议分析方法进行总结概述,并介绍了一套全新的、模块化的、分为低、中、高、补等4个级别12大类的协议分析识别方法,可准确高效地将网络上的各种通讯数据分门别类,以便于随后进行网络流量监控与管理。尤其针对加密或伪装类数据包,可不经过解密等需要深入进行数据剖析或产生过多计算量的复杂途径而进行分析。即使是不能分析的未知流量,亦有相关特殊方法进行强制性或使用者控制的非强制性操作而将其纳入可控范围进行管理。最后给出了本方法在Linux平台上的实现,并对实验得到的数据进行了比较,给出了整套系统在真实应用环境中的分析效果。     

基于MSE协议特征的BT加密流量识别方法

P2P（Peer-to-Peer）系统在文件共享、协同计算、流媒体等领域获得了广泛应用。随着P2P技术的发展,越来越多的P2P应用对数据进行加密传输,加大了对其流量的识别难度。通过对MSE（Message Stream Encryption）协议特征的分析,提出了还原MSE协议消息流,实现BT（BitTorrent）加密流量识别的方法。修改了开源BT客户端Vuze,利用其收集的真实BT流量信息来检验本方法,结果表明该方法与现有的DPI（deep packet inspection）技术结合,对网络中BT流量进行识别,具有较高的召回率和准确率,同时保持了较低的误报率。     

基于网络流量的私有协议逆向技术综述

协议逆向技术是分析私有协议的重要途径,基于少量或零先验知识推断私有协议的约束与规范.在恶意应用监管、协议模糊测试、脆弱性检测、通信行为理解等方面均具有较高的实用价值.网络流量表征协议规范,承载协议固有特征,因此基于网络流量的私有协议逆向技术更适用于发现、分析并监管网络上的私有协议.在梳理现有的基于网络流量的私有协议逆向技术基础上,首先提出包括预推理、协议格式推断、语义分析以及协议状态机推理4步骤的基于网络流量的私有协议逆向技术框架,并阐述各个步骤的主要任务,提出面向研究方法本质的分类结构;其次,详细阐述各个私有协议逆向技术的方法流程,从适用协议类型、方法内核、推断算法等多个角度进行对比分析,提供现有基于网络流量的私有协议逆向技术系统概述;最后,归纳总结现有技术存在的问题以及主要影响因素,并对私有协议逆向技术的未来研究方向与应用场景进行展望.     

基于流量分析的 P2P 协议识别方法的研究

鉴于目前国内互联网现状，基于各种P2P协议的网络流量飞速增长并占据了大部分的网络带宽。各级运营商以及企业网络管理部门要想对基于各种P2P协议的网络流量进行有效管理、提升用户体验，就一定要攻克其瓶颈技术——P2P协议的识别。本文主要对一种新的协议识别思路——通过网络流量信息识别P2P协议的方法进行了研究。     

基于卷积神经网络的应用层协议识别方法

针对传统网络协议识别方法中人工提取特征困难以及识别准确率低等问题,提出了一种基于卷积神经网络（CNN）的应用层协议识别方法。首先,基于完整的传输控制协议（TCP）连接或用户数据报协议（UDP）交互划分原始网络数据,从中提取出网络流;其次,通过数据预处理将网络流转化为二维矩阵,便于CNN的分析处理;然后,利用训练样本集合训练CNN模型,自动化提取出网络协议特征;最终,基于训练成熟的CNN模型进行应用层网络协议的识别。实验结果表明,所提方法的总体协议识别准确率约为99.70%,能有效实现应用层协议的识别。     

基于状态标注的协议状态机逆向方法

协议状态机可以描述一个协议的行为,帮助理解协议的行为逻辑。面向文本类协议,首先利用统计学方法提取表示报文类型的语义关键字;然后利用邻接矩阵描述报文类型之间的时序关系,基于时序关系进行协议状态标注,构建出协议的状态转换图。实验表明,该方法可以正确地描述出报文类型的时序关系,抽象出准确的状态机模型。     

基于残差网络和循环神经网络混合模型的应用层协议识别方法

针对现有协议识别方法无法有效提取协议数据的时间和空间特征导致协议识别准确率不高的问题,提出了一种基于一维残差网络和循环神经网络的应用层协议识别方法。所构造的协议识别模型由一维预激活残差网络(PreResNet)和双向门控循环神经网络(BiGRU)组成,利用一维PreResNet提取协议数据的空间特征,利用BiGRU提取协议数据的时间特征,在此基础上通过注意力机制提取与协议识别有关的关键特征来提高协议识别的准确率。所提方法首先从网络流量中提取应用层协议数据,对数据进行预处理,从而将其转化为一维向量;然后利用训练数据对分类模型进行训练,得到成熟的协议识别模型;最后用训练好的分类模型识别应用层协议。在公开数据集ISCX2012上进行测试实验,结果表明,所提协议识别模型的总体准确率为96.87%,平均F值为96.81%,高于对比的协议识别模型。     

P2P协议识别方法研究

鉴于目前国内互联网现状,基于各种P2P协议的网络流量飞速增长并占据了大部分的网络带宽。因此,在很多情况下,对P2P流量的检测是十分必要的。文章结合P2P网络中出现的问题,分析了P2P对网络流量的影响,提出了P2P流量识别的几项关键技术并对其优缺点做出评价。     

浅析基于网络协议的异常流量识别技术

本文提出构建基于网络协议的异常流量识别模型,结合网络协议分析、网络入侵检测技术等对网络数据层进行解析,通过对频繁IP 地址进行聚集发现网络中的异常流量IP 地址集合,统计出异常数据包。通过DDOS攻击实验结果分析得出,该模型具有较高的识别能力,并且在处理效率和计算强度方面都有很好的表现。     

基于动态二进制分析的网络协议逆向解析

研究未知网络协议逆向解析技术在网络安全应用中具有重要的意义。基于此,介绍网络协议逆向解析技术的发展现状,分析基于网络轨迹和基于数据流的2种主要解析方法,提出一种基于动态二进制分析技术的逆向解析方法,并选取DynamoRIO平台作为支撑,实现对数据流信息的记录和分析,从而解析出单条协议消息中主要的协议域。     

一种基于报文序列分析的半自动协议逆向方法

基于报文序列分析的协议逆向方法在自动化分析过程中缺乏对人工知识的引入.为此,提出一种半自动协议逆向方法.通过人工输入的方式,将先验知识加入到报文分析中,用于指导报文的语义推断,并对分析结果进行人工纠正.实验结果表明,该方法能提高报文分析的效率和准确率.     

基于SSOM的网络流量分类方法

针对目前基于端口号匹配和特征码识别的流量分类方法准确率低、应用范围受限等问题,提出一种基于有监督的自组织映射(SSOM)的网络流量分类方法。该方法使用已标注类别的网络流量训练集,通过改变自组织映射(SOM)训练过程中的权值调整规则,使输出层中获胜神经元的选择更容易,各类别之间划分更清晰,从而提高分类性能。实验结果表明,SSOM的分辨率及拓扑连续性均优于SOM,对网络流量分类具有更高的准确率。     

基于电压曲线聚类分析的低压用户相序自动识别

针对低压用户相序识别困难、成本高问题,提出了一种基于电压曲线聚类分析的低压用户相序识别方法。首先采用皮尔逊相关系数度量不同用户智能电表电压曲线之间的波动相似性;接着基于电压曲线相似性分布的密度信息选择初始聚类中心对象;然后采用K-medoids算法将智能电表电压曲线波动相似的台区用户聚类为3个不同用户组,进而识别低压台区用户相序。该方法在某电网公司进行了应用验证,在变压器三相不平衡严重台区开展用户相序识别,然后根据不同相序用户负载情况进行负荷再分配,从而降低该台区变压器三相负载不平衡度,取得了良好的效果。#$NL关键词：相序识别;三相不平衡;皮尔逊相关系数;密度信息;K-medoids算法     

基于文法推断的协议逆向工程

要深入了解网络中的各种应用过程,进而对这些应用进行自动分类、识别、跟踪和控制,首先就要获得代表这些应用会话过程的状态机.为此提出一种新的方法从采集的应用层数据中反推协议状态机.它采用基于差错纠正的文法推断方法,利用应用层协议交互过程中出现的标识符状态序列,逆向工程其协议状态机.为充分挖掘和发挥差错纠正的性能,提出了最佳路径匹配标准确定纠正路径,以及基于概率统计的异常入度区分及其剪枝的方法;通过去重的状态合并和相似行为意义的协议结构化简措施解决状态膨胀问题,从而获取最精简的协议状态机.通过在包含多种应用层协议的实际网络中的实验,验证了该方法的有效性.     

基于IDA-Pro的软件逆向分析方法

二进制程序转换作为软件逆向分析的主要手段发挥着积极作用。该文给出一种程序转换方法,应用软件二进制程序经IDA Pro反汇编得汇编语言程序,依据下推自动机原理设计汇编文法识别该汇编文件、制定相应的转换规则和优化措施将汇编语言转换成中间语言。转换所得中间语言可读性较强,具有通用性且易于理解。该方法达到了较高的自动化程度,缩小了目标程序的代码量,其应用可有效地减少软件分析和调试人员在追踪代码时所需的时间和工作量。给出应用上述方法进行程序转换的实例。     

基于内容分析的网络协议指纹识别

针对当前网络协议识别面临的网络带宽持续增加、许多新应用的出现和端口识别局限性的挑战,分析各种识别方法所使用的协议指纹存在的基础、局限性和匹配的难易程度,提出一种基于协议指纹匹配和协议规则验证的协议自识别技术实现协议自识别方法,通过提取不同网络协议类型之间的细微差别,建立网络应用协议指纹特征库,并通过协议验证规则验证协议识别结果的正确性。最后通过实验表明该方法的有效性。     

基于一维卷积神经网络的网络流量分类方法

针对传统机器学习算法对于流量分类的瓶颈问题,提出基于一维卷积神经网络模型的应用程序流量分类算法。将网络流量数据集进行数据预处理,去除无关数据字段,并使数据满足卷积神经网络的输入特性。设计了一种新的一维卷积神经网络模型,从网络结构、超参数空间以及参数优化方面入手构造了最优分类模型。该模型通过卷积层自主学习数据特征,解决了传统基于机器学习的流量分类算法中特征选择问题。通过网络公开数据集进行模型测试,相比于传统的一维卷积神经网络模型,所设计的神经网络模型的分类准确率提升了16.4%,总分类时间节省了71.48%。另外在类精度、召回率以及[F1]分数方面都有较好的提升。     

基于统计特征的P2P流量检测方法

针对传统的流量检测方法在应对P2P流量时不够准确和高效的问题,分析P2P协议的TCP/IP协议栈,提出一种新的基于统计特征的P2P流量检测方法,结合神经网络对P2P流量进行识别。实验结果表明,该方法能有效、准确地判断网络数据流是否为P2P类别。