未知二进制协议的报文分割方法

基于网络轨迹的协议逆向工程使用捕获的数据包进行分析,进而逆向未知协议的格式等信息。该文提出了一种利用二进制协议在网络通信过程中使用报文序列数据集来推断消息字段划分的新方法HV。该方法首先利用定义的测度分析各条消息中的值分布,分析报文的内部结构,对字段边界初次划分。接着利用消息序列之间所隐藏的统计信息对字段边界再次划分。最后将两次划分的结果结合,生成最终的字段划分结果。此前的研究很少利用每个消息内部的结构特征,而是通过比较多条消息得出结论。对于消息之间的统计特征,该文仅仅比较相邻的消息,而不是相互比较多条消息。此外,该文还定义了格式匹配分数,用于消息字段划分的质量的度量。将格式匹配分数应用于HV和以前的方法的对比实验中,进而验证HV字段划分的质量。由于HV在水平分析上利用了消息的内部结构,并且在垂直分析中只比较相邻消息之间的异同,因此HV不仅具有较好的字段划分效果,而且只有线性复杂度。     

基于状态相关字段的二进制协议状态机推断

在通信协议规范中,报文的格式类型与状态类型不存在一一映射关系,通过聚类较难将格式类型相同、状态类型不同的报文分离。为此,提出一种基于状态相关字段的二进制私有协议状态机推断方法。根据最长公共子序列距离进行状态相关字段识别,以获取协议会话的行为逻辑相似性。构建基于邻接表的初始状态机,对其进行异常会话去除与相似状态合并,从而降低协议状态机的规模。在TCP协议和SMB协议数据集上的测试结果表明,该方法能够有效推断二进制私有协议状态机,其准确率与召回率均较高。     

抗噪的应用层二进制协议格式逆向方法

现有的基于网络流量的二进制协议格式逆向方法通过比对多个相同类型的报文来推导协议格式,但报文集中的噪声报文会导致协议格式识别准确率较低,为此文章提出一种自动化去除噪声并推断协议格式的方法.该方法首先挖掘报文序列每个位置上的频繁项,识别出报文集中的特殊标识(FD);然后根据每个位置上FD的频率之和有效去除噪声报文;接着根据...     

基于最佳路径搜索的二进制协议格式关键词边界确定方法

针对二进制协议报文格式逆向分析中字段切分问题，提出以格式关键词为逆向分析目标，通过改进的n-gram算法和最佳路径搜索算法实现对二进制协议格式关键词的最优定界。首先，将位置因素引入n-gram算法，提出基于迭代n-gram-position的格式关键词边界提取算法，有效解决了n-gram算法中n值不易确定和固定偏移位置格式关键词的边界提取问题；然后，定义了频繁项边界命中率和左右分支信息熵为基础的分支度量，以关键词和非关键词的n-gram-position取值变化率存在差异为基础构造约束条件，提出基于最佳路径搜索的格式关键词边界选择算法，实现了对格式关键词的联合最优定界。在AIS1、AIS18、ICMP00、ICMP03和NetBios五种不同类型协议报文数据集上的测试结果表明，所提算法能够准确确定不同协议格式关键词的边界，F值均在83%以上。与VDV和AutoReEngine经典算法相比，所提算法的F值平均提升约8个百分点。     

基于扩展前缀树的协议格式推断方法

对未知网络协议进行协议格式推断在网络安全领域具有重要意义。现有的协议格式推断方法存在时间复杂度高、精确度较低等问题。提出了一种基于扩展前缀树协议格式推断方法。该方法首先通过N-gram分词获取候选协议关键词,使用互信息进行合并得到不同长度的协议关键词。在此基础上,依据与报文相对应的关键词序列构建扩展前缀树,实现对报文样本的初步聚类。而后,在扩展前缀树的基础上采用分段的多序列比对方法获取精确的协议格式。实验结果表明,该协议格式推断方法对于文本协议和二进制协议都能够取得理想的推断效果。     

基于值分布统计与Apriori的风电场报文字段划分与相关性分析

针对风力发电监控系统使用私有协议而带来的网络安全隐患问题，本文提出了基于值分布统计与Apriori的风电场报文字段划分与相关性分析方法。采用值分布统计方法，将报文初步划分为固定字节、多值字节与高度可变字节；采用人工经验与位翻转率方法，确定字段边界，完成高度可变字段类型的划分；采用通过Apriori算法，分析报文字段值变化趋势之间的关系，挖掘潜在的关联规则，完成字段相关性分析。测试结果表明方法能够有效推断报文格式并分析报文字段之间的相关性。     

非标工业控制协议格式逆向方法研究

协议安全是工业控制系统信息安全中的一项重要内容,非标协议格式的正确识别是协议安全分析的基础。基于工控系统行业现状和工控协议的结构确定、传输重复、语义有限的特性,提出了基于网络流量的非标准工控协议逆向识别方法,通过单报文处理进行初步分词聚类,多报文处理进行报文序列比对,关键字段推断语义,最终得到协议格式。验证结果表明,该方法能较好地识别非标工控协议格式。     

抗噪的未知应用层协议报文格式最佳分段方法

为了自动解析未知应用层协议的报文格式,提出一种未知应用层协议报文格式的最佳分段方法.这种方法不需要关于未知应用层协议的先验知识.它首先建立一种用于最佳分段的隐半马尔可夫模型(HSMM),并利用未知应用层协议在网络会话过程中传输的报文序列样本集来估计该模型的参数;再通过基于HSMM的最大似然概率分段方法,对报文中的各个字段进行最佳划分,同时获取代表各个字段语义的关键词.这种方法并不要求训练集绝对纯净.它能够基于观测序列的似然概率分布,发现混杂在训练集中的其他协议数据(噪声)并进行有效过滤.实验结果表明,该方法能够解析文本和二进制协议的报文格式,依据关键词构建的协议识别特征有很高的准确识别率,并能有效地检测出噪声.     

基于位置的自动化网络流协议逆向分析方法

现有自动化网络流协议逆向分析方法处理含有大量二进制报文数据的协议时难以准确推断报文格式。为此,提出一种改进的自动化网络流协议逆向分析方法(PoKE)。通过为关键词添加位置属性,提取出二进制报文数据中长度较短的关键词。利用关键词对报文进行标记,根据标记序列建立协议状态转移模型,同时采用基于报文分割和关键词提取的递归循环方式,实现更全面的关键词信息提取。实验结果表明,与Biprominer方法相比,PoKE方法能提取出更多的关键词信息,从而建立更精确的二进制协议模型。     

ISO8583域解析自动化功能的实现

ISO8583报文是一个国际标准的包格式,该格式定义了多种字段域,每个字段域有各自的约定格式,并对应特定的功能,字段域分定长和变长两种类型,报文最多可由128个字段域组成,可提供复杂的、扩展性强的、安全性能高的数据协议包。ISO8583协议是金融支付中常用的协议,如POS终端机通过银联与银行金融业务进行业务交互。在实际应用中通常采用位图方式去描述与具体业务相绑定的字段域,由于协议字段域较多且内置的逻辑复杂,增加了应用的难度,而本文则实现了一个能够正向、逆向解析位图的通用功能库,对ISO8583协议相关域进行可视化展现,同时提供了一系列工具函数,对字段域中不同编码格式进行快速转换,实现各种加解密算法及数字签名,为基于ISO8583协议二次开发提供了技术支持。     

基于边界检测的IPSec VPN协议的一致性测试方法

移动办公环境存在诸多安全威胁,为保证信息安全传输,通常采用移动VPN接入方案。文章探讨了一种针对移动智能终端的基于边界检测的IPSec VPN协议的一致性测试方法。该方法利用Hostapd搭建SoftAP,并通过调用libpcap函数库抓取IPSec VPN连接过程报文,采用基于协议会话状态的检测方法,根据协议会话状态的跳转,检测消息报文的格式与标准规范格式的一致性。测试结果表明,本方法可以智能的分析和识别非标准协议格式的IPSec VPN报文,而且实现简单,性能稳定。     

基于OSPF协议报文的网络拓扑分析算法

OSPF协议报文中含有网络拓扑信息,为有效处理报文数据,提出一种基于OSPF协议数据库描述报文和链路状态更新报文的拓扑分析算法。该算法的主要思想是：将OSPF协议报文按区域划分,采用模拟路由器的工作方式构造链路状态数据库,分别计算各个区域的拓扑,再利用边界路由器连接分散的拓扑得到完整的网络拓扑。实验结果表明该算法能够完整准确地获得网络拓扑图。     

基于特征串的应用层协议识别

随着各种P2P协议的广泛应用以及逃避防火墙检测的需要,传统的基于常用端口识别应用层协议的方法已经出现问题。文章通过分析可用的文档和实际报文TRACE,分别为七种应用层协议找出其实际交互过程中必须出现且出现频率最高的固定字段,并将这些固定字段作为协议的特征串来识别这七种协议。实验结果表明,相较于端口方法,使用特征串方法识别这七种应用层协议具有更高的准确性,并且时间消耗的增长不会超过2%。     

基于离散序列报文的协议格式特征自动提取算法

针对缺少会话信息的离散序列报文,提出一种基于离散序列报文的协议格式（SPMbFSC）特征自动提取算法。SPMbFSC在对离散序列报文进行聚类的基础上,通过改进的频繁模式挖掘算法提取出协议关键字,进一步对协议关键字进行选择,筛选出协议格式特征。仿真结果表明,SPMbFSC在以单个报文为颗粒度的识别中对FTP、HTTP等六种协议的识别率均能达到95%以上,在以会话为颗粒度的识别中识别率可达90%。同等实验条件下性能优于自适应特征（AdapSig）提取方法。实验结果表明SPMbFSC不依赖会话数据的完整性,更符合实际应用中由于接收条件限制导致会话信息不完整的情形。     

基于数据流分析的网络协议逆向解析技术

对未知网络协议进行逆向解析在网络安全应用中具有重要的意义。现有的协议逆向解析方法大都存在无法处理加密协议和无法获取协议字段语义信息的问题。针对这一问题,提出并实现了一种基于数据流分析的网络协议解析技术。该技术依托动态二进制插桩平台Pin下编写的数据流记录插件,以基于数据关联性分析的数据流跟踪技术为基础,对软件使用的网络通信协议进行解析,获取协议的格式信息,以及各个协议字段的语义。实验结果证明,该技术能够正确解析出软件通信的协议格式,并提取出各个字段所对应的程序行为语义,尤其对于加密协议有不错的解析效果,达到了解析网络协议的目的。     

基于知识图谱的协议转换方法研究

互联网＋政务大数据具有跨领域、多协议、难融合的特点。在大数据采集汇聚过程中,存在多种协议转换的需求,要求网关能够实现统一协议适配转换,为多源异构数据汇聚和数据融合提供数据支撑。传统的协议转换方法通常针对特定的协议转换需求设计的,可扩展性较差,不适用于多种协议转换。该文拟通过研究分析协议报文结构及协议转换特点,提出一种协议转换知识图谱的构建方法。通过构建图谱的模式层以及数据层,建立含有协议报文结构和报文字段映射关系的协议转换知识图谱。并在此基础上提出一种基于知识图谱的协议转换方法,以实现不同协议之间的报文转换。同时,通过协议转换应用实例以及与已有协议转换方法的对比实验,验证了该方法的有效性。     

协议状态机推断技术研究进展

介绍了协议逆向工程中协议状态机推断的研究进展.从状态机推断与正则语言学习的关系出发,分析了协议状态机推断的目标与需求;然后依据分析对象不同,将协议状态机推断分为基于指令序列和报文序列两大类,进一步将基于报文序列的状态机推断分为主动推断和被动推断两种;研究分析了各层面涉及到的方法与技术,并作出了评价与比较.最后对协议状态机推断研究的发展趋势进行了展望.     

基于字符距离聚类的未知工控协议分类方法

未知工控协议分类是实现多类型混合工控协议识别的前提。利用工控协议报文格式精简且广泛采用二进制序列的特点,提出基于字符距离聚类的未知工控协议分类方法。该方法打破传统方法计算文本协议报文的欧氏距离而难以准确反映工控协议报文相似性的问题,通过构建二进制特征序列,计算字符距离,并开展基于字符距离K-means聚类,实现了未知工控协议分类。其中,为确保分类的准确性,提出基于最大平均字符距离的最佳聚类K值确定方法。半物理仿真结果表明,所提方法对未知工控协议分类的准确率可达96.80%,协议类型判别的正确率可达97.07%。     

基于AX4000的路由器用户自定义报文性能测试设计与实现

本文提出了一种支持新型网络用户自定义报文性能测试的方法.在充分利用现有测试设备和测试环境的情况下,为新型协议的用户自定义格式报文提供了一个通用灵活的接口,将用户定义的报文格式转换成通用协议报文格式进行测试.用户不用关心测试设备底层数据报文的构造过程,只需在自定义协议上进行数据的定义、转发、测试等,中间的转换过程对用户是...     

基于Protobuf的数据传输协议

针对XML、JSON等数据结构在数据通信方面的不足, 利用Protobuf轻便高效的数据结构和二进制数据流传输方式的优点, 设计了一种网关与数据平台通信的数据传输协议. 该协议将数据以Protobuf格式封装到传输报文中, 通过定义应用层协议和设计数据通信确认机制建立数据传输通道, 并引入数据的序列化方法实现报文的传输. 测试结果表明, 该数据传输协议实现了网关和应用数据平台之间数据的高效和可靠传输.