基于概率模型的二进制协议字段划分方法

字段划分是协议格式推断的基础,协议格式推断的后续步骤,如报文结构识别、字段语义推断和字段取值约束判定,高度依赖于字段划分质量。二进制协议缺少字符编码和定界符,字段长度取值灵活,值域变化丰富,因此字段划分难度较大。针对相关研究存在的特征构造维度单一和判决规则简单等问题,提出了一种基于概率模型的二进制协议字段划分方法。以二进制协议报文为研究对象,从报文内在结构、报文间取值变化等维度构造字段边界约束关系,然后用概率的方式将各种约束组合在一起,利用因子图模型计算各个位置成为边界的概率,从中得出最有可能的字段边界。实验结果表明,相比传统方法,所提方法在二进制协议字段边界识别中精准度更高、鲁棒性更强。     

基于状态机子图同构匹配的私有工控协议溯源

在对工业互联网设备私有工控协议进行安全分析时,溯源其采用的工控网络协议标准十分困难。文章提出一种基于状态机子图同构匹配的私有工控协议溯源方法,可快速匹配私有工控协议所采用的工控网络协议标准。该方法首先对私有工控协议流量数据进行逆向解析,通过聚类算法提取消息格式和关键字段,根据关键字段构造增广前缀树(Augmented Prefix Tree Acceptor,APTA),推断出协议状态机图;然后采用子图同构匹配算法将该状态机图与工控协议标准状态机图进行子图匹配,解决流量数据有限导致生成状态机图不完整的问题。实验结果表明,该方法溯源准确率在95%以上,可快速定位私有协议采用的工控网络协议标准,从而为进一步的安全分析提供帮助。     

协议状态机推断技术研究进展

介绍了协议逆向工程中协议状态机推断的研究进展.从状态机推断与正则语言学习的关系出发,分析了协议状态机推断的目标与需求;然后依据分析对象不同,将协议状态机推断分为基于指令序列和报文序列两大类,进一步将基于报文序列的状态机推断分为主动推断和被动推断两种;研究分析了各层面涉及到的方法与技术,并作出了评价与比较.最后对协议状态机推断研究的发展趋势进行了展望.     

基于网络流量的私有协议逆向技术综述

协议逆向技术是分析私有协议的重要途径,基于少量或零先验知识推断私有协议的约束与规范.在恶意应用监管、协议模糊测试、脆弱性检测、通信行为理解等方面均具有较高的实用价值.网络流量表征协议规范,承载协议固有特征,因此基于网络流量的私有协议逆向技术更适用于发现、分析并监管网络上的私有协议.在梳理现有的基于网络流量的私有协议逆向技术基础上,首先提出包括预推理、协议格式推断、语义分析以及协议状态机推理4步骤的基于网络流量的私有协议逆向技术框架,并阐述各个步骤的主要任务,提出面向研究方法本质的分类结构;其次,详细阐述各个私有协议逆向技术的方法流程,从适用协议类型、方法内核、推断算法等多个角度进行对比分析,提供现有基于网络流量的私有协议逆向技术系统概述;最后,归纳总结现有技术存在的问题以及主要影响因素,并对私有协议逆向技术的未来研究方向与应用场景进行展望.     

抗噪的应用层二进制协议格式逆向方法

现有的基于网络流量的二进制协议格式逆向方法通过比对多个相同类型的报文来推导协议格式,但报文集中的噪声报文会导致协议格式识别准确率较低,为此文章提出一种自动化去除噪声并推断协议格式的方法.该方法首先挖掘报文序列每个位置上的频繁项,识别出报文集中的特殊标识(FD);然后根据每个位置上FD的频率之和有效去除噪声报文;接着根据...     

基于扩展前缀树的协议格式推断方法

对未知网络协议进行协议格式推断在网络安全领域具有重要意义。现有的协议格式推断方法存在时间复杂度高、精确度较低等问题。提出了一种基于扩展前缀树协议格式推断方法。该方法首先通过N-gram分词获取候选协议关键词,使用互信息进行合并得到不同长度的协议关键词。在此基础上,依据与报文相对应的关键词序列构建扩展前缀树,实现对报文样本的初步聚类。而后,在扩展前缀树的基础上采用分段的多序列比对方法获取精确的协议格式。实验结果表明,该协议格式推断方法对于文本协议和二进制协议都能够取得理想的推断效果。     

渐进式的协议状态机主动推断方法

主动协议状态机推断的理论基础为主动自动机学习,所面临的核心问题是字母表的抽象与映射器的构建。同一类型消息取值的多样性可能导致同一类型的数据包存在不同的响应类型,从而导致当前使用类型作为字母表的方法会丢失状态或状态转移。对此,依据不同的响应将协议类型细化为子类型,提出一种渐进式主动推断方法。基于已有协议数据提取协议状态字段,构建初始字母表与映射器,基于主动推断方法得到初始状态机;对数据进行确定性变异,若输入输出类型序列与当前状态机不符,则将变异后数据视为协议子类型,并添加至字母表,同时依据新的字母表进行新的状态机推断。此外,为减少协议实际交互次数,依据协议特性,在主动推断算法的缓存机制基础上提出一种基于前缀匹配的预响应查询算法。实现了开源框架Pro Learner,并以SMTP和RTSP为对象,通过扩展协议子类型获得了更为详细的协议行为,验证了所提方法的有效性;此外,实验结果表明预响应查询算法可有效减少实际交互的次数,平均降低的实际交互次数约为10%。     

基于状态标注的协议状态机逆向方法

协议状态机可以描述一个协议的行为,帮助理解协议的行为逻辑。面向文本类协议,首先利用统计学方法提取表示报文类型的语义关键字;然后利用邻接矩阵描述报文类型之间的时序关系,基于时序关系进行协议状态标注,构建出协议的状态转换图。实验表明,该方法可以正确地描述出报文类型的时序关系,抽象出准确的状态机模型。     

基于协议逆向的移动终端通信数据解析

针对移动终端通信协议及通信数据的解析,其难点在于大部分移动终端应用程序并无相关公开的技术文档,难以获知其采取的通信协议类型。指令执行序列分析技术通过分析程序执行的指令序列逆向推断出消息格式和状态机。但有时序列信息采集不全,导致状态机推断不完备,从而无法获取全部协议信息。针对上述问题,提出了一个新型的基于状态机对比推断分析的移动终端通信协议解析方案,可用于取证场景提高数据取证的准确性和完备性。该方案首先利用PIN动态二进制插桩,识别污点源并跟踪污点轨迹分析出协议消息格式;然后根据格式信息对提取的协议消息进行聚类分析推断出原始状态机;最后利用最长公共子序列（LCS,longest common subsequence）算法与已知的协议状态机进行对比,相似度最高者即为推断出的通信协议类型。在Android平台上基于两类应用程序设计实验对该方案进行测试和评估,实验结果表明可准确提取应用程序的通信内容,实用价值强。     

未知二进制协议的报文分割方法

基于网络轨迹的协议逆向工程使用捕获的数据包进行分析,进而逆向未知协议的格式等信息。该文提出了一种利用二进制协议在网络通信过程中使用报文序列数据集来推断消息字段划分的新方法HV。该方法首先利用定义的测度分析各条消息中的值分布,分析报文的内部结构,对字段边界初次划分。接着利用消息序列之间所隐藏的统计信息对字段边界再次划分。最后将两次划分的结果结合,生成最终的字段划分结果。此前的研究很少利用每个消息内部的结构特征,而是通过比较多条消息得出结论。对于消息之间的统计特征,该文仅仅比较相邻的消息,而不是相互比较多条消息。此外,该文还定义了格式匹配分数,用于消息字段划分的质量的度量。将格式匹配分数应用于HV和以前的方法的对比实验中,进而验证HV字段划分的质量。由于HV在水平分析上利用了消息的内部结构,并且在垂直分析中只比较相邻消息之间的异同,因此HV不仅具有较好的字段划分效果,而且只有线性复杂度。