基于网络轨迹的协议逆向技术研究进展

协议逆向广泛应用于入侵检测系统、深度包检测、模糊测试、僵尸网络检测等领域.首先给出了协议逆向工程的形式化定义和基本原理,然后针对网络运行轨迹的协议逆向方法和工具从协议格式提取和协议状态机推断两个方面对现有的协议逆向方法进行了详细分析,阐释其基本模块、主要原理和特点,最后从多个角度对现有算法进行了比较,对基于网络流量的协...     

协议状态机推断技术研究进展

介绍了协议逆向工程中协议状态机推断的研究进展.从状态机推断与正则语言学习的关系出发,分析了协议状态机推断的目标与需求;然后依据分析对象不同,将协议状态机推断分为基于指令序列和报文序列两大类,进一步将基于报文序列的状态机推断分为主动推断和被动推断两种;研究分析了各层面涉及到的方法与技术,并作出了评价与比较.最后对协议状态机推断研究的发展趋势进行了展望.     

基于文法推断的协议逆向工程

要深入了解网络中的各种应用过程,进而对这些应用进行自动分类、识别、跟踪和控制,首先就要获得代表这些应用会话过程的状态机.为此提出一种新的方法从采集的应用层数据中反推协议状态机.它采用基于差错纠正的文法推断方法,利用应用层协议交互过程中出现的标识符状态序列,逆向工程其协议状态机.为充分挖掘和发挥差错纠正的性能,提出了最佳路径匹配标准确定纠正路径,以及基于概率统计的异常入度区分及其剪枝的方法;通过去重的状态合并和相似行为意义的协议结构化简措施解决状态膨胀问题,从而获取最精简的协议状态机.通过在包含多种应用层协议的实际网络中的实验,验证了该方法的有效性.     

基于网络流量的私有协议逆向技术综述

协议逆向技术是分析私有协议的重要途径,基于少量或零先验知识推断私有协议的约束与规范.在恶意应用监管、协议模糊测试、脆弱性检测、通信行为理解等方面均具有较高的实用价值.网络流量表征协议规范,承载协议固有特征,因此基于网络流量的私有协议逆向技术更适用于发现、分析并监管网络上的私有协议.在梳理现有的基于网络流量的私有协议逆向技术基础上,首先提出包括预推理、协议格式推断、语义分析以及协议状态机推理4步骤的基于网络流量的私有协议逆向技术框架,并阐述各个步骤的主要任务,提出面向研究方法本质的分类结构;其次,详细阐述各个私有协议逆向技术的方法流程,从适用协议类型、方法内核、推断算法等多个角度进行对比分析,提供现有基于网络流量的私有协议逆向技术系统概述;最后,归纳总结现有技术存在的问题以及主要影响因素,并对私有协议逆向技术的未来研究方向与应用场景进行展望.     

基于改进投票专家算法的专有协议模糊测试方法

为了解决由于专有协议的广泛应用给模糊测试带来的严峻挑战,提出了一种将协议逆向工程和模糊测试相结合的专有协议模糊测试方法。并针对现有协议关键字提取算法n-gram将报文划分成等长子序列,造成关键字提取不够精确的弊端,提出基于有损计数算法改进的投票专家算法,为专有协议的逆向过程提供更加精准的协议关键字划分。对改进的投票专家算法和报文格式的逆向过程进行了详细说明。最后从准确提取关键字信息、协议逆向效果和对目标进行模糊测试三个方面对提出的方法进行了实验分析。并且,讨论了该方法存在的不足及未来的研究方向。     

BACnet应用层状态机在线测试研究

随着BACnet网络技术的应用发展,对BACnet网络设备协议一致性测试的要求也越来越强烈,本文在比较现有的协议一致性测试方法的基础上,给出了基于在线测试的BACnet协议测试方法,研究了BACnet应用层状态机的运行模式,并采用有限状态机模型对BACnet应用层状态机进行了分析,给出了相应的状态机状态判定方法和在线测试的软件结构。     

协议逆向工程研究进展*

首先给出了协议逆向工程的形式化定义,并探讨了主要应用领域的特定需求;然后从报文序列分析和指令执行序列分析两个方面介绍了协议逆向技术的研究现状,并对两类技术的优劣进行了比较;最后结合当前方案的缺陷和实际应用的需求,对协议逆向技术的发展趋势进行了展望。     

Chord协议的抽象状态机模型

P2P是构筑于互联网的大规模分布计算协议,采用形式化方法对P2P协议的本质原理进行分析,将有助于P2P协议的优化和改进。本文采用抽象状态机(ASM)对经典P2P协议Chord进行分析,用基于抽象状态机语言(Asml)对其建模,设计了核心运行规则,并得到了该协议的有限状态机模型。本文的工作有助于分析、优化P2P协议。     

一种逆向分析协议状态机模型的有效方法

网络协议的逆向分析技术无论对可信软件的验证、保护还是对恶意软件机理的分析都具有重要用途。由于协议的内在复杂性,重构与其源程序一致的高级模型对分析尤为有益,其中又以有限状态机模型最为典型。建立一种重构网络协议状态机模型的有效方法,主要依据所记录的协议会话的消息流及协议软件实际执行的指令流,通过对指令流反编译并应用改进的形式分析及验证技术构建出状态对象、转移关系及状态转移条件。该方法从协议的会话实例重构出充分一般的状态机模型,效率可行并具有逻辑上可证明的精确性。在详细阐述理论基础之后,也讨论了该方法的实现和应用。     

基于模型转换实现行为协议的研究

为平台无关的UML模型元素(如类、接口)增加行为协议通常没有有效的解决方法。提出了一种基于模型转换实现行为协议的方法,编写了模型转换规则将状态机描述的行为协议元数据自动转换为UML操作元素的约束,运用OCL验证器和代码生成器对转换后的UML模型进行自动验证和代码生成。该方法为行为协议的自动验证、与模型元素同步和规范的正确实施提供了有效支持。     

一种安全协议的机器证明算法

安全协议的形式化验证是网络安全的一个重要领域。文章介绍了一种机器的自动证明算法。与传统算法不同,文章的算法是证伪的从“攻击者”的角度出发,避免了“有限状态机”方法的复杂“状态空间”的搜索。     

Position-based automatic reverse engineering of network protocols

Automatic protocol reverse engineering is a process of extracting protocol message formats and protocol state machine without access to the specification of target protocol. Protocol reverse engineering is useful for addressing many problems of network management and security, such as network management, honey-pot systems, intrusion detection, Botnet detection and prevention, and so on. Currently, protocol reverse engineering is mainly a manual and painstaking process which is time-consuming and error-prone. In this paper, we present a novel approach for automatic reverse engineering application-layer network protocols. We extract protocol keywords from network traces based on their support rates and variances of positions, reconstruct message formats, and infer protocol state machines. We implement our approach in a prototype system called AutoReEngine and evaluate it over four text-based protocols (HTTP, POP3, SMTP and FTP) and two binary protocols (DNS and NetBIOS). The results show that our AutoReEngine outperforms the existing algorithms.     

基于协议逆向的移动终端通信数据解析

针对移动终端通信协议及通信数据的解析,其难点在于大部分移动终端应用程序并无相关公开的技术文档,难以获知其采取的通信协议类型。指令执行序列分析技术通过分析程序执行的指令序列逆向推断出消息格式和状态机。但有时序列信息采集不全,导致状态机推断不完备,从而无法获取全部协议信息。针对上述问题,提出了一个新型的基于状态机对比推断分析的移动终端通信协议解析方案,可用于取证场景提高数据取证的准确性和完备性。该方案首先利用PIN动态二进制插桩,识别污点源并跟踪污点轨迹分析出协议消息格式;然后根据格式信息对提取的协议消息进行聚类分析推断出原始状态机;最后利用最长公共子序列（LCS,longest common subsequence）算法与已知的协议状态机进行对比,相似度最高者即为推断出的通信协议类型。在Android平台上基于两类应用程序设计实验对该方案进行测试和评估,实验结果表明可准确提取应用程序的通信内容,实用价值强。     

基于状态机的CAN2．8总线协议的实现

CAN2．0总线协议中所规定的帧的种类和格式以及总线的状态控制过程较为复杂,在实际电路设计过程中,为能更好地实现其协议功能和状态控制,可以采用状态机来简化和实现CAN总线控制器系统中的协议功能和状态控制过程。文中基于这种方法设计出CAN总线控制器状态控制状态机和报文接收状态机,通过编写RTL级代码,设计出硬件电路。在设计完成后,使用基于e语言的SpecmanElite和modelsim6．2软件平台进行仿真和验证,结果表明该电路功能正确,满足设计要求和使用要求。     

基于安全协议代码的形式化辅助建模研究

随着安全协议形式化分析技术的不断发展,利用工具自动验证虽已得到实现,但建模环节仍需依赖专业人员手工建模,难度大且成本高,限制了此技术的进一步推广。为了提高建模的自动化程度,提出了依据安全协议代码进行形式化模型辅助生成的方案。首先,使用污点分析获取协议的通信流程,并且记录密码学原语操作;然后,根据通信流程之间的序列关系构建协议通信状态机;最终,根据目前主流的安全协议形式化分析工具Tamarin的模型语法生成形式化模型。实验结果表明,此方案可以生成形式化模型中的关键部分,提高了形式化建模的自动化程度,为形式化分析技术的推广作出贡献。