基于协议逆向的移动终端通信数据解析

针对移动终端通信协议及通信数据的解析,其难点在于大部分移动终端应用程序并无相关公开的技术文档,难以获知其采取的通信协议类型。指令执行序列分析技术通过分析程序执行的指令序列逆向推断出消息格式和状态机。但有时序列信息采集不全,导致状态机推断不完备,从而无法获取全部协议信息。针对上述问题,提出了一个新型的基于状态机对比推断分析的移动终端通信协议解析方案,可用于取证场景提高数据取证的准确性和完备性。该方案首先利用PIN动态二进制插桩,识别污点源并跟踪污点轨迹分析出协议消息格式;然后根据格式信息对提取的协议消息进行聚类分析推断出原始状态机;最后利用最长公共子序列（LCS,longest common subsequence）算法与已知的协议状态机进行对比,相似度最高者即为推断出的通信协议类型。在Android平台上基于两类应用程序设计实验对该方案进行测试和评估,实验结果表明可准确提取应用程序的通信内容,实用价值强。     

基于网络流量的私有协议逆向技术综述

协议逆向技术是分析私有协议的重要途径,基于少量或零先验知识推断私有协议的约束与规范.在恶意应用监管、协议模糊测试、脆弱性检测、通信行为理解等方面均具有较高的实用价值.网络流量表征协议规范,承载协议固有特征,因此基于网络流量的私有协议逆向技术更适用于发现、分析并监管网络上的私有协议.在梳理现有的基于网络流量的私有协议逆向技术基础上,首先提出包括预推理、协议格式推断、语义分析以及协议状态机推理4步骤的基于网络流量的私有协议逆向技术框架,并阐述各个步骤的主要任务,提出面向研究方法本质的分类结构;其次,详细阐述各个私有协议逆向技术的方法流程,从适用协议类型、方法内核、推断算法等多个角度进行对比分析,提供现有基于网络流量的私有协议逆向技术系统概述;最后,归纳总结现有技术存在的问题以及主要影响因素,并对私有协议逆向技术的未来研究方向与应用场景进行展望.     

工控协议逆向分析技术研究与挑战

近年来,工业互联网的安全事件日益频发,尤其是工业控制系统(industrial control system, ICS),该现象揭示了目前ICS中已经存在较多的安全隐患,并且那些针对ICS安全隐患的大多数攻击和防御方法都需要对工控协议进行分析.然而,目前ICS中大多数私有工控协议都具有与普通互联网协议完全不同的典型特征,如结构、字段精度、周期性等方面,导致针对互联网协议的逆向分析技术通常都无法直接适用于工控协议.因此,针对工控协议的逆向分析技术已经成为近几年学术界和产业界的研究热点.首先结合2种典型工控协议,深入分析和总结了工控协议的结构特征.其次,给出了工控协议逆向分析框架,深入剖析了基于程序执行和基于报文序列的工控协议逆向分析框架的特点,并依次从人机参与程度和协议格式提取方式这2个角度,重点针对基于报文序列的工控协议分析方法进行详细阐述和对比分析.最后探讨了现有逆向分析方法的特点及不足,并对工控协议逆向分析技术的未来研究方向进行展望与分析.     

协议状态机推断技术研究进展

介绍了协议逆向工程中协议状态机推断的研究进展.从状态机推断与正则语言学习的关系出发,分析了协议状态机推断的目标与需求;然后依据分析对象不同,将协议状态机推断分为基于指令序列和报文序列两大类,进一步将基于报文序列的状态机推断分为主动推断和被动推断两种;研究分析了各层面涉及到的方法与技术,并作出了评价与比较.最后对协议状态机推断研究的发展趋势进行了展望.     

基于网络轨迹的协议逆向技术研究进展

协议逆向广泛应用于入侵检测系统、深度包检测、模糊测试、僵尸网络检测等领域.首先给出了协议逆向工程的形式化定义和基本原理,然后针对网络运行轨迹的协议逆向方法和工具从协议格式提取和协议状态机推断两个方面对现有的协议逆向方法进行了详细分析,阐释其基本模块、主要原理和特点,最后从多个角度对现有算法进行了比较,对基于网络流量的协议逆向技术的发展趋势进行了展望和分析.     

基于动态二进制分析的网络协议逆向解析

研究未知网络协议逆向解析技术在网络安全应用中具有重要的意义。基于此,介绍网络协议逆向解析技术的发展现状,分析基于网络轨迹和基于数据流的2种主要解析方法,提出一种基于动态二进制分析技术的逆向解析方法,并选取DynamoRIO平台作为支撑,实现对数据流信息的记录和分析,从而解析出单条协议消息中主要的协议域。     

网络协议识别技术综述

网络流量的协议类型识别是进行协议分析和网络管理的前提,为此研究综述了网络协议识别技术。首先,描述了网络协议识别的目标,分析了协议识别的一般流程,探讨了协议识别的现实需求,给出了评估协议识别方法的标准;然后,从基于数据包的协议识别和基于数据流的协议识别两个类别分析了网络协议技术的研究现状,并对协议识别的各类技术进行了比较分析;最后,针对目前协议识别方法的缺陷和应用需求,对协议识别技术的研究趋势进行了展望。     

一种基于报文序列分析的半自动协议逆向方法

基于报文序列分析的协议逆向方法在自动化分析过程中缺乏对人工知识的引入.为此,提出一种半自动协议逆向方法.通过人工输入的方式,将先验知识加入到报文分析中,用于指导报文的语义推断,并对分析结果进行人工纠正.实验结果表明,该方法能提高报文分析的效率和准确率.     

基于数据流分析的网络协议逆向解析技术

对未知网络协议进行逆向解析在网络安全应用中具有重要的意义。现有的协议逆向解析方法大都存在无法处理加密协议和无法获取协议字段语义信息的问题。针对这一问题,提出并实现了一种基于数据流分析的网络协议解析技术。该技术依托动态二进制插桩平台Pin下编写的数据流记录插件,以基于数据关联性分析的数据流跟踪技术为基础,对软件使用的网络通信协议进行解析,获取协议的格式信息,以及各个协议字段的语义。实验结果证明,该技术能够正确解析出软件通信的协议格式,并提取出各个字段所对应的程序行为语义,尤其对于加密协议有不错的解析效果,达到了解析网络协议的目的。     

基于改进投票专家算法的专有协议模糊测试方法

为了解决由于专有协议的广泛应用给模糊测试带来的严峻挑战,提出了一种将协议逆向工程和模糊测试相结合的专有协议模糊测试方法。并针对现有协议关键字提取算法n-gram将报文划分成等长子序列,造成关键字提取不够精确的弊端,提出基于有损计数算法改进的投票专家算法,为专有协议的逆向过程提供更加精准的协议关键字划分。对改进的投票专家算法和报文格式的逆向过程进行了详细说明。最后从准确提取关键字信息、协议逆向效果和对目标进行模糊测试三个方面对提出的方法进行了实验分析。并且,讨论了该方法存在的不足及未来的研究方向。     

一种逆向分析协议状态机模型的有效方法

网络协议的逆向分析技术无论对可信软件的验证、保护还是对恶意软件机理的分析都具有重要用途。由于协议的内在复杂性,重构与其源程序一致的高级模型对分析尤为有益,其中又以有限状态机模型最为典型。建立一种重构网络协议状态机模型的有效方法,主要依据所记录的协议会话的消息流及协议软件实际执行的指令流,通过对指令流反编译并应用改进的形式分析及验证技术构建出状态对象、转移关系及状态转移条件。该方法从协议的会话实例重构出充分一般的状态机模型,效率可行并具有逻辑上可证明的精确性。在详细阐述理论基础之后,也讨论了该方法的实现和应用。     

自动协议逆向工程研究综述

全面梳理了该领域国内外相关文献,归纳分析了自动协议逆向工程的研究现状和发展趋势。为了更清晰地刻画不同方法的特点和比较异同,提出一种基于协议逆向工程输出结果的分类方法,将协议逆向方法分为侧重于协议格式提取、侧重于协议状态机推断、侧重于完整协议规范描述、侧重于其他输出结果四类,并据此进行分析和比较。基于目前的进展情况和进一步的问题剖析发现,复杂交互场景分析、链路层协议逆向、加密协议分析以及协议状态机优化等应作为自动协议逆向工程领域下一步的重点研究方向。     

Recovery of CFSM-based protocol and service design from protocol execution traces

Reverse engineering and design recovery are two important concepts for the evolutionary design of systems software. In particular, the reverse engineering of distributed software, such as communications software, is a very challenging practical problem. Most communications software is written without the use of formal methods and is often poorly documented. Consequently, to maintain or modify such software, relevant details of the original design need to be recovered from the executable software itself. This design recovery process involves either static analysis of the code or dynamic analysis of the software behaviour based on selected execution traces. In this paper, we use the dynamic trace analysis approach. Specifically, based on execution traces as represented at selected points of observation, we generate a higher level design representation consisting of communicating finite state machines (CFSMs) corresponding to the protocol design and service constraints. Further, the temporal and concurrent aspects of the protocol behaviour are also captured in the traces and are reflected in the recovered design.     

计算机网络协议分析与开发实验的一种新教学方法

提出一种基于逆向工程与重叠网络开展计算机网络协议分析与开发实验教学的方法。通过协议逆向工程实验,提高学生的协议分析能力,并可以让学生利用协议分析结果进行协议开发。利用重叠网络,学生可以在完全不触及操作系统底层网络协议栈的情况下,自行设计一个完整的网络协议栈。它可以模拟TCP/IP协议栈的基本功能和特性,如路由协议、滑动窗口协议、信号协议等。这种实验教学方法不仅可以培养学生的协议分析与设计能力,而且可以极大的提高学生的协议开发能力。     

Position-based automatic reverse engineering of network protocols

Automatic protocol reverse engineering is a process of extracting protocol message formats and protocol state machine without access to the specification of target protocol. Protocol reverse engineering is useful for addressing many problems of network management and security, such as network management, honey-pot systems, intrusion detection, Botnet detection and prevention, and so on. Currently, protocol reverse engineering is mainly a manual and painstaking process which is time-consuming and error-prone. In this paper, we present a novel approach for automatic reverse engineering application-layer network protocols. We extract protocol keywords from network traces based on their support rates and variances of positions, reconstruct message formats, and infer protocol state machines. We implement our approach in a prototype system called AutoReEngine and evaluate it over four text-based protocols (HTTP, POP3, SMTP and FTP) and two binary protocols (DNS and NetBIOS). The results show that our AutoReEngine outperforms the existing algorithms.     

火灾报警系统数据输出协议的形式化分析

火灾自动报警系统数据输出通信协议的理解和实现直接影响到通讯双方的兼容性。本文结合协议的应用环境和功能需求,利用形式化分析方法对协议进行剖析,给出协议的Petri网模型,将标准中隐含的、影响兼容性的要求明确化,探讨该协议的网络化应用应该注意的问题。     

不可否认协议分析的扩展ZQZ逻辑方法

不可否认协议必须满足存活性、不可否认性、公平性和时限性,但当前大多数形式化方法只能分析该类协议的部分性质,证明或证伪协议逻辑的部分正确性.本文通过向ZQZ逻辑添加时间表达式,提出了一种适用于不可否认协议建模与分析的扩展ZQZ逻辑方法,包括推理规则和安全性质模型.展示新方法的应用时,使用其分析了ZG和KPB这两个局部逻辑...