设备复制系统的日志机制研究

设备复制系统采用数据复制技术实现数据容灾,而日志机制是整个系统的核心和基础。本文在分析借鉴文件系统和数据库系统日志的基础上,提出了一个满足设备复制系统特点和设计要求的日志机制,并重点围绕日志的组织结构、生成方式、访问方式以及溢出、修正等特殊情况的处理方法进行了论述。原型实验表明,该日志机制在设备复制系统得到了较好实现,为数据复制提供了保障。     

一种基于日志合并优化的数据同步机制

基于复制技术的高可用存储系统，在故障恢复时需要进行数据同步操作以保证数据副本之间的一致，缩减数据同步操作的时间可减少系统修复时间，从而提高存储系统可用性．数据同步过程的时间由数据同步所需传输的数据量决定．本文提出的基于日志操作合并优化的数据同步机制充分考虑到文件访问中的时间和空间局部性，通过对故障期间的所记录的日志进行合并优化，合并和去除不必要的日志项，使得需要同步的数据量最少，从而减少数据同步过程的时间．试验的结果表明，相对于其它几种通用的方式，基于日志合并优化的数据同步机制所传输的数据量最少，可有效的减少数据同步操作的时间．     

Windows下缓冲区溢出保护机制及绕过技术

综述当前Windows平台下主要的缓冲区溢出保护机制,该保护机制的绕过技术可以提高漏洞分析与利用的成功率及操作系统的安全性。介绍当前主要的缓冲区溢出保护机制的绕过技术的发展现状。针对堆栈溢出及数据执行保护(DEP)机制的突破技术,分别给出突破原理和方法。通过实验验证了DEP突破技术的有效性。     

基于数据块的关系数据库日志挖掘技术

在关系型数据库中数据库通过Redo日志来实现事物的快速提交,并记录事物的操作过程与操作内容.通过对Redo日志的分析与变化数据内容的捕获,将变化数据传送到灾备端,并在灾备端实现变化数据的写入,是目前数据库复制最主要实现原理.本文分析了oralce数据库Redo日志文件结构,阐述了日志文件头标志位信息.结合Redo 日志文件头定位分析技术,给出了一种基于数据块的数据库Redo日志挖掘算法.通过测试分析,验证了该Redo日志挖掘技术的可行性与可靠性.最后展望了下一步的研究方向.     

远程数据备份系统中的日志延迟保护机制研究

远程数据备份系统是实现数据容灾的一个重要前提,而日志机制是备份系统的基础.在远程数据备份系统日志结构的基础上,针对已有日志机制的不足,提出了一种延迟保护策略.讨论了该策略的实现,并结合相关测试数据设计了一种自适应算法.延迟保护策略在远程数据备份系统中得到了很好的实现,原型实验表明,该策略能减小主从数据相位差,避免日志溢出,较好地保护了系统的日志结构,提高了数据的可恢复性.     

移动环境下一种基于日志的数据复制方法

乐观复制方法被广泛应用于移动环境中，提出了一种新的基于日志的数据复制方法，该方法使用相对较小的通信和存储开销，能更有效地记录数据更新以及进行数据同步，和传统的方法比，该方法更适用于小型的数据记录。     

基于返回地址保护的防止缓冲区溢出方法

缓冲区溢出是一种使用广泛、威胁大的攻击.现在提出一种对于函数返回地址进行混合保护的方法,防止攻击者通过改变函数返回地址来执行注入的代码.这种方法包括一个简单的编译器补丁,增强编译器的安全功能,建立一个安全区域保存所有的函数返回地址的拷贝,而且该拷贝通过动态的编码,让攻击者难以进行猜测和攻击.使用这种方法,不需要改变用户程序的原代码,也不会改变用户程序的二进制堆栈结构,所以可以很好的和原有的操作系统、函数库结合.现在对这种方法的性能进行测试,详细描述测试结果,并认为对性能的影响在可以接受的范围,因此这种方法是一种有效的抵御缓冲区攻击的方法.     

基于专家系统的Web日志数据处理方法研究

企业员工访问网站的记录在企业服务器中形成了大规模日志数据,从这些海量数据中发掘出有意义的信息是管理企业员工重要的环节,并成为大数据时代关注的重点。完成数据挖掘的核心工作之一就是对原始数据的预处理,它影响到数据分析结果的准确度。但由于web日志是Apache、Nginx和IIS等web服务器运行时产生的系统日志,web日志格式根据使用web服务器的不同而不同。所以,传统的日志数据清洗方式难以应对目前如此复杂的日志格式。由于专家系统其技术特点能应对复杂的日志格式,所以通过结合专家系统,推理出对应的web日志格式,从而自动进行日志数据清洗,可以使得当下复杂海量web日志数据预处理更加高效,智能。首先,介绍了专家系统;其次,介绍了web日志数据一般的数据预处理流程;最后,结合专家系统对海量复杂的web日志数据进行数据预处理,并通过实验验证了该方法的可行性。     

基于数据库日志的变化数据捕获研究

变化数据捕获方法是数据集成基础设施的战略组成部分,不断推动ETL、EAI等技术的发展.许多数据库厂商都提供了自己的CDC(Change data capture)产品,但只限于针对本身的数据库系统,价格也比较昂贵.虽然通过扫描数据库日志文件可以捕获变化数据,但大多数数据库系统都不提供日志文件的内部格式而只是提供日志访问的程序接口,如Oracle,SQL Server和DB2等.这些提供的接口有的访问活动日志,有的访问稳定日志,有的访问归档日志,因此很难保证读取日志文件的可靠性.现有的研究主要是如何利用程序应用接口读取日志文件,忽略了对可靠性的分析.本文针对读取不同类型的日志文件的可靠性条件进行了分析,提出了可靠读取规则及读取算法;并提出了从日志文件中有效抽取变化数据算法,实验证明了可靠性分析模型.     

一种基于虚拟日志的数据复制解决方案

本文从实际应用的角度出发,为数据库系统设计并实现了一种基于虚拟日志的高可用性的复制解决方案。采用一主多从模式（Single Master,Multi Slaves）,使用异步分发技术,实行延迟远程存取和延迟传播技术对数据进行更新,提供跨平台支持。针对具有自主知识产权的国产大型数据库系统KingbaseES具体实现了该复制方案,从而提供了一个现实的、可扩展的复制系统框架。它能够提供稳定的数据复制,可用性高、准时复制、响应时间短,在及时同步业务数据、灾难备份恢复、改善决策支持系统等许多关键服务中有很高的应用前景。     

基于控制流数据保护的缓冲区溢出防御方法

根据栈缓冲区溢出的基本原理,介绍了三种缓冲区溢出攻击的基本模式,分析了现有的动态防御方法所存在的优缺点。以此为基础,提出了一种基于控制流相关数据保护的栈缓冲区溢出动态防御方法,引入了加密机制,有效地防御攻击者对保护数据的篡改。设计并实现了针对目标文件为对象的二进制文件重构工具,通过理论分析和实验表明该方法能够极大概率防御各种缓冲区溢出攻击。     

基于MFP算法的Web日志挖掘技术的研究

为了更加合理地组织Web服务器的结构,需要通过Web日志挖掘分析用户的访问模式.数据预处理和日志挖掘算法是Web日志挖掘中的关键技术.文章就此进行了深入的研究,在已知用户访问路径的基础上,提出一种基于MFP算法的日志挖掘算法,并结合实例具体介绍了该算法的执行过程.     

基于数据仓库的工作流日志更新*

为了对日志统一管理, 引入了数据仓库技术,聚合了来自不同数据源的日志数据, 并对工作流日志进行一系列更新处理后使之变成有规律的信息,工作流挖掘便利用更新后的日志信息进行分析建模,极大地提高了工作效率.     

基于数据仓库的Web日志挖掘技术研究

Web日志挖掘是目前Web挖掘研究的一个重点.针对Web日志挖掘中存在的问题,给出了基于数据仓库技术的Web日志挖掘方案,就数据预处理、数据立方体设计及数据挖掘技术的应用进行了较为深入的探讨.并以一个Web站点日志为例,详细阐述了Web日志数据预处理、Web日志立方体设计以及数据挖掘算法的实现过程,并实现了一个Web日志多维数据集,能够有效解决Web日志分析中的难题.     

基于Web日志挖掘的网页实时推荐算法研究

网页在线实时推荐是网络个性化服务的重要内容,基于Web日志的网页实时推荐有助于提高检索效率、缓解网络拥塞,提高网站吸引力.该算法通过将用户会话处理成数字序列以体现用户访问路径的先后顺序,利用动态矩阵和滑动窗简化了路径相似度计算;算法只扫描一遍日志,可以进一步提高实时响应速度.该算法在考虑用户访问路径的先后顺序和简化推荐机制的基础上,提出了会话编码和动态矩阵的概念,利用其在推荐中可以兼顾满意度和实时性,同时实时性不受日志增加的影响.试验结果表明,该算法在兼顾满意度的基础上可以大幅提高推荐的实时性,具有实际应用价值.     

基于shellcode检测的缓冲区溢出攻击防御技术研究

缓冲区溢出攻击对计算机和网络安全构成极大威胁。从缓冲区溢出攻击原理和shellcode实现方式出发，提出针对shellcode的溢出攻击防御技术。描述shellcode获取控制权前后，从代码特点、跳转方式及shellcode恶意功能实现过程等方面入手，检测并阻止shellcode以对抗溢出攻击的几种技术。最后对这些技术的优缺点进行比较分析，指出其中较为优秀的方法，并就更全面提高系统安全性提出了一些建议。     

基于多维Fuzzing的缓冲区溢出漏洞挖掘技术研究*

缓冲区溢出漏洞一直是计算机安全威胁中最为严重的漏洞之一,在黑客发现利用前检测出漏洞并及时修复极为重要;基于多维Fuzzing设计和实现了一种缓冲区溢出漏洞挖掘模型MFBOF,应用输入样本结构知识、结合静态二进制分析技术和动态输入/输出测试技术,运用自适应模拟退火遗传算法生成测试用例进行测试,并以挖掘Libpng的漏洞为实例说明了该模型的有效性;最后,提出了模型需要优化的地方和下一步研究方向。     

缓存区溢出研究与发展

为检测出缓存区溢出的发生和预防攻击者利用缓存区溢出漏洞进行攻击,研究人员提出了各种各样的检测和预防技术.首先介绍了缓存区溢出的四种攻击方式,将主流的缓存区溢出检测和预防技术进行了分类,介绍了每一类的原理、发展历程和优缺点;然后对这些检测和预防技术进行了综合讨论;最后对缓存区溢出检测和预防技术的未来发展趋势进行了分析与预测.     

基于日志的数据恢复及其在Oracle中的实现

在信息系统的工程实践中,数据库出现故障后的数据恢复是一项复杂的技术问题。从事务处理和事务日志的角度阐述了数据恢复的基本方法,并特别指出了实现完全数据恢复的技术途径和实施策略,同时结合Oracle数据库系统解剖了一个典型的数据恢复范例。研究结果表明,利用事务日志可以实现无数据丢失的完全恢复。     

Accurate and efficient follower log repair for Raft-replicated database systems

State machine replication has been widely used in modern cluster-based database systems. Most commonly deployed configurations adopt the Raft-like consensus protocol, which has a single strong leader which replicates the log to other followers. Since the followers can handle read requests and many real workloads are usually read-intensive, the recovery speed of a crashed follower may significantly impact on the throughput. Different from traditional database recovery, the recovering follower needs to repair its local log first. Original Raft protocol takes many network round trips to do log comparison between leader and the crashed follower. To reduce network round trips, an optimization method is to truncate the follower’s uncertain log entries behind the latest local commit point, and then to directly fetch all committed log entries from the leader in one round trip. However, if the commit point is not persisted, the recovering follower has to get the whole log from the leader. In this paper, we propose an accurate and efficient log repair (AELR) algorithm for follower recovery. AELR is more robust and resilient to follower failure, and it only needs one network round trip to fetch the least number of log entries for follower recovery. This approach is implemented in the open source database system OceanBase. We experimentally show that the system adopting AELR has a good performance in terms of recovery time.