基于日志副本的Raft共识算法优化

在基于三副本策略的分布式存储系统中,当存储节点上的硬盘出现故障时,常见的处理方式是等待系统预设的时间.如果该故障硬盘超时未恢复,才开始恢复故障硬盘上的副本.这种处理方式存在的问题是,当三副本组中存在故障副本时,如果该副本组再有一个副本所在的硬盘发生故障,将导致系统无法继续提供服务,且不能自动恢复.本文提出一种基于日志副本的改进的Raft共识算法,即LR-Raft(log replica based Raft),日志副本没有完整状态机,可以快速加入集群,并参与投票与共识,提升了存在故障硬盘时系统的可用性;可以解决短时间内三副本中两个副本故障导致集群不可用和丢失数据的问题.实验结果表明,在副本组中引入日志副本后,与原Raft相比,LR-Raft在不同的工作负载下读写时延均明显降低,吞吐量显著提升.     

基于日志数据的局域底层软件运行故障定位

传统的软件故障定位方法定位耗时过长,且定位准确率较低.为此,研究基于日志数据设计了一种新的局域底层软件运行故障定位方法.首先基于日志数据采集局域底层软件运行信息,通过设计线程函数运算程序采集系统日志、防火墙日志以及网络访问日志数据.在明确日志数据之间的关联度后得到映射矩阵,然后根据检测参数确定运行周期,在相关性处理后构...     

基于数据块的关系数据库日志挖掘技术

在关系型数据库中数据库通过Redo日志来实现事物的快速提交,并记录事物的操作过程与操作内容.通过对Redo日志的分析与变化数据内容的捕获,将变化数据传送到灾备端,并在灾备端实现变化数据的写入,是目前数据库复制最主要实现原理.本文分析了oralce数据库Redo日志文件结构,阐述了日志文件头标志位信息.结合Redo 日志文件头定位分析技术,给出了一种基于数据块的数据库Redo日志挖掘算法.通过测试分析,验证了该Redo日志挖掘技术的可行性与可靠性.最后展望了下一步的研究方向.     

基于虚拟日志压缩的数据同步方案

在基于虚拟日志的数据同步中,当主库端存在对同一记录的频繁修改时,庞大的虚拟日志记录会影响整个数据同步效率。针对该问题,提出一种基于虚拟日志压缩的数据同步方案。虚拟日志压缩通过计算合并日志记录,只保留与数据同步相关的日志信息,从而减少网络数据流量,提高数据同步效率。实验结果表明,该方法适合广域网异构数据库的异步数据同步。     

配电网故障快速定位系统研究

提出了一种配电网故障快速定位系统的设计方案。该系统采用柱上故障监测终端识别故障,采用控制主站定位故障区段,两者通过GPRS通信管理机交换数据;采用过流速断法识别短路故障,采用全电流法识别接地故障;针对故障信息缺失及畸变情况,采用三态标识法对传统故障区段定位算法进行改进。仿真结果表明,在故障信息缺失和畸变的情况下,改进的故障区段定位算法可准确定位故障,容错性高。     

集群数据库系统的日志复制和故障恢复

互联网、社交、购物、金融等各类应用直接面临海量用户的高并发访问,传统的单点数据库逐渐成为这些应用系统的瓶颈,而众多互联网应用能够良好运行的主要原因是使用了基于集群环境的数据管理系统作支撑。与传统数据库系统相比,基于集群环境的数据库系统具有更好的扩展性和可用性,而日志复制是保证这些特性的核心组件。传统的主备架构的日志复制在异常情况下对未决事务日志处理不佳,导致数据副本之间存在不一致的风险,另外,分布式系统领域的一致性算法缺乏对事务一致性的处理,而且在选主时存在活锁、多主和频繁选主的问题,无法直接适用于事务日志复制。本文提出了一种集群环境下的事务日志复制策略和恢复机制,能够有效处理未提交日志,提供了强弱两种读一致性,并且提出了一种轻量级的选主算法,可以避免以上的选主问题。本文在开源OceanBase分布式数据库系统中实现了上述机制,并使用基准测试工具对系统进行测试,通过一系列实验验证了系统的扩展性和可用性。     

井下电缆故障定位系统的软件设计

以三相电缆真故障点的计算公式为基础，设计出电缆故障定位系统的软件程序。使电缆真故障距离的计算公式得到了实际应用，实验结果证明本文设计的系统，工作稳定可靠，提高了电缆故障定位精度，具有很好的实际应用前景，发展了电缆故障定位技术。     

虚拟化环境下的安全

从虚拟化定义入手,重点讨论了虚拟化环境下的安全威胁和脆弱性,给出了虚拟化环境下的安全对策。最后简要介绍了虚拟化安全产品的实现机制和功能需求。     

一种提升细粒度日志解析准确度的方法

目前大多数系统日志存在不同比例的细粒度日志,现有的日志解析器无法正确解析这些日志,导致整体解析准确度不高的问题.为了提升日志解析的整体准确度,加快日志解析过程,解决长度可变的及含有状态变量的细粒度日志错误分类的问题,本文提出了结合日志的常量令牌长度特征的决策树日志解析模型(CLDT).模型主要包括数据预处理、决策树搜索...     

基于决策树与扩展相关性矩阵的故障诊断方法

故障诊断的准确性直接影响维修的时间与费用,目前,电子产品故障诊断中多采用相关性矩阵的方法,用0/1逻辑构建诊断知识实现诊断,该方法无法充分利用测试信息,影响了故障隔离能力。因此,针对该问题,将莱特准则引入相关性矩阵的构建中,运用多值编码代替0/1编码,构建了一种新的相关性矩阵,以矩阵中的不同测点信息作为决策树的输入,以信息增益为特征优选原则,优选了测试点,构建了诊断决策树模型,给出了故障诊断策略。该方法提高了故障隔离能力,诊断过程更符合实际需求。利用上述方法,以电源模块为对象,进行了案例应用,通过故障注入实验的方式,验证了该方法的有效性,结果表明,通过文中的方法所得的故障隔离率指标优于基于传统相关性矩阵(D矩阵)的方法。     

基于知识依赖的决策树生成算法的研究

本文对利用数据挖掘技术解决大数据量的处理问题进行了较深入的研究,基于粗糙集理论提出了基于知识依赖的属性约简方法。该方法能够快速有效地找出真正影响决策的属 性。此外,又提出了以知识依赖为启发规则的决策树生成方法。该方法预测精度高,计算简便。     

基于图挖掘和决策树的软件故障定位研究

对于非崩溃的错误,测试人员往往花费大量的时间才能发现。为了快速准确地定位这类错误,降低软件开发成本,提高软件质量,提出一种辅助定位非崩溃错误的方法。该方法通过收集程序的执行轨迹信息,构造出程序调用图。提取频繁边,运用J48决策树算法,得到基于方法粒度的故障决策树,可辅助人员判定软件缺陷。通过实验与分析,进一步验证了该方法的有效性。     

故障树转化为二元决策树的算法研究

故障树分析法在实施过程中会遇到计算量大的问题;二元决策图是解决这个问题的一种新途径。故障树转化为二元决策图涉及的一个关键问题就是对基本事件的排序;但是基本事件排序是一个NP问题。为了解决这个问题提出了一个将故障树转化为二元决策图的启发式算法;此算法既避免了基本事件排序这个难题;同时又充分考虑了故障树的具体结构;使得到的二元决策图尽量的简单。     

基于决策树的个性化身份验证研究

身份认证是网络安全中一个重要问题,本文结合了Web日志挖掘和决策树分类这两方面的知识,提出了一种新的认证方式,个性化身份验证,在用户登陆系统后可以对其身份进行二次验证。     

量子逻辑电路中控制点失效错误的定位

确保可逆电路的正确性与可靠性,错误检测必不可少,错误定位难度更高.通过分析发现当可逆电路中规模为k的可逆门发生控制点失效时仅对2<'n-k>个输入向量的输出产生影响,据此给出了一种把当前错误集分成若干个子集的方法生成控制点失效错误定位树.传统的错误定位方法都是通过生成真值表和错误表来产生错误定位树;该方法不需要生成和存储真值表以及错误表就能够有效定位电路中控制点失效错误.与Rfault算法相比,空间复杂度和时间复杂度更小,算法效率更高,能应用于更大规模的电路.     

综合故障树分析方法在容错计算机系统中的应用

该文运用二元决策图（Binary Decision Diagram）分析传统的静态故障树,运用Markov链分析新兴的动态故障树,由此形成一种创新性的故障诊断方法：综合故障树（Integrated Fault Tree）分析法。综合故障树分析法运用分而治之的策略处理各种故障,不仅加深了故障诊断、分析的精度,同时也拓展了故障树分析法的运用领域。该文结合实例,运用综合故障树分析法解决容错计算机系统中动态时序特性的建模困难问题;分析结果表明,在容错计算机系统中运用此方法,可以有效地对系统建模和分析系统可靠性。     

Using Decision Trees to Construct a Practical Parser

This paper describes a novel and practical Japanese parser that uses decision trees. First, we construct a single decision tree to estimate modification probabilities; how one phrase tends to modify another. Next, we introduce a boosting algorithm in which several decision trees are constructed and then combined for probability estimation. The constructed parsers are evaluated using the EDR Japanese annotated corpus. The single-tree method significantly outperforms the conventional Japanese stochastic methods. Moreover, the boosted version of the parser is shown to have great advantages; (1) a better parsing accuracy than its single-tree counterpart for any amount of training data and (2) no over-fitting to data for various iterations. The presented parser, the first non-English stochastic parser with practical performance, should tighten the coupling between natural language processing and machine learning.     

一种新型的故障检测定位方法研究

针对大型复杂系统故障定位耗时长等问题,在分析故障树特征的基础上,改进了遗传算法,设计了基于故障树底事件的故障检测定位方法。该方法将顺序检测融入到改进的遗传算法检测当中,在工程应用领域体现了一定的优越性。仿真实验结果表明,该方法能够准确定位故障,有助于提高故障检测定位的效率。