基于之字形解码算法优化的高效低存储ZD码

ZD码(ZigZag-decodable codes)是基于之字形解码算法设计生成的一类纠删码, 它仅需要少量的计算即可修复存储系统中的故障数据, 但需要存储相对其他纠删码更多的冗余数据以保证系统的高可靠性. 为了降低ZD码产生的存储开销, 本文通过分析当前在存储系统中使用的之字形解码的思想, 提出了一种优化的之字形解码算法. 新的解码算法能够更充分利用校验数据中的信息来完成数据修复. 基于新的解码算法, 本文相应的提出了一种新的ZD码编码方案, 由于新算法更高的信息利用率, 新的编码方案能够用更少的存储开销来满足存储系统的高可靠性. 实验结果表明, 本文提出的ZD码编码方案具有最优的存储开销, 且编解码性能远高于目前广泛使用的RS码.     

用于体全息存储系统的调制-阵列码的设计与实现

为克服传统体全息存储系统在读出数据的处理过程中信息利用低的问题，提出了一种具有新的编码结构的改进调制码：调制－阵列码，它是一种调制码与纠错码紧密结合的编码技术。同时采用了与其相适应的软判度量方法。在此基础之上综合调制码探测，软判决，阵列码纠错和Turbo码译码原理，形成了一种新的迭代译码算法。初步实验结果表明：在信道信噪比较低且有起伏。信道噪声参数不好统计的情况下，它能充分利用输入信号所包含的信息，获得较好的解码结果。     

存储系统中的局部修复阵列码模型

对于单容错和双容错的存储系统,在磁盘修复过程中发生的任何故障都可能引起数据丢失,导致修复失败,保证数据的修复效率对于存储系统的可靠性至关重要。RDP码在进行单盘故障修复时使用混合恢复算法能减少25%的读取总量,但是在进行双盘故障修复时需读取所有的元素。针对目前难以同时提升单双盘故障修复效率的问题,对RDP码进行拓展,提出了一种具有局部修复性质的阵列码模型——DRDP码。DRDP码在RDP码的基础上将部分数据列按水平线进行异或计算生成局部水平校验列,并将其参与到全局校验列的编码计算中,从而缩短了修复链,使其拥有局部修复的功能。通过理论分析,DRDP码拥有良好的编译码复杂度和更新效率,大幅节省了单盘故障修复读取开销,并对双盘故障修复读取开销进行了优化,同时能修复75%三盘故障的情况。实验结果表明,与RDP码、LRRDP码和RDP(p,3)码相比,DRDP码的编码时间可节省8.23%～32.89%、单盘故障修复时间可节省7.08%～35.01%、双盘故障修复时间可节省5.07%～29.26%。     

分布式存储中基于局部修复码的负载均衡方法

针对分布式存储中热数据访问性能低下的问题,提出一种基于局部修复码（LRC）的负载均衡方法,采用编码的方式规避节点的集中式访问,并提高热数据的访问效率。首先,利用平衡不完全区组设计（BIBD）构造一类适用于小规模存储系统的特殊LRC,从而为编码数据提供多种访问方式;然后,分别基于里所（RS）码和随机阵列码将LRC推广到更大规模,并使它满足存储系统一定的容错需求;最后,提出一种热数据访问算法以降低热数据的访问压力,并结合合理的数据布局方案实现存储系统在高频访问场景下的负载均衡。理论分析和实验结果表明,所提方法能以极小的代价实现负载均衡,明显优于传统方法中利用多副本及最大距离可分（MDS）码实现的负载均衡方法,尤其是解决了因冷热数据访问不均带来的负载失衡问题,可以有效提高热数据存储系统的访问效率。     

一类精确修复多个节点的简单再生码

海量数据环境下要求存储系统具有高扩展性、高可靠性和低成本等特点。大规模存储系统的节点因数目巨大而易频繁失效,为保证节点的可用性,系统会利用冗余数据对失效节点进行修复。作为一种新的容错技术,再生码可有效降低分布式存储系统中失效节点修复时需要的下载数据量。基于简单再生码,为分布式存储系统设计一种新的编码方式。它不仅可容忍多个节点同时出错并进行修复,而且编码形式简单并具有较高的码率。     

RS柯西码编码算法改进研究

针对RS(Reed-Solomon)算法编码过程涉及有限域运算,复杂度高,效率低,运算代价难以被大规模分布式存储系统所接受等问题,提出了一种RS柯西码编码改进算法。该算法用贪心算法选取局部最优柯西矩阵,减少柯西码的计算量。同时,引入二进制矩阵替换柯西矩阵中的有限域元素进行阵列化,将有限域运算转换为异或运算,并对阵列进行运算优化,进一步减少计算量,增加柯西码的编码效率。根据仿真实验表明,改进后RS柯西码与通过遍历得到的最优柯西矩阵的柯西码相比,计算量更小,与编码效率著称的阵列码中的EVENODD码和STAR码相比,编码效率更高。并且具有类似阵列码性质,能够选择更简单高效的译码方法,在一定程度上提高解码效率。     

基于EVENODD码的单盘故障快速恢复算法

在基于EVENODD码的阵列存储系统中,考虑单个磁盘故障时的快速恢复问题,通过减少恢复过程中数据的读取量来减少恢复时间,提高数据存储的可靠性。理论上证明了对于任意单个磁盘的故障恢复,需要从系统中其他盘读取的数据量的下界,并设计出一种新的混合恢复算法,使得恢复过程中的数据读取量达到该理论下界。相比于传统恢复算法,混合恢复算法综合利用了EVENODD码的两类校验进行单盘恢复,能够有效地减少恢复时所需的数据读取量。实验结果表明混合恢复算法在恢复时间和磁盘访问时间方面相比于传统算法有明显的提高。     

基于节点共边的异构部分重复码构造

为了满足分布式存储系统的动态存储和异构存储, 本文提出一种基于节点共边的异构部分重复码(heterogeneous fractional repetition codes based on node common edge, HFRC-NCE)的构造算法. 具体地, 将MDS码编码后的数据块分为冷数据块和热数据块, 结...     

基于纠删码的细粒度云存储调度方案

针对云存储系统中数据获取时延长以及数据下载不稳定的问题,提出了一种基于存储节点负载信息和纠删码技术的调度方案。首先,利用纠删码对文件进行编码存储以降低每份数据拷贝的大小,同时利用多个线程并发下载以提高数据获取的速度;其次,通过分析大量存储节点的负载信息确定影响时延的性能指标并对现有的云存储系统架构进行优化,设计了一种基于负载信息的云存储调度算法LOAD-ALGORITHM;最后,利用开源项目OpenStack搭建了一个云计算平台,根据真实的用户请求数据在云平台上进行部署和测试。实验结果表明,相比于现有的工作,调度算法在数据获取时延方面最高能减少15%的平均时延,在数据下载稳定性方面最高能降低40%的时延波动。该调度方案在真实的云平台环境下能有效地提高数据获取速度和稳定性,降低数据获取时延,达到更好的用户体验。     

一种混合局部恢复码及Hitchhiker码的存储策略

我们正处于一个大数据的时代.如今一个分布式存储系统需要存放PB数量级数据的情况越来越常见.这些系统一般由普通商用组件构成,其出错率相对较高.由此,分布式存储系统需要保证数据的可靠性和可用性.多副本和纠删码是现在最为常用的技术.相比多副本技术,采用纠删码能在同等容错能力下大幅降低存储开销.然而,在进行数据恢复时,使用传统的纠删码(如Reed-Solomon码)会导致系统中产生大量的网络带宽消耗及磁盘读写操作,进而导致退化读延迟过高.注意到在系统中数据的访问频率呈Zipf分布,大多数数据访问只涉及到少量数据,而绝大多数数据的被访频率很低.根据这种数据访问的偏斜性,本文提出如下存储策略以解决采用纠删码的系统退化读延迟过高的问题:对被访频率高的热数据采用低恢复延迟的纠删码(如局部恢复码Local Reconstruction Code,LRC)进行编码,而对被访频率低的冷数据采用保证最小存储开销的纠删码(如Hitchhiker码)进行编码.由于热数据占据了绝大多数的数据访问,因此绝大多数的退化读也将应用在这些热数据上,这样这一策略就能在整个系统的角度获取低恢复开销的优势.同时,冷数据占据了系统绝大多数的数据量,且冷数据由保证最小存储开销的编码进行存储,因此这一策略的存储开销会很低.然而,对于混合存储策略而言,热数据可能会变冷,而冷数据也可能会变热,因此它需要配置一种编码切换过程.一个不恰当的编码切换过程会引起巨大的数据传输量,这是难以让人接受的.为了避免这一缺陷,本文提出了一种LRC和Hitchhiker码之间的高效切换算法.这一算法可以避免上述策略在部署时因冷热数据的转换出现系统瓶颈.在精心选取了两种编码并提出它们之间的高效切换算法后,本文提出的混合存储策略避免了现阶段其余混合存储策略的主要缺点.通过实验验证,此存储策略相较传统的Reed-Solomon码在退化读延迟方面降低了55.8%.在编码切换方面,切换延迟能分别降低为重新编码算法用时的13.4%及33.1%,且当数据从LRC切换为Hitchhiker码时(更为频繁出现的情况)的数据传输量能降至10%.     

代码缺陷与代码味道的自动探测与优化研究

为了实现代码缺陷与代码味道的自动探测与优化, 提升优化与重构的效率, 设计并开发了一套名为SCORT的源代码优化与重构工具。SCORT将源代码解析为抽象语法树, 再探测其中存在的代码缺陷和代码味道, 最后对缺陷和味道进行自动优化和重构。在SCORT中已经实现了对15种常见代码缺陷和六种常见代码味道的检测以及自动优化与重构, 提供了多种代码味道的自动重构算法, 且具有良好的可扩展性。通过对三个待测项目的探测和优化实验结果表明, 对于常见代码缺陷的探测和优化, SCORT的精确率、召回率和准确率均可达100%; 对于部分常见的代码味道, SCORT尚需进一步完善。SCORT有助于开发人员提高代码质量, 减少源代码中存在的缺陷和味道。     

Source code fragment summarization with small-scale crowdsourcing based features

Recent studies have applied different approaches for summarizing software artifacts, and yet very few efforts have been made in summarizing the source code fragments available on web. This paper investigates the feasibility of generating code fragment summaries by using supervised learning algorithms.We hire a crowd of ten individuals from the same work place to extract source code features on a corpus of 127 code fragments retrieved from Eclipse and Net- Beans Official frequently asked questions (FAQs). Human annotators suggest summary lines. Our machine learning algorithms produce better results with the precision of 82% and performstatistically better than existing code fragment classifiers. Evaluation of algorithms on several statistical measures endorses our result. This result is promising when employing mechanisms such as data-driven crowd enlistment improve the efficacy of existing code fragment classifiers.     

Partial dead code elimination on predicated code regions

This paper presents the design, implementation and experimental evaluation of a practical region‐based partial dead code elimination (PDE) algorithm on predicated code in the Open Research Compiler framework. Existing PDE algorithms are not applicable on predicated code due to the existence of if‐converted branches in the program. The proposed algorithm processes all PDE candidates in a worklist and considers their partial deadness using predicate partition graphs. Our algorithm operates uniformly on individual hyperblocks as well as regions comprising of basic blocks and hyperblocks. The result of applying our algorithm to a single‐entry multiple‐exit (SEME) region is optimal: partially dead code cannot be removed without changing the branching structure of the program or potentially introducing new predicate defining instructions. We present statistical evidence about the PDE opportunities in the 17 SPEC95 and SPEC00 integer benchmarks. Our algorithm achieves performance improvements in 12 out of the 17 benchmarks on an Itanium machine at small compilation overheads. Our results indicate that our algorithm can be used as a practical pass before instruction scheduling. Copyright © 2006 John Wiley & Sons, Ltd.     

基于MMTD的病毒特征代码检测算法

当今的病毒是多种多样的,为了有效应对这些众多的病毒,计算机病毒检测安全人员必须使得病毒检测算法具有智能性.病毒特征代码算法是一种常用的病毒检测算法,但该算法缺乏一定的智能性,因此本文将一些智能性算法在其算法上进行应用.MMTD算法和模拟退火算法是两种智能性算法,这两种算法将进一步增强病毒特征代码算法的智能性,因此本文提出的算法能够进一步提高目前病毒的检测的智能性.     

Concatenated hash code selection

An algorithm for selecting the concatenated hash code for partial-match or multiple-attribute retrieval in a hashing scheme is presented. The optimal code length for each attribute is determined with respect to a merit function. Two adjustment algorithms are then presented to find the optimal code length under the integer and nonnegative lower bound constraints. Finally, an algorithm is given for incremental expansion of the concatenated hash code in an extendible hashing scheme.This research was supported by the Defense Advanced Research Projects Agency under Contract MDA903-78-C-0293, and the National Science Foundation under Grant NCS78-05978.     

一种最优化链码指纹二值细化图像压缩编码

提出了一种适合于对线状结构的条形纹线二值图像进行压缩的最优化Freeman链码压缩算法——Freeman差分链码Huffman编码。与传统的Freeman链码相比,提出的压缩算法是基于Freeman链码、差分编码和Huffman编码的一种混和编码方式。通过理论分析和在指纹二值细化图上的实验结果证明,对于指纹二值细化图像,本算法优于现有的链码压缩二值图像的算法,针对于线状结构的条形纹线二值图像,本算法也优于其他压缩算法。其平均码长为1.7651bits,低于8方向Freeman链码或者Freeman差分链码的3bits的平均码长。     

基于码重分布的系统循环码识别方法

介绍系统循环码的定义及矩阵描述,分析其码重分布特性,根据向量间距离的概率定义码重分布距离,推导随机序列的理论码重分布概率,提出实际序列码重分布概率的估计方法和利用实际序列的码重分布概率和随机序列的理论码重分布概率之间的距离估计码组长度和起始点的方法,在此基础上利用高斯消元法估计生成矩阵和校验矩阵,并提出了在误码情况下的识别方法。最后并对不同长度的码进行仿真实验,结果表明文中方法能够在误码为10－3的情况下有效地识别中短码。     

Explaining code for publication

The computer science literature discusses code and algorithms extensively, but not always reliably. Tool support can help ensure integrity between code and explanation so that published papers are more reliable. A versatile, lightweight tool to support explaining code for publication is justified, described and compared with alternatives. The tool works with Java, C and similar languages, and provides support for publishing explanations of real code in LATEX, XML, HTML, etc. Copyright © 2003 John Wiley & Sons, Ltd.     

基于Turbo码的信息隐藏技术的研究

文章首先介绍了Turbo码的编码结构和用于Turbo码迭代译码的最大后验概率译码算法;然后提出了在几种不同方案下Turbo码的信息隐藏技术,对隐藏信息前后的译码效果进行了理论分析;最后通过实验对各种隐藏方案进行性能比较。     

基于感兴趣区域和RS编码机制的QR码美化算法

针对已有QR码美化方法没有考虑背景图像的感兴趣区域,进而影响美化效果的问题,提出基于感兴趣区域和RS编码机制的QR码美化算法。首先提出改进的基于多特征感兴趣区域检测算法,进而用此方法得到背景图的显著二值图。其次,将原始QR码利用RS编码矩阵进行异或操作得到中间QR码,该QR码和背景图的显著二值图完全一致;然后,将背景图像和中间QR码按照特定的融合策略进行融合。最后,将融合图再次利用RS纠错机制进一步扩大美化区域,得到最终的美化QR码图像。在测试样本集上的实验表明:所提算法可以实现完整的背景替换,保存更多的图像信息,具有较好的视觉效果和较高的解码率。