SuperLLEC：全新的链读和长读测序组装纠错算法

为了解决第三代测序数据较高的错误率和提高基因组组装精度,基于10X Genomics链读测序数据设计了一种针对PacBio长读数据的组装和纠错算法SuperLLEC。该算法使用Wtdbg2算法将PacBio长读测序数据拼接成支架序列,运用Bowtie2比对工具将链读序列比对到支架序列,并根据链读条码进一步组装支架序列;对不匹配的比对位点采用Fisher精确检验预测该位点为单核酸多态性或是PacBio测序错误的碱基。通过三组人类细胞的长读数据和链读数据的算法比较实验,证明该方法能够较明显地提高基因组组装的准确度、NG50长度和单核酸多态性位点预测精度。     

基于Agent的分布仿真中的时间同步机制

介绍了基于Agent的分布仿真平台ADSimE中采用的时间同步机制——保守策略和乐观策略,即在该平台中的节点内部采用保守策略,而在节点之间采用乐观策略,这样可提高仿真平台时间推进的性能。给出了两种同步机制的基本原理,重点阐述了保守策略仿真Agent类和乐观策略仿真Agent类的设计及处理流程。     

一种基于移动Agent的RTI通信机制研究

该文针对目前RTI通信机制存在的通信效率低、系统可重用性差等问题,提出了一种基于移动Agent的RTI通信机制。该通信机制采用人工智能技术,使仿真中数据交互过程由“别人提供”变为“自己提取”模式,简化了联邦成员间的数据交互协议,提高了联邦成员的可重用性和相对独立性。该文还给出了移动Agent的实现策略,提出在通用移动A-gent的基础上构造通信移动Agent的思路。     

基于Agent的RTI通信机制的研究及实现

传统的Agent通信通常是采用基于远程过程调用方法和基于CORBA中间件方法,但这些方法的使用都存在很多限制条件,如仅限于客户/服务器模式,不适合Agent之间频繁对话的要求等,研究及实现了一种新的基于Agent的RTI通信机制,相对于传统方法,该机制具有更大的灵活性.同时采用并行策略处理基于Agent的通信连接,采用移动策略处理大数据量通信,并给出了相应的性能分析和实验结果.     

基于策略的MAS信任评价机制

Agent自主性促使不同Agent可能采用不同信任评价机制,传统单一信任评价机制不再适合MAS中信任的确定.针对该问题,提出了基于策略的信任评价机制.在该机制中,Agent根据自身意图确定信任策略,用信任策略分析协作信息,得到特定于策略的信任.仿真实验表明,该信任评价机制较传统信任评价机制更适于MAS.     

多Agent自动协商的公平性研究

为了能够快速、高效地进行Agent协商,构建一个优化的多Agent协商模型。在这个模型的基础上,提出了一个基于协商各方公平性的协商学习算法。算法采用基于满意度的思想评估协商对手的提议,根据对方Agent协商历史及本次协商交互信息,通过在线学习机制预测对方Agent协商策略,动态得出协商妥协度并向对方提出还价提议。最后,通过买卖协商仿真实验验证了该算法的收敛性,表明基于该算法的模型工作的高效性、公平性。     

一种适用于Internet的实时多Agent系统模型

提出了一种基于Agent to Agent架构的,适用于Internet环境的实时多Agent系统模型。重点阐述了该模型中Agent之间的协作方式、调度策略和任务执行的控制策略,并介绍了采用的实时Agent通信语言和通信机制。     

一种基于立体式Agent的分布式入侵检测系统

提出了一种基于立体式Agent的分布式入侵检测系统的模型。该模型是一种开放的结构,具有很好的扩充性,采用了有中心控制能力的模块和有一定独立控制和处理能力的并行Agent的检测单元,并能跟踪入侵的信息,对其行为进行裁定和处理。同时采用了一定的状态检测机制和数据签名策略,保证了Agent的自身和通信的安全。     

移动Agent位置定位机制在网络管理中的应用研究

位置定位机制是研究移动Agent的基本问题之一.然而现有的移动Agent定位方法中并不存在一种可扩展性的定位机制,较少从基于移动Agent技术的网络管理系统(NMS)的实际出发,考虑这种机制对于该系统的适用性.在已有的各种移动Agent位置定位方法的基础上进行研究和改进,找到一种比较适合NMS的定位方法,并给出了理论上的分析.实验结果表明,新的定位机制能有效改善网络中由于移动Agent定位导致的网络瓶颈问题,提高了网络的性能.     

基于演化博弈惩罚机制的多智能体协作稳定性研究

针对复杂、动态环境中多Agent协作的稳定性问题,提出了一种基于博弈论及惩罚机制的协作方法,通过效用函数来选择最优策略,实现均衡协作;为了提高协作的稳定性与成功率,引入惩罚机制,通过不断调整惩罚系数来维护多Agent协作的稳定性,并在形成协作团队时,充分考虑参与协作的Agent的信誉值。仿真结果表明,该方法能有效地降低任务完成时间,避免Agent在动态协作中随意退出,提高协作效率及协作稳定性。     

一种分布式实时数据系统中的基于动态索引策略的存取定位机制

提出一种分布式实时数据系统中的基于动态索引策略的存取定位机制.该机制结合了改进的一致性哈希算法与“虚拟Token空间”机制.在该机制基础上,针对流程工业领域测点数据的特征和需求,用大量的廉价服务器实现了实时性高、吞吐量大、可扩展性好的分布式实时数据库系统.该数据库系统具有测点数据写入位置的自寻找、服务器集群内部状态变更时测点数据位置的自切换、数据查询的自优化、服务器负载自均衡等优势.该系统封装了分布式系统的各种瓶颈问题,使用户不需要关心系统内部的机制,可以像使用单体数据库系统一样直接向系统读写数据,而该系统性能又是单体数据库的叠加.通过在原型系统中测试验证,结果表明该机制能够达到设计预期目标和性能要求.     

一致性哈希的数据集群存储优化策略研究

结合虚拟节点技术和均分存储区域技术,提出了嵌套循环式数据一致性哈希优化分布式集群存储的多副本放置策略．按照此优化策略,能够有序选择数据副本机架,确定数据节点存储位置,保证数据存储的均衡性分布,可以针对集群的实际要求开展扩展,并按照扩展情况制定使数据存储完成自适应优化调整,加快数据处理的速度．有效实验表明存储优化后算例的执行速度得到很大提升,能够保证解决负载均衡问题;而针对实际情况中可能出现的扩展与删减问题进行测试后表明,使用优化存储策略处理此类问题时,振荡对整体负载均衡影响不大,且执行时间与负载占比变化趋势一致.     

Network and data location aware approach for simultaneous job scheduling and data replication in large-scale data grid environments

Data Grid integrates graphically distributed resources for solving data intensive scientific applications. Effective scheduling in Grid can reduce the amount of data transferred among nodes by submitting a job to a node, where most of the requested data files are available. Scheduling is a traditional problem in parallel and distributed system. However, due to special issues and goals of Grid, traditional approach is not effective in this environment any more. Therefore, it is necessary to propose methods specialized for this kind of parallel and distributed system. Another solution is to use a data replication strategy to create multiple copies of files and store them in convenient locations to shorten file access times. To utilize the above two concepts, in this paper we develop a job scheduling policy, called hierarchical job scheduling strategy (HJSS), and a dynamic data replication strategy, called advanced dynamic hierarchical replication strategy (ADHRS), to improve the data access efficiencies in a hierarchical Data Grid. HJSS uses hierarchical scheduling to reduce the search time for an appropriate computing node. It considers network characteristics, number of jobs waiting in queue, file locations, and disk read speed of storage drive at data sources. Moreover, due to the limited storage capacity, a good replica replacement algorithm is needed. We present a novel replacement strategy which deletes files in two steps when free space is not enough for the new replica: first, it deletes those files with minimum time for transferring. Second, if space is still insufficient then it considers the last time the replica was requested, number of access, size of replica and file transfer time. The simulation results show that our proposed algorithm has better performance in comparison with other algorithms in terms of job execution time, number of intercommunications, number of replications, hit ratio, computing resource usage and storage usage.     

多层一致性哈希的HDFS副本放置策略

分布式文件系统HDFS采用机架感知的副本放置策略在一定程度上保证了数据的可靠性,但系统运行一段时间后会出现数据分布不均衡的情况.虽然使用Balancer程序可以对数据进行重分布,但对数据存储不均衡处理的后置性影响了系统的数据读取速率和可靠性.采用多层一致性哈希的副本放置策略,首先通过一致性哈希算法获得数据副本对应的机架位置,再通过一致性哈希算法获得该机架下对应的数据节点位置并最终成为存储位置.一致性哈希算法在查找对应位置的过程中采用地址等分和虚拟节点的技术,提高了查找的效率和分布的均衡性.该策略在数据均衡存储、上传速率方面较原有策略都有很大的提高,并且具有数据自适应性的能力.     

ROARS: a robust object archival system for data intensive scientific computing

As scientific research becomes more data intensive, there is an increasing need for scalable, reliable, and high performance storage systems. Such data repositories must provide both data archival services and rich metadata, and cleanly integrate with large scale computing resources. ROARS is a hybrid approach to distributed storage that provides both large, robust, scalable storage and efficient rich metadata queries for scientific applications. In this paper, we present the design and implementation of ROARS, focusing primarily on the challenge of maintaining data integrity across long time scales. We evaluate the performance of ROARS on a storage cluster, comparing to the Hadoop distributed file system and a centralized file server. We observe that ROARS has read and write performance that scales with the number of storage nodes, and integrity checking that scales with the size of the largest node. We demonstrate the ability of ROARS to function correctly through multiple system failures and reconfigurations. ROARS has been in production use for over three years as the primary data repository for a biometrics research lab at the University of Notre Dame.     

一类高效的数据库系统安全存储策略研究

针对云存储环境下多副本方案存储效率低下的问题,设计了一种高效的数据安全存储策略;该策略采用了并行思想,设计了高效的数据同步存储算法;该算法将用户的存储请求同时转发给多个工作者,由这多个工作者同时向每个副本服务器写入数据;该策略将云端设计为整体协调、并行处理模式,即多个工作者由管理者统一分配调度,各个工作者独立地服务于对应的副本存储服务器,由管理者与用户进行交互处理,并且这多个工作者对用户来说是透明的,该设计模式并没有增加用户使用云存储的复杂度;实验结果表明,提出的数据安全存储策略在保证副本冗余的情况下可以有效地降低额外的时间损耗,保证用户读写云端数据的效率不低于单副本情况下的效率;该方案用于云存储环境下高效的数据安全存储是可行的、有效的。     

基于一致性树分布的数据分布式存储方法

随着云计算和大数据技术的发展,传统的单一存储介质的数据存储方式已经不能满足大数据处理的需求,在这样的背景下,分布式数据存储得到了广泛的应用。然而,目前存在的几种分布式存储方式并不能够完美地满足分布系统的需求。为了更有效地实现数据的分布式存储和冗余备份,采用一种新的基于一致性树分布(CTD)的分布式存储方法,并提出基于该方法的备份策略,实现数据索引与存储位置的映射。该方案具有负载平衡、无单点故障问题、扩展性高且易于实现的优点。同时提出了基于一致性二叉树分布(CBTD)的应用方案。通过对应用系统实例的分析,验证该方法能够很好地满足分布式系统的数据平衡、负载均衡和扩展性需求。     

Combination of data replication and scheduling algorithm for improving data availability in Data Grids

Data Grid is a geographically distributed environment that deals with large-scale data-intensive applications. Effective scheduling in Grid can reduce the amount of data transferred among nodes by submitting a job to a node, where most of the requested data files are available. Data replication is another key optimization technique for reducing access latency and managing large data by storing data in a wisely manner. In this paper two algorithms are proposed, first a novel job scheduling algorithm called Combined Scheduling Strategy (CSS) that uses hierarchical scheduling to reduce the search time for an appropriate computing node. It considers the number of jobs waiting in queue, the location of required data for the job and the computing capacity of sites. Second a dynamic data replication strategy, called the Modified Dynamic Hierarchical Replication Algorithm (MDHRA) that improves file access time. This strategy is an enhanced version of Dynamic Hierarchical Replication (DHR) strategy. Data replication should be used wisely because the storage capacity of each Grid site is limited. Thus, it is important to design an effective strategy for the replication replacement. MDHRA replaces replicas based on the last time the replica was requested, number of access, and size of replica. It selects the best replica location from among the many replicas based on response time that can be determined by considering the data transfer time, the storage access latency, the replica requests that waiting in the storage queue and the distance between nodes. The simulation results demonstrate the proposed replication and scheduling strategies give better performance compared to the other algorithms.     

异构存储感知的Ceph存储系统数据放置方法

Ceph分布式存储系统正成为广泛使用的开源云环境存储解决方案。异构存储如果应用有效的数据管理策略,则能够在保持低成本的同时提供大容量和高性能存储。在Ceph中使用异构存储设备不能有效发挥异构存储设备的性能,由于数据的多个副本可以存放到不同的存储介质中,因此不同的副本组合的性能和成本都不一样。针对Ceph提出一种面向异构存储的数据放置方法,通过划分多种不同的副本组合,根据数据热度和读写比例将不同的数据放到不同的副本组合上,在提升系统性能的同时有效地控制了系统容量成本。     

面向费用优化的云存储缓存策略

为提高云存储的访问速率并降低费用,提出了一种面向费用优化的云存储缓存策略。利用几乎免费的局域网环境下的多台桌面计算机,在本地建立一个分布式文件系统,并将其作为远端云存储的缓存。进行文件读取时,首先查找其是否在缓存中,若存在则直接从缓存读取;若不存在则从远端云存储读取。采用了最近最少使用(LRU)算法进行缓存替换,将冷门数据从缓存中替换掉。以亚马逊简单存储服务(S3)作为远端的云存储服务,对原型系统进行了简单的性能测试。测试结果表明,使用了所提出的缓存策略后,在降低费用的同时能够显著提高文件读取的速度。