一种新的网络对象存储设备研究

Internet的飞速发展对于存储系统的可扩展性提出了很高的要求,也带来了由数据模型与存储模型的不一致问题引起的服务器性能瓶颈现象.针对这些情况,本文提出了网络对象附属存储设备(NAOSD)的概念,其利用设备处理器的能力直接支持结构化数据存储.这一设计减少了存储系统中数据服务器的负载,增加了系统吞吐量.同时,研究了该设备原型在集群环境中的应用,提出了数据/元数据统一存储与查询式数据定位机制.分析表明,这些机制能够较显著地提高系统扩展性——数据访问时间随系统规模的扩大呈对数增长,优于传统的映射定位机制.我们已经模拟实现了NAOSD,并在性能比较测试中取得了较好的效果.     

PARLOG顺序编译实现技术

PARLOG语言是一种并行逻辑程序设计语言。其关系定义分为单解关系和所有解关系。本文着重讨论PARLOG单解关系基于与/或树模型和进程调度方法的顺序编译实现技术。     

Granularity Analysis for Exploiting Adaptive Parallelism of Declarative Programs on Multiprocessors

1IntroductionAutomaticparallelexecutionofdeclarativelanguageprograms(e.g.functionprogramsandlogicprograms)isattractive,asitmakestheuseofparallelcomputersveryeasy,andtheprogrammerneednotbeconcernedwiththespecificsoftheunderlyingparallelarchitecture.However,ifseveralprocessorsareexecutingconcurrently,exploitingadaptiveparallelismishardduetonon-determinismoftaskgranularityanddatadependenciesamongtasks.TheearlysolutionproposedbyConeryandKibler[2]usesanorderingalgorithmtodeterminedependenciesatrun…     

OpenMDSP: Extending OpenMP to Program Multi-Core DSPs

Abstract Multi-core digital signal processors （DSPs） are widely used in wireless telecommunication, core network transcoding, industrial control, and audio/video processing technologies, among others. In comparison with general-purpose multi-processors, multi-core DSPs normally have a more complex memory hierarchy, such as on-chip core-local memory and non-cache-coherent shared memory. As a result, efficient multi-core DSP applications are very difficult to write. The current approach used to program multi-core DSPs is based on proprietary vendor software development kits （SDKs）, which only provide low-level, non-portable primitives. While it is acceptable to write coarse-grained task-level parallel code with these SDKs, writing fine-grained data parallel code with SDKs is a very tedious and error-prone approach. We believe that it is desirable to possess a high-level and portable parallel programming model for multi-core DSPs. In this paper, we propose OpenMDSP, an extension of OpenMP designed for multi-core DSPs. The goal of OpenMDSP is to fill the gap between the OpenMP memory model and the memory hierarchy of multi-core DSPs. We propose three classes of directives in OpenMDSP, including 1） data placement directives that allow programmers to control the placement of global variables conveniently, 2） distributed array directives that divide a whole array into sections and promote the sections into core-local memory to improve performance, and 3） stream access directives that promote big arrays into core-local memory section by section during parallel loop processing while hiding the latency of data movement by the direct memory access （DMA） of a DSP. We implement the compiler and runtime system for OpenMDSP on PreeScale MSC8156. The benchmarking results show that seven of nine benchmarks achieve a speedup of more than a factor of 5 when using six threads.     

大数据流式计算：关键技术及系统实例

大数据计算主要有批量计算和流式计算两种形态,目前,关于大数据批量计算系统的研究和讨论相对充分,而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域中流式大数据所呈现出的实时性、易失性、突发性、无序性、无限性等特征,给出了理想的大数据流式计算系统在系统结构、数据传输、应用接口、高可用技术等方面应该具有的关键技术特征,论述并对比了已有的大数据流式计算系统的典型实例,最后阐述了大数据流式计算系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面所面临的技术挑战.     

采用数据流图的故障模型生成算法及其应用

为有效地解决系统级故障注入试验建模困难问题,提出语言级生成数据流图,并以此构造动态故障树的故障模型建立方法.通过对故障过程数据流分析,找出数据依赖关系并构造了故障模型生成算法.与其他方法比较,本算法具有动态性,提高了故障覆盖率,减少了系统开销,使故障注入试验更易实现.     

大数据处理模式——系统结构,方法以及发展趋势

近年来,大数据处理的相关理论以及技术越来越受到工业界和学术界的重视.一方面,在科学研究过程中产生了大量的数据,对于数据的理解成为进行科学研究的一个重要手段.另一方面,随着信息技术的不断发展,企业在信息化过程中积累了大量的结构化和非结构化数据.企业管理与运营的这些数据已经成为企业的核心资产,深刻地影响着企业的业务模式,给企业决策、组织和业务流程带来显著的变化.因此,大数据处理的相关技术也受到工业界的极大关注.依据数据处理的时间特征,大数据处理模式可以分为"离线批处理式数据处理","查询式数据处理"以及"实时式数据处理"三种模式.本文从技术角度,总结了大数据处理的总体架构,并针对处理模式的不同,对大数据处理的不同层次进行展开讨论.大数据处理的基础是数据的存储,本文首先对大数据的存储展开一定的讨论,之后对上述三种模式展开叙述,使得读者能够对大数据系统的构建方面有一个初步的了解.     

基于P2P的Web搜索技术

Web搜索引擎已经成为人们从海量Web信息中快速找到所需信息的重要工具,随着Web数据量的爆炸性增长,传统的集中式搜索引擎已经越来越不能满足人们不断增长的信息获取需求.随着对等网络(peer-to-peer,简称P2P)技术的快速发展,人们提出了基于P2P的Web搜索技术并迅速成为研究热点.研究的目的是对现有的基于P2P的Web搜索技术进行总结,以期为进一步研究指明方向.首先分析了基于P2P的Web搜索面临的诸多挑战;然后重点总结分析了基于P2P的Web搜索的各项关键技术的研究现状,包括系统拓扑结构、数据存放策略、查询路由机制、索引切分策略、数据集选择、相关性排序、网页收集方法等;最后对已有的3个较有特色的基于P2P的Web搜索原型系统进行了介绍.     

程序脆弱性发现中的测试数据生成方法研究

为有效产生程序测试数据,提高Fuzzing测试数据的生成效率和测试覆盖率的问题,提出了一种新的Fuzzing测试数据生成算法--H-Fuzzing.其主要思想是通过程序静态分析结果和动态运行属性,收集程序关键分支谓词的相关信息,得到其与输入变量之间的关联关系,进而指导测试数据算法的收缩,达到能够在少量的随机输入产生过程中得到较高的测试覆盖率的目的.     

一种面向大规模存储系统的数据副本映射算法

提出一种适应动态环境、无需数据映射表的多副本数据对象映射算法.该算法引入节点权重,借鉴一致性Hash技术,使得海量的数据对象按照节点服务能力在各存储节点间均匀分布;当存储节点个数发生变化时,数据依然在节点间均匀分布,且数据迁移量接近理论下限;只需维护少量数据即可计算得到数据布局,从而有效提高了系统的可扩展性.测试结果表明,算法可使所有节点分配对象个数与理论值偏差小于5%,节点个数变化时移动数据数量与理论下限偏差小于1%.