网格环境中数据统一访问的设计和实现

网格中汇集了大量分布、异构、多管理域的数据资源,使得网格用户对数据的访问变得非常复杂,必须为用户提供行之有效的方法,实现方便、高效、透明、统一的数据访问。本文描述了基于操作系统之上的文件层面的数据统一访问实现方法。这种方法采用虚拟数据集的机制将汇聚在网格中的存储系统抽象成一个虚拟一体化系统,实现了网格数数据的统一视图和一种网格环境中的数据统一访问方法。     

一个基于面向对象模型的并行翻译器

本文介绍了一个面向对象范式和大粒度流模型结合的ＯＯＤＡ模型和基于此模型的一个并行翻译器。ＯＯＤＡ模型支持对象之间和象内部的并行性开发，支持面向对象范式。     

面向多元时序数据的个性化联邦异常检测方法

随着实时传感器在诸如机场、发电厂、智能工厂和医疗保健系统等各种领域的广泛运用,对多变量时间序列数据的异常检测变得更加重要。然而,目前面临两个关键的挑战。数据机构的敏感数据通常以孤岛的形式存在,这使得在保护隐私安全的前提下难以融合数据,无法训练出高性能的异常检测模型。不同数据机构的数据存在统计异构性,在个性化数据场景下,使用统一的异常检测模型的性能不佳。提出了一种面向多元时序数据的个性化联邦异常检测框架FedPAD（federated personalized anomaly detection）。FedPAD基于联邦学习架构,在保护隐私的前提下进行数据聚合,通过微调构建相对个性化的模型。在NASA航天器数据集上的实验表明,FedPAD能够实现准确和个性化的异常检测,相比于基准方法F1分数平均提高了6.9%。     

基于MPI的并行大数据集生成器

大数据处理分析算法在优化研究过程中,速度常常受限于数据集的规模。在数据集体量不足时,算法的通信时间往往要高于真正的计算时间,无法验证真实的效果。故设计实现了一个大数据集生成器,为运行在超级计算机上的并行大数据处理分析算法提供基准测试数据集。首先,使用MPI并行编程技术构造了一个并行随机数生成器,在此基础上设计实现了可控制规模及复杂性的人工数据集,主要包括：分类和聚类数据集、回归数据集、流形学习数据集和因子分解数据集等。其次,设计了大数据集生成器的I/O系统,提供MPI-I/O并行读、写数据集的接口,并设置了数据集在不同进程间的分发、映射规则,通过点对点通信实现不同节点之间的数据交互。实验结果表明,并行大数据集生成器有效提高了数据生成效率和生成规模,为并行大数据处理分析算法提供了高质量、大体量的测试数据集。     

基于FPGA的HS400模式eMMC控制器设计与实现

介绍了eMMC及其在HS400高速数据传输模式下的工作原理,提出了一种eMMC控制器的设计方案。实现了200 MHz工作频率下,使用DDR传输模式进行数据传输的eMMC控制器,并通过CRC校验模块实现对传输数据的CRC校验,增强了系统的可靠性。实验平台采用母板/子板总体架构,在Xilinx Zynq 7000 FPGA开发板Zedboard上实现eMMC控制器,通过FMC接口与eMMC芯片子板进行通信传输。仿真及板级测试表明, HS400模式下数据读写 的传输速率最高可达400 MB/s,能够在实际的eMMC开发中有效提高eMMC设备的访问性能。     

基于SSD的Key-Value系统优化设计与实现

随着互联网技术的迅猛发展,越来越多的非结构化数据涌入到人们的生活中,为这些数据建立高效的索引面临极大的挑战.键值数据库Key-Value以其结构简单和高扩展性而引起人们的广泛关注,已成为海量数据存储系统中的重要组成部分.由于Key-Value系统对吞吐量要求较高,而基于Flash的固态硬盘(solid state drive,SSD)能够提供很高的随机读性能,在SSD上构建Key-Value系统已成为海量数据存储领域的一大研究热点.鉴于Flash具有非定点更新、寿命有限等特性,基于SSD的KeyValue系统必须针对Flash的特性作专门优化.以一种称为SkimpyStash的基于SSD的Key-Value系统为基础,提出了一种新的Key-Value系统低延迟存储系统(low latency store,LLStore).LLStore使用内存文件映射技术来减少针对SSD的IO请求,除此之外,针对SkimpyStash中低效的压缩策略,提出一种改进方法,可以在少量增加内存开销的情况下极大地减少查询时间.通过与原系统的性能比较实验,LLStore在平均查询时间上可以获得至少12%的加速.     

虚拟机管理器中面向虚拟块设备的一种通用快照扩展机制

基于虚拟机环境下虚拟块设备多样性的特点以及对高可用、容错等能力的需求,本文针对目前主流的虚拟机体系结构,提出了一种在虚拟机管理器中为虚拟块设备扩展通用快照功能的机制,能够为虚拟机环境下的多种虚拟块设备提供统一和可扩展的快照服务,有效避免了大幅修改底层的多种具体的虚拟块设备驱动。基于Linux平台,为QEMU扩展了通用的快照功能,验证了快照扩展机制的可行性,并通过实验测试分析了快照对虚拟机性能的影响。     

一种基于市场机制的计算网格资源分配方法

针对计算网格提出了一种基于市场机制的资源分配方法，以一般均衡理论为基础，依靠市场机制，实现计算网格资源的优化分配，首先，描述了基于代理的资源分配框架，它包括3个 层次：资源层、代理层和用户层；接着，给出了计算网络资源分配的市场模型，其中效用函数用于刻画用户对给定资源的满意程度；然后定义了市场模型的均衡状态并证明了均衡状态撮优性，这意味着在均衡状态下资源分配不仅有效而且公平，最后引入了资源代理的迭代算法。     

网络并行计算的动态负载平衡策略

本文主要概述动态负载平衡的概念和主要算法。     

大规模无线传感器网络中基于振荡轨迹的数据存储与发现机制

在大规模无线传感器网络中,在不存在基站节点的情况下,节点组成对等网络,任何一个节点都有可能成为数据消费者节点或者数据生产者节点.传感器网络是一种资源受限的自组织网络,节点的能量和计算能力不足以支持复杂协议的设计.如何让随机产生的消费者节点和生产者节点能够有效迅速地发现对方并进行数据查询工作是传感器网络研究中的一个难点.利用数据为中心的存储策略,提出了一种振荡轨迹的数据存储发现机制.该方案要求消费者节点和生产者节点将查询或者数据存储到相应的振荡路径上.该方案不需要节点存储全局的网络信息,每个节点根据局部信息和预设的反射角度进行路由选择和数据转发.理论上,所有的振荡轨迹满足两两相交的特性,保证了数据查询成功率,而且消费者节点在查询数据时所需要的跳步距离是有界的,同时该方案能够保证数据负载的平衡.