基于云架构的图书馆存储中心设计与实现

在大数据和云存储技术的迅猛发展下,图书馆紧跟时代发展潮流,根据自身的特点,通过对基于云架构的图书馆存储中心建设及思考,探索出适合图书馆发展的存储技术,基于云架构的图书馆存储中心设计与实现,将云存储架构模式作为图书馆存储中心建设的重点,为图书馆大数据打造安全可靠的存储中心.     

一种基于Hadoop的Scool云存储平台

针对海量数据的指数级增长,现有的文件存储系统很难满足现有系统需求,提出基于Hadoop的Scool云存储平台,系统通过采用Linux集群技术、分布式文件系统和云计算框架等技术,来实现海量数据存储和高速数据处理。通过比较云存储和传统存储模式的区别,分析了云存储技术优势和可行性,介绍了云存储架构模型,设计了基于Hadoop的Scool云存储文件管理系统,为今后深入研究云计算和云存储提供了一定的基础。     

云计算环境下的数据存储

该文对云计算环境下的数据存储技术进行了分析。对云计算下的存储需求,云计算IAAS层的云存储架构方法．PAAS层的云存储实现方法进行了探讨。分析比较了几种商业化云存储系统,并给出了企业环境下构建云存储的一种方案。     

基于混合云的安全数据存储架构

云计算技术为数据存储与计算提供了一个非常有效的方法,当前研究工作的重点集中在云中的数据安全。基于混合云,提出一个安全数据存储架构,将数据存储过程划分为两部分。数据的机密性、完整性和可追踪性的相关操作在私有云中实现,公共云实现数据的存储与查询。该架构在保障云端数据安全存储的同时,降低企业在保证云数据安全存储方面的成本。     

基于云存储的医疗网络系统的设计与安全

针对目前医疗信息的系统存储以及实时性和远程性不够发达的现状,本文提出了基于云存储的医疗网络系统的架构和实现,通过基于云存储的理念和设计达到医疗系统中比较满意的状态,解决目前医疗网络系统中存在的弊端和不便。     

基于内存云的大块数据对象并行存取策略

由于内存云(RAMCloud)只支持最大1 MB的小块数据对象存储,因此当大于1 MB的对象需要存储在内存云集群中就会受到对象大小的限制,无法在集群中进行存储。为了解决内存云存储限制的问题,提出了基于内存云的大块数据对象并行存取策略。该存储策略首先将大块数据对象分割成若干个1 MB的小块数据对象,然后在客户端生成数据摘要,最后使用并行存储算法将客户端分割成的小块数据对象存储在内存云集群中。读取时首先读取数据摘要,然后根据数据摘要从内存云集群中并行读取小块数据对象,并将小块数据对象合并生成大块数据对象。实验结果表明:大块数据对象的并行存取策略在不破坏内存云集群体系结构的前提下存储时间为16~18 μs,读取时间为6~7 μs。在InfiniBand网络架构下,所提并行算法的加速比呈现类似线性的增长,它使大块数据对象也能够像小块数据对象一样在微秒级别下快速、高效地进行存取。     

企业级私有云中的虚拟化实现

在云存储的概念被提出之后,虚拟化技术在云存储系统中得到了广泛的应用,出现了全新的数据中心部署和管理方式。实现了一个企业级私有云存储系统WFS,在WFS云存储系统的四层架构中,分别采用了统一存储管理、虚拟路径、数据与元数据分离、云存储接口、多路径访问等虚拟化技术。通过对该系统进行分析,说明了虚拟化技术在云存储系统中的应用方式、特点以及在提高资源利用率、增强系统安全性、易用性等方面的重要作用。     

云技术在飞行试验数据处理中的应用

针对飞行试验数据的海量非结构化的特点以及当前所面临的处理与应用问题,研究分析当前新兴的云技术,提出了飞行试验数据云计算应用架构的3个组成要素:设备系统、云存储和云计算。面向试飞数据工程应用,以试飞科目、试验动作段为频度矩阵建立试飞元数据存储阵列,实现海量非结构化试飞数据的云存储应用;以SOA架构为基础,结合面向应用的处理功能组件,实现分布式网络计算调度和计算群集,为用户提供高效的云计算服务。工程实践应用表明,该系统以灵活架构有效地解决了非结构化大数据信息的高效存储、统一管理和共享应用,实现了海量试飞数据的快速分析处理,展示了云计算技术的先进特点。     

面向云存储的非结构化数据存储研究

作为一种先进计算方式的云计算,不断在信息服务与科研领域升温,并且影响了存储和运算大规模数据。本文主要分析了云存储技术,非结构化数据存储方式,面向云存储的非结构化数据存储系统架构,面向云存储的非结构化数据存储结构设计和实现。     

基于Hadoop的云存储的研究及实现

首先描述了云计算、云存储的概念、云计算的体系结构及云存储的架构模式;然后介绍了Hadoop工作原理及其文件存储的方法;最后基于eyeOS的Web操作系统,对传统的文件存储方法进行改进,采用Hadoop的HDFS技术实现文件的分布式存储及容错控制。     

A convergence of key‐value storage systems from clouds to supercomputers

This paper presents a convergence of distributed key‐value storage systems in clouds and supercomputers. It specifically presents ZHT, a zero‐hop distributed key‐value store system, which has been tuned for the requirements of high‐end computing systems. ZHT aims to be a building block for future distributed systems, such as parallel and distributed file systems, distributed job management systems, and parallel programming systems. ZHT has some important properties, such as being lightweight, dynamically allowing nodes join and leave, fault tolerant through replication, persistent, scalable, and supporting unconventional operations such as append, compare and swap, callback in addition to the traditional insert/lookup/remove. We have evaluated ZHT's performance under a variety of systems, ranging from a Linux cluster with 64 nodes, an Amazon EC2 virtual cluster up to 96 nodes, to an IBM Blue Gene/P supercomputer with 8K nodes. We compared ZHT against other key‐value stores and found it offers superior performance for the features and portability it supports. This paper also presents several real systems that have adopted ZHT, namely, FusionFS (a distributed file system), IStore (a storage system with erasure coding), MATRIX (distributed scheduling), Slurm++ (distributed HPC job launch), Fabriq (distributed message queue management); all of these real systems have been simplified because of key‐value storage systems and have been shown to outperform other leading systems by orders of magnitude in some cases. It is important to highlight that some of these systems are rooted in HPC systems from supercomputers, while others are rooted in clouds and ad hoc distributed systems; through our work, we have shown how versatile key‐value storage systems can be in such a variety of environments. Copyright © 2015 John Wiley & Sons, Ltd.     

矢量图形系统的开发

矢量图形系统已经成为图形组态平台中一个不可或缺的重要部分,本文基于Vc＋＋平台,应用面向对象的设计方法来设计程序构成,最终完成了包括文档和视图的实现、鼠标的交互绘图、以及图形的选中、平移、旋转、无极放缩等设计目标,同时也实现了自定义格式的矢量图存储。     

CRC编码运算中移位寄存器的设计

循环冗余校验（CRC）是一种编码简单且有效的串行数据校验方法,在通信及计算机数据存储中得到了广泛应用。在串行CRC编码实现中,移位寄存器主要完成将并行输人数据转换成串行输出数据的功能,是整个设计的重要组成部分。以发送8位信息码为例,在Altera公司的开发工具QuartusⅡ软件下,分别选用数字集成电路芯片74LS166和VHDL编程两种方法,成功地完成了移位寄存器的设计,可以满足不同的应用需求。仿真结果准确、可靠,符合设计需要,有一定的实用意义。     

Optimizing virtual machine allocation for parallel scientific workflows in federated clouds

Cloud computing has established itself as an interesting computational model that provides a wide range of resources such as storage, databases and computing power for several types of users. Recently, the concept of cloud computing was extended with the concept of federated clouds where several resources from different cloud providers are inter-connected to perform a common action (e.g. execute a scientific workflow). Users can benefit from both single-provider and federated cloud environment to execute their scientific workflows since they can get the necessary amount of resources on demand. In several of these workflows, there is a demand for high performance and parallelism techniques since many activities are data and computing intensive and can execute for hours, days or even weeks. There are some Scientific Workflow Management Systems (SWfMS) that already provide parallelism capabilities for scientific workflows in single-provider cloud. Most of them rely on creating a virtual cluster to execute the workflow in parallel. However, they also rely on the user to estimate the amount of virtual machines to be allocated to create this virtual cluster. Most SWfMS use this initial virtual cluster configuration made by the user for the entire workflow execution. Dimensioning the virtual cluster to execute the workflow in parallel is then a top priority task since if the virtual cluster is under or over dimensioned it can impact on the workflow performance or increase (unnecessarily) financial costs. This dimensioning is far from trivial in a single-provider cloud and specially in federated clouds due to the huge number of virtual machine types to choose in each location and provider. In this article, we propose an approach named GraspCC-fed to produce the optimal (or near-optimal) estimation of the amount of virtual machines to allocate for each workflow. GraspCC-fed extends a previously proposed heuristic based on GRASP for executing standalone applications to consider scientific workflows executed in both single-provider and federated clouds. For the experiments, GraspCC-fed was coupled to an adapted version of SciCumulus workflow engine for federated clouds. This way, we believe that GraspCC-fed can be an important decision support tool for users and it can help determining an optimal configuration for the virtual cluster for parallel cloud-based scientific workflows.     

平行点云: 虚实互动的点云生成与三维模型进化方法

三维信息的提取在自动驾驶等智能交通场景中正发挥着越来越重要的作用, 为了解决以激光雷达为主的深度传感器在数据采集方面面临的成本高、样本覆盖不全面等问题, 本文提出了平行点云的框架. 利用人工定义场景获取虚拟点云数据, 通过计算实验训练三维模型, 借助平行执行对模型性能进行测试, 并将结果反馈至数据生成和模型训练过程. 通过不断地迭代, 使三维模型得到充分评估并不断进化. 在平行点云的框架下, 我们以三维目标检测为例, 通过闭环迭代, 构建了虚实结合的点云数据集, 在无需人工标注的情况下, 可达到标注数据训练模型精度的72%.     

巧用falshget站点资源管理器入侵

问你falshtet是做什么的？你可能要说它是用来下载文件的。但是除了下载文件外有没有其他功能呢？我想没人会把flashget列入黑客工具的条目吧！今天我就为大家演示一下如何利用flashget的站点资源管理器入侵目标网站。     

并行高斯粒子滤波器结构分析和实现

本文针对粒子滤波器计算量大、实时性差的问题分析了高斯粒子滤波的并行结构,并以一个简单实例为背景介绍了高斯粒子滤波器在集群计算机上的应用实现。     

面向混合云的可并行多关键词Top-k密文检索技术

随着云计算技术的迅猛发展,越来越多的企业和个人青睐使用私有云和公有云相结合的混合云环境,用于外包存储和管理其私有数据。为了保护外包数据的私密性,数据加密是一种常用的隐私保护手段,但这同时也使得针对加密数据的搜索成为一个具有挑战性的问题。文中提出了面向混合云的可并行的多关键词Top-k密文检索方案。该方案通过对文档、关键词分组进行向量化处理,并引入对称加密和同态矩阵加密机制,保护外包数据的私密性,同时支持多关键词密文检索;通过引入MapReduce计算模式,使得公有云和私有云合作完成的密文检索过程能够按照并行化方式执行,从而能够支持针对大规模加密数据的并行化检索。安全分析和实验结果表明,提出的检索方案能够保护外包数据的隐私,且其检索效率优于现有的同类方案。     

并行正向反馈ICP算法研究

ICP算法用于点云对齐,对点云质量有很高的要求,Kinect设备采集的原始点云较为粗糙,给ICP计算带来很大不便。文中设计了一种并行正向反馈ICP算法,将新旧点云带权叠加,以优化新点云的质量,并提供给ICP的下一次循环,同时又采用一种基于GPU的并行二叉树约减算法,提高计算速度。该算法用于增强现实的注册环节,运行结果流畅稳定。这种改进算法增加了深度数据的可用性和稳定性。