基于PCM的大数据存储与管理研究综述

大数据已经成为当前学术界和工业界的一个研究热点.但由于计算机系统架构的限制,大数据存储与管理在性能、能耗等方面均面临着巨大的挑战.近年来,一种新型存储介质——相变存储器(phase Change Memory,PCM)——凭着其非易失、字节可寻址、读取速度快、低能耗等诸多优点,为计算机存储体系结构和数据管理设计带来了新的技术变革前景,也为大数据存储和管理带来了新的契机.PCM既是一种非易失存储介质,同时又具备了内存的字节可寻址和高速随机访问特性,模糊了主存和外存的界限,有望突破原有的存储体系架构,实现更高性能的存储与数据管理.概述了PCM存储器的发展现状;总结了目前基于PCM的持久存储技术和基于PCM的主存系统等方面的研究进展;并讨论了PCM在多个领域的应用现状.最后,给出了基于PCM的大数据存储与管理研究的若干未来发展方向,从而为构建新型存储架构下的大数据存储与管理技术提供有价值的参考.     

一种改进的邻接关系可查询压缩算法

目前多数数据压缩算法不能直接在压缩结果上进行数据查询,大数据的线性化压缩算法虽然可直接在压缩后的数据上进行邻接关系查询,但压缩率较低.针对该问题,对线性化压缩的实现原理进行研究,分析MPk线性化算法在不同社会网络样本下的压缩效率,发现线性化压缩结果中存在冗余信息,并针对该情况设计改进算法,删去原有数据结构中的冗余部分,进一步提高压缩率.实验结果证明,改进算法的时间复杂度与原算法相同,压缩率平均提升23％.     

大数据处理中基于热感知的能源冷却技术

大数据极速发展使超大型大数据分析平台不断涌现,导致能源成本急剧上升。为保证服务器的热可靠性,提出一种以数据处理为中心的能源冷却成本技术。该技术考虑了服务器不均衡热力特性、热力稳定性负载阈值差异以及集群大数据语义差异等,对文件进行主动式热感知布局,从而在不影响性能的前提下降低冷却能源成本,保证大数据分析集群的热可靠性。基于Yahoo公司一个月的真实大数据分析对该技术进行评估,实验结果表明,该技术可使冷却成本下降42%,总体性能是当前无关冷却技术的9倍。     

Using Memory in the Right Way to Accelerate Big Data Processing

Big data processing is becoming a standout part of data center computation. However, latest research has indicated that big data workloads cannot make full use of modern memory systems. We find that th...     

大数据环境下移动对象自适应轨迹预测模型

已有的轨迹预测算法针对移动对象运动模式,使用数学模型进行交通流模拟,难以对路网中的移动对象进行准确的描述.为了解决这一问题,提出基于隐马尔可夫模型(hidden Markov model,简称HMM)的自适应轨迹预测模型SATP(self-adaptive trajectory prediction model based on HMM),对大数据环境下移动对象海量轨迹利用基于密度的聚类方法进行位置密度分区和高效分段处理,减少HMM的状态数量.根据输入轨迹自动选取参数组合,避免HMM模型中隐状态不连续、状态停留等问题.实验结果表明,SATP模型在实验中表现出较高的预测准确性,并维持较低的时间开销.针对速度随机改变的移动对象,其平均预测准确率为84.1%;相同情况下,平均高出朴素预测算法46.7%.     

浅谈分析大数据的工具--MapReduce

从大数据的概念进行认知,阐述分析大数据的生态圈,着重分析MapReduce对于大数据的应用及其优缺点,展望大数据的未来发展,期待更好地利用大数据,是大数据最终的价值体现。     

介观模拟研究温度对DPPC磷脂双层膜结构的影响

生物膜作为生物体的一种基本组成单元,在各种生命活动中占据重要地位。生物膜的结构和功能的稳定性是其发挥一切生理功能的前提。本文以DPPC磷脂双分子层为生物膜模型,采用基于Martini力场的粗粒化模拟方法,考察了温度对DPPC磷脂双层膜结构、形态和功能的影响。结果表明,315 K为DPPC磷脂双层膜的相转变温度;温度升高,DPPC分子间隙增加,尾链发生折叠弯曲,引起脂均面积增大,厚度减小,流动性增加;DPPC双层膜中甘油酯基团组成的栅栏区为膜中分子排列最有序的区域,也是阻碍小分子透膜的主要屏障区。研究结果不仅有助于更好地阐释生物膜的结构形态和功能之间的关系,也有助于理解药物与膜的相互作用,指导临床用药。     

大数据技术在环境信息中的应用

在“辽河流域水环境管理技术综合示范”项目中,随着时间的累积,环境监测数据处理系统采集到的数据量越来越大.然而目前辽宁省环境监测数据处理系统无法有效处理日益增长的海量数据.研究运用大数据技术,改进环境监测数据处理系统中的数据中心.利用HDFS强大的数据存储、管理功能,以应对数据量的增长,利用MapReduce及Hadoop其他相关工具,快速处理海量数据,降低数据规模,最后将数据存储到数据库中.     

基于Spark的大数据混合计算模型

现实世界大数据应用复杂多样,可能会同时包含不同特征的数据和计算,在这种情况下单一的计算模式多半难以满足整个应用的需求,因此需要考虑不同计算模式的混搭使用。混合计算模式之集大成者当属UCBerkeley AMPLab的Spark系统,其涵盖了几乎所有典型的大数据计算模式,包括迭代计算、批处理计算、内存计算、流式计算(Spark Streaming)、数据查询分析计算(Shark)、以及图计算(GraphX)。 Spark提供了一个强大的内存计算引擎,实现了优异的计算性能,同时还保持与Hadoop平台的兼容性。因此,随着系统的不断稳定和成熟, Spark有望成为与Hadoop共存的新一代大数据处理系统和平台。本文详细研究和分析了Spark生态系统,建立了基于Spark平台的混合计算模型架构,并说明通过spark生态系统可以有效地满足大数据混合计算模式的应用。     

大数据时代勘探云建设模式探索

按照大数据定义,油气勘探数据处理工作显然是一种大数据应用模式,而作为油气勘探核心工作平台的勘探云计算中心,其建设目的首先是为了满足企业内部业务数据处理工作需求,在确保计算力分享和协同工作的基础上,勘探云更注重数据存储、数据管理以及数据应用业务的支持,对照一般公用云建设模式,勘探私有云建设具备其独特的建设模式。笔者企业结合自身特点,对照当前大数据应用需求开展勘探私有云建设工作,取得了一定的效果,对企业主营业务的支持效果明显。