云计算环境下MapReduce的资源建模与性能预测

为了预测云计算环境下的作业资源与时间消耗,根据MapReduce的资源消耗模式,量化了MapReduce作业的资源使用,提出了一种预估Hadoop的MapReduce作业的中央处理器（CPU）利用率和运行时间的模型. 使用多项式回归的方法,可以在云计算环境下,对不同配置的MapReduce作业的CPU利用率和运行时间作出预判. 使用不同配置条件下CPU密集型的Hadoop基准测试验证了该模型的有效性,最后使用误差平方和、平均绝对百分误差、标准差和确定系数4种评估方法计算了模型预测的精准度.     

基于灰盒模型的Hadoop MapReduce job参数性能分析与预测

针对传统使用统计机器学习对Hadoop MapReduce job参数性能预测时完全基于黑盒模型,预测精度不高且不具有扩展性等问题,提出一种结合黑盒和白盒的灰盒预测方法。定性分析了MapReduce job配置参数对job性能的影响;基于局部加权线性回归分别对job的map task和reduce task性能进行预测;实现Hadoop调度器模拟器,并利用调度器模拟器对预测的job map task和reduce task进行调度,计算job执行时间,达到预测job性能目的。实验通过对比传统基于黑盒方法的预测效果,表明灰盒模型有更好地预测精度,并且可以完成集群规模变化后的job性能预测。     

基于Hadoop架构的分布式计算和存储技术及其应用

介绍了Hadoop架构的主要构成,通过一个实例详细阐述了Hadoop架构的MapReduce实现机制;开发了一个基于Hadoop架构职工工资统计应用实例,并根据该实例分析了其在单节点模式、伪分布模式和完全分布模式应用中的运行效率.     

Hadoop中Reduce作业动态调度算法

Hadoop平台中的MapReduce并行分布式编程模型通过将廉价节点组合成集群提供存储和计算服务,可以降低集群成本。Hadoop可以通过配置使Reduce任务在Map任务完成固定百分比时启动,但是过早地启动Reduce任务会造成Reduce资源长期处于等待状态。提出一种Reduce动态调度的DRS算法,通过作业中Map任务数量和大小计算Reduce启动时间,并在作业运行中根据Map任务的调度情况修正启动时间,以节约Reduce资源的使用效率。实验表明,DRS算法与固定百分比参数的方法相比,shuffle阶段时间缩短了7.3%。与系统默认参数相比shuffle阶段时间缩短了43.6%。     

一种改进的基于粗糙集的云计算调度模型

针对调度分配效率不高的问题,提出了改进的基于粗糙集MapReduce的分配调度模型,该模型将MapReduce分配的线性处理改造成基于多处理器的模糊计算。描述了具体的实现算法和模型设计,在Hadoop平台上对该模型进行了实验分析。实验结果表明,在复杂云计算环境下,使用基于粗糙集的MapReduce的分配调度模型具有良好的执行效率和扩展性。     

大数据技术在医疗健康管理的应用与设计

面对传统医疗健康管理系统在存储和管理海量数据方面表现欠佳的问题,提出基于Hadoop对医疗健康数据进行高效管理和快速处理的方法。根据医疗健康数据特点,将HBase与Solr相结合实现多条件查询从而提高查询效率。设计医疗健康数据HBase数据库、医疗健康数据写入HBase过程和医疗健康数据MapReduce查询分析三个组成部分,搭建Hadoop集群环境,对HBase和MapReduce的性能进行测试对比。经测试,当数据量逐渐增大到一定规模时,该模型表现出明显的优势,可满足海量的医疗健康数据管理要求,缩短了计算时间,提高了处理效率。     

支持大规模流数据处理的弹性在线MapReduce模型及拓扑协议

针对现阶段大规模流数据在线处理的广泛需求,本文提出了弹性在线MapReduce流数据处理模型及相关的动态拓扑结构协议。该模型兼容现有MapReduce模型,采用内存计算模式,并具有动态的作业拓扑结构,支持大规模流数据处理作业在运行过程中的弹性调整,从而满足流数据的时效性、动态性和突发性等特殊要求。在弹性在线MapReduce模型的基础上建立了流数据处理作业动态拓扑结构管理机制,设计了作业在线初始化协议和在线调整协议。为进一步提高系统灵活性和整合资源,提出了作业间的操作共享概念,设计了作业共享协议。通过协议分析,本文提出的在线初始化协议、在线动态调整协议及作业共享协议的最大复杂度均为O(n);在数据流量发生突发性变化时,系统具有良好的可伸缩性。     

一种在MapReduce下实现的KNN改进算法

在文本分类过程中,经典的最近邻分类算法(KNN)面对海量数据时的执行时间较长.对经典KNN算法进行改进,通过在训练阶段构造初级分类器以减少训练阶段的计算量,并在Hadoop平台MapReduce下予以实现.实验结果表明,改进后的算法可以在保证分类精度的情况下节省运行时间.     

一种适用于Hadoop MapReduce环境的数据预取方法

为解决由Reduce任务引起的远程数据访问延时和资源竞争导致的系统性能问题,提出了一种基于预调度的数据预取方法．该方法通过预取数据来隐藏由Reduce任务引起的远程数据访问延时,通过控制与Reduce任务相关的资源分配来减少由其引起的资源竞争．此方法已在Hadoop-0.20.2中实现．实验结果表明,与缺省的Hadoop MapReduce及Hadoop Online Prototype相比,该方法可将系统性能提高10 ％以上．     

MapReduce架构的多控制节点改进

MapReduce集群系统的单一控制节点结构使其存在着性能瓶颈问题,限制了集群的规模.为较好地解决系统性能瓶颈问题,提出了MapReduce架构的多控制点改进.新系统的实现基于Hadoop MapReduce,在对架构进行改进的同时,重新设计了信令系统,并增加了控制节点间的热备份机制.因此,新架构除了能解决瓶颈问题外,还可以通过控制节点间的热备份策略有效地应对控制节点故障,降低故障对集群性能的影响,保证应用的正常执行.     

Banach代数中的行列式理论

探讨了 Banach 代数中的行列式理论.给出了具有单位元的迹 Banach 代数具有行列式的充要条件.     

非织造布滤料性能及过滤过程的研究进展

对近年来非织造布滤料的研究进展做了简要综述,介绍了内部结构的研究及表征、过滤性能及其影响因素、过滤过程的计算机模拟,指出进一步发展所需要解决的问题。     

Towards Excellence in Science Chinese Academy of Sciences

<正>May 26,2014,BeijingScience is a human enterprise in the pursuit of knowledge.The scientific revolution that occurred in the 17th Century initiated the advances of modern science.The scientific knowledge system created by human beings,the tremendous productivity brought about by science,and the spirit,methodologies and norms formulated in scientific practice since the 17~(th)Century have long become essential elements of     

SCIENCE CHINA Technological Sciences SUBJECT INDEX TO VOLUME 57(2014)

<正>~~     

单面约束系统的微分变分原理与运动方程

研究单面约束力学系统的微分变分原理和运动方程。方法利用Ｄ＇Ａｌｅｍｂｅｒｔ原理建立Ｄ＇Ａｌｅｍｂｅｒｔ－Ｌａｇｒａｎｇｅ原理．Ｊｏｕｒｄａｉｎ原理和Ｇａｕｓｓ原理,结果与结论得到系统的微分变分原理和带乘子的Ｅｕｌｅｒ－Ｌａｇｒａｎｇｅ形式,Ｎｉｅｌｓｅｎ形式和Ａｐｐｅｌｌ形式的运动方程。     

q-树的重构性

q 是一个正整数,所谓 q-树的图是递归定义的:最小的 q-树是完全图 K_q,一个 n+1阶的 q-树是通过在 n 阶 q-树上加上一个新点并连接这点与 n 阶 q-树中任意 q 个互相邻接的点而获得,其中 n≥q.1-树我们通常称为树.在本文中,证明了对任意正整数 q,q-树是可重构的.     

β-环糊精-毛细管区带电泳分离扑尔敏对映体

采用毛细管区带电泳模式,以β-环糊精为手性选择剂分离了药物扑尔敏的光学对映体.考察了在不同背景电解质 pH 值尤其是较低 pH 值下环糊精浓度对对映体表观淌度差的影响,并研究了有机改性剂尿素在分离中的作用.     

层状球形夹杂复合材料的弹性模量

利用层状球形夹杂在无限大基体中的局部化关系及平均应力场理论,给出了一种方法来分析含 n 种层状球形夹杂所构成复合材料的弹性模量.对于文献给出的空心玻璃球和高分子基构成的复合材料,该理论的预测与实验吻合很好.当表层稍失时,该理论退化为传统的 Mori-Tanaka平均应力场理论.     

CVD涂层硬质合金刀具的失效机理

通过系统的实验研究和理论分析,揭示了 CVD(化学气相沉积)涂层硬质合金刀具在磨损和破损状态下的不同的失效机理,并在机理分析的基础上,阐明了涂层硬质合金刀具对于切削条件的特殊适应性.     

特征关系与工艺决策

从并行工程的原理出发,提出了一个基于特征的并行 CAPP 系统.在特征建模的基础上,系统能够推理特征之间的关系,产生零件的特征向量图;利用加工知识库,通过动态规则匹配,系统可以确定特征的加工方法、加工参数及其加工顺序;通过优化确定最佳的工艺计划.