基于OPC框架的高效计算服务应用

大数据计算是当前云计算研究的热点之一. 在电力信息化、精益化的建设过程中,业务复杂度不断提高,数据量与日俱增,这使得传统的数据加工性能日益劣化. 在复杂的业务场景下,由于海量的电力数据,使得数据指标加工计算的效率非常低下,传统方式的加工任务经常耗时数个小时,难以满足用户的体验要求. 为了解决这个问题,全面提升数据指标加工任务效率,基于对象化并行计算（Objectification Parallel Computing,OPC）框架实现了一种高效计算服务,OPC是分布式并行内存计算框架. 在OPC框架中,大数据集被拆分成小数据集,并分布式地存储在集群内存中. OPC计算任务借鉴了分而治之和归并树的思想,将计算任务分成两个阶段：本地计算任务和计算结果收集汇总. 计算任务基于本地计算数据进行计算,得到本地计算结果,然后将计算结果通过收集结点进行汇总合并,最后得到最终结果. OPC框架技术应用在国家电网公司工程生产管理系统（PMS）中,应用效果表明该技术稳定、可靠,性能提升几十至数百倍,可满足高效计算需求.     

一种对象化并行计算框架

分布式计算、并行计算、内存计算是目前提高计算性能的关键技术和热点研究领域。在大数据环境下,针对数据型统计分析系统性能劣化明显、不能满足用户使用需求的问题,提出了一种轻量级高性能对象化并行计算架构,研制了该架构的对象服务组件、对象管理服务组件和客户端代理组件,并将该架构和组件在国家电网资产质量监督管理系统中进行了验证应用,其效果表明该框架能大幅提升大数据处理效率。     

Hadoop在人员定位软件系统中的应用研究

针对现有人员定位系统难以满足大型煤矿大数据量访问需求的问题,提出将Hadoop应用于人员定位软件系统中,利用并行计算模型MapReduce和非关系型数据库HBase实现人员定位数据的并行化访问。Hadoop的应用显著提升了人员定位软件系统的数据处理性能、实时性和可扩展性。     

JPPF在构建高性能ETL过程中的应用

数据仓库中数据规模的不断膨胀和数据实时性需求的提高使得对ETL过程性能要求越来越高.通过对并行处理框架JPPF分析,提出了利用JPPF构建高性能ETL系统架构方案和一种ETL数据处理任务提交算法.经过测试和性能对比证明了该方案在处理包含大规模计算任务的ETL过程优势明显.     

基于Matlab并行计算工具箱的SAR回波数据仿真方法研究

论文针对大场景SAR原始回波数据仿真计算量大、耗费时间长、占用内存多等缺点,基于Matlab并行计算工具箱提出了一种将场景分块和数据矩阵分块相结合的并行化计算的仿真方法.分析表明,合理的分块划分可有效地克服内存不足问题,并行化计算能够大大地加快仿真时间.通过计算机仿真,验证了该方法在普通计算机上仿真大场景回波数据是可行...     

影像数据分布并行计算处理平台体系架构研究

遥感影像数据并行处理系统大多依赖于国外商用产品,而国内自主化并行计算处理系统的任务流程化支撑能力以及并行计算性能难以适应规模化生产。为此,基于Hadoop的HDFS,MapReduce集群并行架构、CPU和GPU协同并行处理、内存映像、BMP等技术,提出流程驱动执行的高性能分布式并行计算处理平台体系架构。实验结果表明,工作站集群和工作站内多粒度混合的并行计算架构提高了平台并行处理性能,为海量遥感影像数据产品的批量生产提供一种自主化解决方案。     

基于MPI并行环境下拉格朗日插值的求解

在拉格朗日插值计算中存在计算时间长的内存消耗大的难题,并行计算可以减少单机处理量,是解决该难题的有效途径.本文针对网络并行系统特点,提出了有效的优化步骤,采用MPI并行函数库实现高效率拉格朗日插值并行计算.计算结果证明了该方案的正确性,并且得到了较高的并行效率,为后续一些复杂问题的求解提供了可行的解决方案.     

基于Hadoop一种移动云计算本地化调度算法的研究

移动云计算将云计算的概念引入到移动互联网中。在对移动终端和云计算进行研究的基础上,针对移动终端请求计算量小、并发性高、用户实时性要求高的特点,提出一种基于Hadoop的移动云计算本地化调度算法。同时针对实际应用场景可能出现的热点数据问题,给出改进方案。实验结果表明改进后的本地化调度算法能够缩短系统响应时间,提高系统的吞吐率。     

Hadoop MapReduce短作业执行性能优化

Hadoop MapReduce并行计算框架被广泛应用于大规模数据并行处理.近年来,由于其能较好地处理大规模数据,Hadoop MapReduce也被越来越多地使用在查询应用中.为了能够处理大规模数据集,Hadoop的基本设计更多地强调了数据的高吞吐率.然而在处理对短作业响应性能有较高要求的查询应用时,Hadoop MapReduce并行计算框架存在明显不足.为了提升Hadoop对于短作业的执行效率,对原有的Hadoop MapReduce作出以下3点优化:1)通过优化原有的setup和cleanup任务的执行方式,成功地缩短了作业初始化环境准备和作业结束环境清理的时间;2)将首次任务分配从"拉"模式转变为"推"模式;3)将作业执行过程中JobTracker和TaskTrackers之间的控制消息通信从现有的周期性心跳机制中分离出来,采用即时传递机制.最后,采用一种典型的基于MapReduce并行化的查询应用BLAST,对优化工作进行了评估.各种不同类型BLAST作业的测试实验表明,与现有的标准Hadoop相比,优化后的Hadoop平均执行性能提升约23%.     

高实时要求的嵌入式智能计算云平台设计

智能云计算是下一代智能作战装备的发展趋势,本文针对军事应用场景下的高实时性要求,介绍一种嵌入式智能云计算平台.该系统基于ARM+DSP+FPGA架构,采用MapReduce技术,可实现大数据智能计算方法在典型军事应用场景下的应用.     

IDL并行计算技术在SAR风场反演中应用

SAR影像反演海面风场需要对反演模型进行迭代求解,难以满足近实时预报的需求。利用IDL并行计算技术在多核计算机实现SAR风场反演。基于IDL程序设计特点,分析IDL桥并行计算程序设计方法,根据SAR风场反演流程,提出基于IDL桥对象构建的风场反演并行计算算法,验证了其实用性。结果表明,基于IDL桥对象构建的并行计算算法提高了计算效率,为其他数据快速处理提供了解决方案。     

TB级地形数据实时漫游核心算法研究

TB级数据时代已经到来,如何有效地在普通PC机上实现TB级地形数据漫游,已逐渐成为GIS（地理信息与系统）学术界的研究热点。海量数据组织管理是3维地形数据漫游的核心机制,传统四叉树、八叉树等数据结构,一定程度上解决绘制瓶颈问题,但是结构复杂,很难适应TB级地形场景实时、稳定的漫游需求。通过实施多级缓冲机制、采用动态LOD（levels of detail）与显存调度技术,以及引入多核CPU并行计算策略,最终构建出一套与数据大小无关的实时地形绘制算法。通过对1 GB、10 GB、200 GB、500 GB级等海量数据进行实验,平均绘制速率可达到30帧/s以上,比一般算法高出23倍,从而验证本文算法的实用性。     

基于Hadoop的云计算基础架构分析

Hadoop是一个可实现大规模分布式计算的开源软件平台,已经被广泛应用在云计算领域。从Hadoop分布式文件系统架构的整体入手,描述了其分布式数据存储、分布式任务分配、分布式并行计算和分布式数据库4个方面的核心内容,并论述了HDFS的工作原理、文件操作流程及Map/Reduce工作原理和计算过程。使开发人员深入地理解Hadoop架构的工作原理与实现过程,为云计算背景下的应用程序开发提供重要的参考。     

Hadoop下并行遗传算法研究及在应急设施选址中的应用

随着云计算的出现,大数据的概念也随之产生。自然灾害日趋增多,要求应急设施的部署规模不断扩大,这时,如何有效进行大规模应急设施的选址成为应急管理系统的关键。因此,提出一种改进的并行遗传算法并在Hadoop平台上编程实现,并应用于求解应急设施选址问题的集合覆盖模型,达到求解应急设施选址的目的。试验结果表明,改进的并行遗传算法不管在获取全局最优解上还是在求解大规模应急设施选址的时效性上都优于原有算法,是一种云计算环境下有效的应急设施选址问题求解算法。     

嵌入式实时操作系统可信计算技术研究

可信计算能有效提高嵌入式实时操作系统的安全性,但现有的可信计算技术较难满足该系统实时性和低功耗的要求。为此,提出一种基于VxWorks内核的可信计算解决方案。设计嵌入式实时可信平台模块和可信软件栈,实现基于完整性度量证书的信任链传递结构和轻量级访问控制框架。实验结果证明,可信平台模块相比SW-TPM模块平均命令执行时间节省了65.81%,轻量级访问控制框架对系统内核的性能影响也较小,可满足嵌入式实时操作系统的应用要求。     

一种基于网格的LiDAR数据处理平台体系结构

分析LiDAR数据处理流程，结合开放网格服务体系结构(OGSA)，提出一种LiDAR数据处理平台体系，将数据处理任务合理划分并分配到各个分布的网格节点上，通过各节点并行、协同计算，达到提高运算速度的目的。最后以对激光点云重采样生成格网DEM为例，说明算法在该体系下的计算过程。     

Hadoop平台的集群故障监控的研究与实现

使用Hadoop构建的云平台已经得到广泛使用,如Amazon、Yahoo、Facebook等。集群的稳定性和可靠性对于云平台的服务质量有着重要的影响,随着企业信息化在生产实时检测、海量存储和科学分析决策等方面的需求不断提升,集群故障监控也越来越重要。PDM(Integrated Parallel Mining)是中国移动的商务智能应用需求为背景,旨在针对海量数据提供高效、准确、便捷的数据分析服务,能够对Hadoop集群进行性能监控并且进行故障告警是非常重要的。Ganglia和Nagios在集群故障监控方面各有优势,将两者的优势结合,结合企业项目设计出了一个相对完整的集群故障监控平台。     

基于LOD的海量地形数据并行渲染技术

随着地球空间信息技术的发展,建立具有海量空间数据的大规模虚拟地形场景越来越重要. 然而,面对海量的地形数据,如何简化地形,提升绘制与渲染效率,是地形渲染的关键. 本文对LOD地形渲染技术、大规模数据集的分析与处理、并行计算等相关技术进行了研究,提出了基于LOD的海量地形数据并行渲染技术. 该技术首先使用LOD四叉树简化地形,其次结合多核CPU并行计算的方法提升效率,最后结合大规模数据调度策略,实现了海量地形数据的并行渲染,并分析对比了非并行和并行情况下的实验结果. 本文所取得的理论与技术方面的成果可为大规模场景渲染提供新的技术思路.