Hadoop云计算平台的研究及实现

随着电子商务的兴起,传统的服务器集群技术在处理大数据时越来越显得力不从心。Hadoop是一种开源的云计算技术,包含HDFS文件系统及MapReduce编程模型两大核心,在处理海量数据、数据挖掘、电商推荐系统等领域有其独到的优势。文章介绍了Hadoop的基本原理,实现了搭建了Hadoop集群,从而实现了一个基于Hadoop的云计算平台。     

微软SQL Server增加对Hadoop的支持

<正>在海量数据时代的大趋势下,微软增加了SQL Server大规模数据处理和并行数据仓库平台对开源Hadoop框架的支持。根据本周SQL Server团队的官方博客消息,配合微软数据仓库和Hadoop连接器的社区技术预览版也将会很快面世。海量数据主要来源于企业中日益增长的数据,特别是Web流量等。微软在其     

Spark云计算平台下的结构物理参数辨识

结构物理参数辨识是结构损伤识别的一个关键问题。针对结构物理参数辨识精度不高、海量数据处理计算效率低下和在单机环境下运算资源不足的问题,提出一种云平台下改进并行化多粒子群协同优化算法(IPMPSCO)的结构物理参数辨识方法。在云计算平台下,引入Apache Spark云计算平台的弹性分布式数据集RDD,对传统多粒子群协同优化算法(MPSCO)的结构物理参数辨识进行分布式并行化改进。为了验证所提方法的准确性和处理海量数据的能力,在8节点的云计算集群上对一个30层框架数值试验和一个7层钢框架试验进行结构物理参数辨识。结果表明,所提方法具有良好的精度和稳定性,在执行效率上优于单机,且具有较好的并行能力。     

Hadoop在海量数据分析中的应用

电子商务及互联网的广泛应用,产生了高达GB甚至TB规模的海量日志文件,传统的日志分析技术已经无法满足海量数据分析的需要。基于Hadoop的分布式并行处理方式在海量数据分析中表现出优越的效率,本文实现一个基于Hadoop的海量数据分析系统,可以并行分析大日志文件。     

无人船测试多源数据HDFS存储优化

针对无人船测试过程中数据量大、数据源多、数据记录分散等问题,提出一种面向无人船测试的多源数据HDFS存储优化方法。首先设计基于Hadoop的无人船测试云平台架构,分析无人船测试云平台的信息流;接着提出无人船测试多源数据容错机制及重复数据删除策略,优化无人船测试多源数据HDFS存储;最后对无人船测试多源数据进行HDFS存储实验。结果表明,Hadoop集群优化后比默认系统存储效率提升约20%,可满足无人船测试多源数据的存储需求。     

基于云计算的并行化自动测试系统设计

为适应航天器批产化测试的要求,提高测试效率,本文以云计算支撑平台为核心设计了适用于航天器测试需要的并行化自动测试系统.系统基于vSphere云计算软件构建系统资源的集群环境,利用模块化思想构建了测试设计子平台、核心数据处理子平台、通用测试设备子平台、自动化测试执行子平台、测试信息存储子平台、信息评估分析子平台等六大子平台.通过对多台导航接收机进行并行测试,系统实现了测试设计、信息处理、测试执行、接口管理、数据存储、数据评估等全流程测试功能,结果表明:系统提高了产品测试效率,并节约了系统资源.     

基于光子映射的并行渲染算法

光子映射是针对光线跟踪以及辐射度算法存在的缺陷提出的一种新的全局光照图形绘制算法,但因其计算量大,难以适用于视景仿真和虚拟现实这样对渲染速度有严格要求的场合.并行化是提高渲染效率的重要手段,通过对不同渲染任务划分方式的比较,得出了一种较为适用的并行渲染任务划分方式,在此基础上,提出并在MPI环境下实现了针对光子映射的并行渲染算法,通过实验证明该算法可以很好适应集群计算环境,在一定程度上提高渲染速度.     

面向大规模地形LOD模型的并行简化算法

大规模地形的快速绘制一般采用层次细节（LOD）模型,需要在预处理阶段使用网格简化算法对模型进行简化。简化质量与简化效率间的矛盾一直是各种简化算法所需面临的问题。通过利用通用的并行编程环境MPI,提出了一种基于四叉树网格剖分的并行简化算法,通过并行化达到提高算法效率的目的,并就模型拼接及负载平衡进行了相关讨论。最后,通过具体实例在集群环境下验证了算法的有效性,得到了较好的并行效果。     

宽带RAM模型在对称多处理器集群上的并行设计

为了提高声场模型的计算效率以满足当前水声研究对声场计算速度的要求,针对对称多处理器集群系统多节点并且节点内存在多个处理器的特点,利用共享存储模型OpenMP和消息传递编程模型MPI（Message Passing Inter-face）对声学计算模型RAM（Range-dependent Acoustic Model）进行并行编程,构建了并行计算平台,实现了RAM模型在对称多处理器集群系统上节点间和节点内两级并行,并通过实验对该平台的性能进行了测试。实验结果表明,RAM模型适用于并行计算,该并行计算方法具有很高的并行效率,可以大幅度提高声场计算速度。     

基于性能预测的Map Reduce负载均衡优化

Hadoop作为一个开源云计算框架,因为其优秀的分布式存储能力及其上运行的Map Reduce计算框架,越来越多的公司用Hadoop处理庞大的数据。负载均衡对分布式计算的性能有重要影响,Hadoop基于最简单的hash算法对任务进行分派,并没有对异构环境及多任务运行环境的因素做过多考虑。为了解决上述存在的不足,我们提出一种负载均衡框架,对计算节点的性能情况进行监控,预测节点的计算能力,依据预测结果来对Map Reduce的计算任务进行分配,从而最大化分布式集群的计算能力。     

结构模态多级分层并行计算方法EI北大核心CSCD

基于稀疏存储技术和传统并行模态综合法提出了一种有限元结构模态分析多级分层并行计算方法。该方法在两级分区4次变换策略的基础上不仅实现了大量数据的分布式稀疏存储,提高了数据的内存访问效率,而且实现了系统整体缩减后的广义特征方程规模的有效降低,大幅度减少了广义特征方程的求解时间。此外,它还利用计算任务和异构众核集群硬件体系结构映射实现了计算过程的多级并行,不仅有效改善了不同层级的负载均衡,而且通过通信分离有效提高了通信效率。因此,它能够充分利用异构众核分布式存储并行计算机的体系结构特点提升大规模有限元模态并行计算效率。数值算例表明,相比于传统的并行模态综合法,稀疏存储格式模态多级分层并行方法能够大幅度节省内存空间和提高计算效率。     

Hadoop集群和单机数据处理的耗时对比实验

实验以WEB日志作为实验数据,将单机与Hadoop集群对一系列不同量级的数据进行处理,对比两者耗时情况,结果发现Hadoop框架在处理大数据时的可行性与高效性高于单机。     

面向混合负载的集群资源弹性调度

针对目前集群资源调度方法难以适应互联网业务多样化、定制化特征的问题,提出了一种面向混合负载的集群资源弹性调度方法.该方法通过构建作业约束描述语言,允许作业基于自身负载特征提出多维度的资源申请和具有负载意识的资源调度算法,实现在同一集群内各类业务统一部署与管理,及时匹配资源需求的变化;通过建立作业的软约束与硬约束之间的转化机制,满足作业在不同执行阶段对资源的定制化需求.实验表明,该方法相比于Hadoop,可允许作业利用较少资源获得更优性能,在实际生产系统中,基于该方法可将集群资源利用率由62％提升到75％.     

行为增强模式下的VR影视播放软件研制

传统VR安卓播放器多是基于java开发,xml配置视图界面,且均不开源,无法有效获取用户浏览VR视频时的数据,更缺乏与用户交互的内容。随着大数据产业的发展,大量复杂、含噪、看似无用的数据,经过处理确实可以引导一个行业的发展。针对基于Unity3D平台的VR视频处理设计了一种行为增强模式下的开源VR播放器,功能集成了VR视频播放、视频热加载、陀螺仪数据记录、定制化VR互动电影等,最后通过用户行为数据的分析证明了该软件的有效性。     

利用CUDA加速数字图像处理

提高各种图像处理算法的处理速度具有重要的实用价值。针对像素级图像处理算法具有并行化程度高的特点,利用GPU的高性能并行处理能力,提出基于CUDA的数字图像并行化处理方法,提高了处理速度。     

基于风电场SCADA系统的云平台设计

为充分利用风电场集控中心采集爆炸式增长的海量数据,解决风电场SCADA系统数据存储和处理能力不足的问题,设计基于SCADA系统的云计算平台,实现数据的高效分布式存储以及处理。传统LS-SVM适用于小样本数据,对风电场海量数据的处理比较乏力,针对此问题,采用MapReduce云计算平台实现算法并行化,并用遗传算法对其进行参数寻优。最后利用某实际风电场SCADA系统的历史数据,实现短期风功率预测功能。在数据不断增加的情况下,采用MapReduce云计算平台实现LS-SVM算法并行化训练比单机LS-SVM训练缩短的时间十分显著,可增强SCADA系统的实时性;当数据增加到1.2 GB时,时间缩短一半,而准确度相差0.1%。     

基于Hadoop集群的DDoS攻击分布式检测架构设计

针对当前存在“傀儡机”利用DDoS攻击发送虚假信息,从而占用用户带宽并进行分布式拒绝服务攻击的问题,该文设计了基于Hadoop集群的分布式入侵检测系统架构。该系统对传统检测进行改进,可精简并融合大量多源数据,随后通过自适应调整阈值实现统一分析与管理的目标。结果表明,该系统具有较强的扩展性与分布性,可以通过扩展集群规模以及调大HDFS的“块”信息来提升检测性能。与传统检测相比,该系统能够从海量数据中快速挖掘高价值信息,还可以有效提高DDoS攻击的检测率。     

集群式并行高性能运算技术分析及其在数字电影拷贝制作系统中的应用

高性能计算机,尤其是集群式计算系统在近些年开始逐步被应用在并行渲染计算领域.北京电影学院数字媒体技术研究所在进行数字电影拷贝制作系统的研究时,运算并行化是其中重要的一个方面.本文对于集群运算的特点进行了简单介绍,对于数字电影拷贝中的运算特点进行了分析,阐述了对于并行数字电影拷贝制作系统实现的原理与方法,并针对所实现的系统进行了监视与分析,对今后如何更好的发展并行数字电影拷贝制作系统提出了展望.     

接触问题的MPI+OpenMP混合并行计算

针对接触计算问题中需要大量全局通信的特点,结合当前流行的多处理器集群系统,采用了MPI+OpenMP的混合并行模式,实现了接触问题的并行计算。以双重区域剖分并行算法为基础,内力计算部分在采用MPI并行基础上,使用基于分块结构的OpenMP并行编程,使得接触力并行计算中涉及的全局通信时间无需增加,从而进一步提高了并行效率。数值模拟实验表明,这种并行方式能在上百处理器上实现千万自由度接触问题的并行计算。     

基于CTR模式的视频监控系统数据加密方法

针对视频数据具有实时性高、数据量大、编解码复杂的特点，本文提出了一种使用DES加密算法CTR模式的数据加密和密钥生成方案。在该方案中，充分发挥CTR模式的优越性来提高视频加密速度，通过密钥的复杂性来确保视频数据的安全性。本人参与了导师承接的加密网络视频监控系统研发项目，针对该方案进行了深入研究和实现，实验证明两种方案能够在确保系统安全性的前提下，有效提高数据传输效率。