基于MapReduce模型的分布式Word文档破解

利用Word加密机制中存在的漏洞,实现了与加密密钥长度无关的常量时间破解,同时提出了基于MapReduce架构实现Word文档破解的方案,简化了分布式程序设计。实验表明了该方案的有效性,分布式计算中节点之间的并行消耗低。     

基于无缝拼接的分布式多屏渲染系统

设计了一个基于分布式实时渲染、分屏拼接显示的多屏渲染系统。该系统从渲染到最后分屏软拼接均采用基于PC集群的架构和纯软件的实现方法。文中详细论述了系统的架构以及其中软件消除拼缝的机制和同步控制的算法。     

基于Hadoop 的标签推荐系统设计

个性化推荐技术的发展有利于解决互联网海量数据信息过载问题。本文在了解分布式处理架构的特点的基 础上,提出了基于Hadoop 构建标签推荐系统方案。采用基于MapReduce 模型实现的算法具有较高的伸缩性和性能,能高效 地进行离线数据分析。     

基于无线局域网络的分布式集群渲染技术

文章描述了基于局域网的分布式渲染技术,并就职业院校学生在较大的视图场景或动画渲染遇到的困难,提出了基于WLAN的分布式渲染技术的解决方案,并通过一个具体的案例验证实现的过程。该方案简单实用,易于实现,效果明显。     

基于GPU快速光线跟踪算法的设计与实现

设计和实现了GPU上基于流的光线跟踪算法，采用一种基于线索二叉树的KD-Tree结构组织场景，避免了传统KD-Tree结构在遍历场景时在堆栈上的开销。算法在组织复杂场景上，优于利用传统KD-Tree和均匀剖分结构加速场景遍历的方法，在普通PC上实现了光线跟踪的快速渲染。     

基于MapReduce的并行同态加密算法

根据云计算分布式的特点,并结合同态加密和Hadoop环境下MapReduce并行框架,提出了一种基于MapReduce计算框架的并行同态加密方案。实现了具体的并行同态加密算法,并对该方案的安全性和正确性进行了理论分析。同时,在16个核的计算集群中进行实验,数据加密的加速比可以达到13。实验结果表明,基于MapReduce的同态加密方案可以有效地减少数据的加密时间,有利于面向实时的应用。     

基于Hadoop架构的大数据量日志存储和检索优化

Hadoop 是一个实现 MapReduce 计算模型的开源分布式并行编程框架,借助于 Hadoop,程序员可以轻松编写分布式并行程序,并将其运行于计算机集群上,完成海量数据的计算。本文介绍了基于Hadoop架构的系统的设计与实现,介绍如何提高Hadoop的分布式文件管理系统（HDFS）和MapReduce的执行效率与速度,以及 Hadoop 的安装部署和基本运行方法。     

基于MapReduce的图像分类方法

针对现有的方法不能有效用于图像大数据分类的问题,提出了一种基于MapReduce编程模型的图像分类方法,在分类的全过程利用MapReduce机制加速分类过程。首先,利用MapReduce机制实现对图像尺度不变特征变换(SIFT)特征的分布式提取,并通过稀疏编码将其转换为稀疏向量,生成图像的稀疏特征;然后,利用MapReduce机制实现对随机森林的分布式训练;在此基础上,利用MapReduce机制对图像集实现基于随机森林方法的并行分类。通过在Hadoop平台的实验结果表明,该方法能够充分利用MapReduce框架的分布式特性,对大规模图像数据实现快速准确分类。     

基于表面微结构与BRDF的真实感渲染

物体表面细微结构(Mesostructure)对于表现物体表面的形状起着非常重要的作用。如何有效表现物体的表面微结构一直都是计算机图形学领域研究的一个重要课题。文中提出了一种基于光线跟踪的表面微结构渲染方法。该方法通过首先构造一张表面微结构的网格，然后在该网格上进行光线跟踪决定表面微结构上的自阴影和遮挡，最后使用测量得到的BRDF数据确定表面在不同视角和光线角度下的反射系数，能很真实地渲染出物体表面的细微结构和光泽特性。     

基于分布式渲染架构的远程可视化研究

互联网带宽的增长催生了远程可视化,它有着更好的分享性、移动性和方便性.针对大规模数据的远程可视化问题,提出了一种基于Sort-Last的分布式渲染架构,给出了基于GPU的融合、抗锯齿等算法.该架构用于远程可视化的服务器端,包括渲染节点、融合节点和任务节点等3层结构,具有良好的可扩展性.基于此,实现了一个远程可视化系统Waterman,提供基于Internet的高精地形渲染和海洋排放口污水扩散可视化服务,并给出了详细的设计方法和技术细节,包括基于Raycasting的地形渲染算法、基于陆地掩蔽(mask)方法的海面渲染技术和基于图片、网格模型的客户端混合实现技术等.最后对该架构和系统进行了性能测试和分析.提出的方法实用、鲁棒、扩展性好,可为同类系统设计提供很好的参考.     

Hadoop云平台MapReduce模型优化研究

针对Hadoop平台MapReduce分布式计算模型运行机制中的顺序制约而产生的计算资源浪费问题,从提高平台中每个执行节点的细粒度并行数据处理角度出发,结合Java共享内存多线程编程技术,对该模型进行了优化,提出一种MapReduce+OpenMP粗细粒度相结合的分布式并行计算模型。并在由四个节点组成的Hadoop集群环境下对不同规模大小的出租车GPS轨迹数据分析处理,验证该模型的性能和效率,实验结果证明MapReduce+OpenMP分布式并行计算模型确实能够提高针对大数据集的计算效率,是对Hadoop平台大数据分析处理模型有效的完善和优化。     

基于Hadoop MapReduce模型的应用研究

MapReduce是一种简化并行计算的分布式编程模型,是Google的一项重要技术,通常被用于数据密集型的分布式并行计算.探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法.     

基于Hadoop平台的LDA算法的并行化实现

随着互联网的飞速发展,需要处理的数据量不断增加,在互联网数据挖掘领域中传统的单机文本聚类算法无法满足海量数据处理的要求,针对在单机情况下,传统LDA算法无法分析处理大规模语料集的问题,提出基于MapReduce计算框架,采用Gibbs抽样方法的并行化LDA主题模型的建立方法。利用分布式计算框架MapReduce研究了LDA主题模型的并行化实现,并且考察了该并行计算程序的计算性能。通过对Hadoop并行计算与单机计算进行实验对比,发现该方法在处理大规模语料时,能够较大地提升算法的运行速度,并且随着集群节点数的增加,在加速比方面也有较好的表现。基于Hadoop平台并行化地实现LDA算法具有可行性,解决了单机无法分析大规模语料集中潜藏主题信息的问题。     

基于Hadoop的封闭直方图立方

封闭数据立方是一种有效的无损压缩技术,它去掉了数据立方中的冗余信息,从而有效降低了数据立方的存储空间、加快了计算速度,而且几乎不影响查询性能.Hadoop的MapReduce并行计算模型为数据立方的计算提供了技术支持,Hadoop的分布式文件系统HDFS为数据立方的存储提供了保障.为了节省存储空间、加快查询速度,在传统数据立方的基础上提出封闭直方图立方,它在封闭数据立方的基础上通过编码技术进一步节省了存储空间,通过建立索引加快了查询速度.Hadoop并行计算平台不论从扩展性还是均衡性都为封闭直方图立方提供了保证.实验证明:封闭直方图立方对数据立方进行了有效压缩,具有较高的查询性能,根据Hadoop的特点通过增加节点个数明显加快了计算速度.     

Hadoop平台在云计算中的应用

云计算是当前比较热门的新兴技术之一,受到业界的广泛关注。Hadoop是一个可实现大规模分布式计算的开源软件平台,因此被广泛应用在云计算领域。本文在对Hadoop的主要组件Hadoop分布式文件系统HDFS（Hadoop Distributed File System）和计算模型MapReduce进行深入分析和研究的基础上,建立基于Hadoop平台的云计算模型,通过实验证明该模型可以有效完成分布式数据处理任务。     

基于最小生成树的大规模数据分类模型及其MapReduce实现

数据的快速增长,为我们提供了更多的信息,然而,也对传统信息获取技术提出了挑战。这篇论文提出了MCMM算法,它是基于MapReduce的大规模数据分类模型的最小生成树（MST）的算法。它可以看做是介于传统的KNN方法和基于聚类分类方法之间的模型,旨在克服这两种方法的不足并能处理大规模的数据。在这一模型中,训练集作为有权重的无向完全图来处理。顶点是对象,两点之间边的权重是对象间的距离。这一距离,不同于欧几里得距离,它是一个特定的距离度量。这样,可以找到图中最小生成树集,其中,图中每棵树代表一个类。为了降低时间复杂度,提取了每棵树中最具代表性的点来代表该树。这些压缩了的点集,可以通过计算无标签对象和它们之间的距离,来进行分类。MCMM模型基于MapReduce实现并且部署在Hadoop平台。该模型可扩展处理大规模的数据,是因为Hadoop支持数据密集分布应用,并且这些应用可以和数以千计的节点和数据一起运作。另外,MapReduce 和Hadoop能在由商品机组成的集群上很好的运行。MCMM模型使用云平台并且通过使用MapReduce 和Hadoop进行云计算是有益处的。实验采用的数据集包括从UCI数据库得到的真实数据和一些模拟数据,实验使用了4000个集群。实验表明,MCMM模型在精确度和扩展性上优于KNN和其他一些经常使用的基础分类方法。     

基于Hadoop的广域网分布式主题爬虫系统框架

广域网分布式爬虫与局域网爬虫相比有诸多的优势,而现有基于Hadoop分布式爬虫的设计主要是面向局域网环境的。为解决Hadoop分布式计算平台不适合部署于广域网的问题,设计了一个基于Hadoop的广域网分布式爬虫系统框架。爬虫系统利用消息中间件实现分布式可靠通信,数据存储采用可伸缩的Hadoop分布式文件系统HDFS,网页解析利用MapReduce并行处理,并基于模板匹配实现框架可定制。系统的性能仿真显示该框架具有支撑大规模爬虫并发工作的能力。     

基于Hadoop云计算模型探究

云计算是并行计算、分布式计算和网格计算的发展。文中详细地阐述了MapReduce的编程思想、工作原理、步骤和方法。探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法。     

基于开源Hadoop的矢量空间数据分布式处理研究

为实现大规模矢量数据的高性能处理,在开源项目Hadoop基础上,设计与开发了一个基于MapReduce的矢量数据分布式计算系统。根据矢量空间数据的特点,通过分析Key/Value数据模型及GeoJSON地理数据编码格式,构建了可存储于Hadoop hdfs的矢量数据Key/Value文本文件格式;探讨矢量数据的MapReduce计算过程,对Map数据分片、并行处理过程及Reduce结果合并等关键步骤进行了详细阐述;基于上述技术,建立了矢量数据分布式计算原型系统,详细介绍系统组成,并将其应用于处理关中地区1∶10万土地利用矢量空间数据,取得较好效果。     

MapReduce集群环境下的数据放置策略

MapReduce是一种适用于大规模数据密集型应用的有效编程模型,具有编程简单、易于扩展、容错性好等特点,已在并行和分布式计算领域得到了广泛且成功的应用.由于MapReduce将计算扩展到大规模的机器集群上,处理数据的合理放置成为影响MapReduce集群系统性能(包括能耗、资源利用率、通信和I/O代价、响应时间、系统的可靠性和吞吐率等)的关键因素之一.首先,对MapReduce编程模型的典型实现——Hadoop缺省的数据放置策略进行分析,并进一步讨论了MapReduce框架下,设计数据放置策略时需考虑的关键问题和衡量数据放置策略的标准;其次,对目前MapReduce集群环境下的数据放置策略优化方法的研究与进展进行了综述和分析;最后,分析和归纳了MapReduce集群环境下数据放置策略的下一步研究工作.