延迟光照算法对Hadoop集群渲染系统的改进与实现

针对集群渲染系统在三维场景文件输出过程中,海量数据处理以及存储的问题,利用Hadoop框架对现有系统进行分布式模型改造,以基于延迟光照算法的处理方式,对分布式存储和计算的业务逻辑结构部署,实现改进Hadoop集群渲染系统对任务的处理策略,提供高容错、可靠的存储和海量计算数据的方式.通过实验证明改进的Hadoop集群渲染系统可以提高系统利用率和任务处理能力.     

基于ROME模型的气瓶无线充装管理系统研究

气瓶无线充装管理系统由气瓶唯一条形码、手持器、无线基站、现场服务器以及ERP服务器组成。其中分析了ROME模型的基本部件在气瓶无线充装系统中的作用,划分了客户端与服务器端之间的界面,实现了基于ROME模型的任务的触发和调度管理,在实际应用中取得了较好的效果。     

基于ROME模型的气瓶无线充装管理系统研究

气瓶无线充装管理系统由气瓶唯一条形码、手持器、无线基站、现场服务器以及ERP服务器组成。其中分析了ROME模型的基本部件在气瓶无线充装系统中的作用,划分了客户端与服务器端之间的界面,实现了基于ROME模型的任务的触发和调度管理,在实际应用中取得了较好的效果。     

基于Hadoop平台的图像分类

随着图像数据的增加,海量的图像分类过程成为了一个耗时的过程。Hadoop是一个开源的分布式处理系统基础架构,有着优秀的海量数据处理性能。首先对Hadoop系统和编程框架进行了介绍,然后将图像分类中的海量数据处理过程在Hadoop平台上实现。与运行环境DELL powerEdge R170比较显示：基于Hadoop平台的图像分类在小图特征提取处理上Hadoop平台优势不明显,但对于大图特征提取、向量运算和kNN运算,耗时大大缩短,数据处理能力的优势明显。     

基于云计算的高校数字化资源整合系统方案

分析了高校数字化资源的现状及所面临的问题,介绍了云计算的结构模型,借助开源云计算系统Hadoop,给出了基于云计算的数字化资源整合系统方案.搭建了小型云计算集群,给出了配置方法,并对系统的输入输出性能进行了实验,验证了该方案在数字化资源整合研究中的可行性.     

云计算下基于拜占庭算法的容忍入侵技术研究

云计算是推动大规模、按需、动态计算发展的新兴技术.然而,云计算平台数据的容忍入侵性能仍有待提高.为了改进云计算平台的容忍入侵性能,研究基于拜占庭算法的容忍入侵技术,以Hadoop为平台实现了MinBFT和MinZyzzyva最小拜占庭算法原型.在对两种算法性能进行比较的基础上,改进了容忍入侵算法性能,实现了在2F+1个副本中容忍F个副本的错误;尽量减少内部通信资源开销和副本数量,降低云计算资源消耗,提高系统容忍入侵性能.     

MapReduce架构的多控制节点改进

MapReduce集群系统的单一控制节点结构使其存在着性能瓶颈问题,限制了集群的规模.为较好地解决系统性能瓶颈问题,提出了MapReduce架构的多控制点改进.新系统的实现基于Hadoop MapReduce,在对架构进行改进的同时,重新设计了信令系统,并增加了控制节点间的热备份机制.因此,新架构除了能解决瓶颈问题外,还可以通过控制节点间的热备份策略有效地应对控制节点故障,降低故障对集群性能的影响,保证应用的正常执行.     

基于C/S模式的有线电视网络管理系统

计算机通讯处以往的电视与电话管理系统是独立的,无法进行有效的统一管理,且原有的有线电视管理系统是单机版软件,已不能满足功能上的需求.作者基于局域网的有线电视网络管理系统,利用C/S(客户机/服务器)网络编程方法,实现了派工、安装和维护各部门协同工作和相互监督,并与现有的网络电话管理系统进行了互连,使两个不同的业务系统有机地结合在一起.该系统投入使用后,效果良好.     

基于C/S模式的有线电视网络管理系统

计算机通讯处以往的电视与电话管理系统是独立的,无法进行有效的统一管理,且原有的有线电视管理系统是单机版软件,已不能满足功能上的需求.作者基于局域网的有线电视网络管理系统,利用C/S(客户机/服务器)网络编程方法,实现了派工、安装和维护各部门协同工作和相互监督,并与现有的网络电话管理系统进行了互连,使两个不同的业务系统有机地结合在一起.该系统投入使用后,效果良好.     

基于Hadoop MapReduce的大规模数据索引构建与集群性能分析

为了满足搜索引擎构建索引的时空开销需求,构建高效的分布式索引,利用Hadoop搭建分布式集群环境,基于MapReduce编程实现大数据倒排索引.采用不同的网络带宽、数据量和集群节点数来评估Hadoop集群的性能.实验结果表明:网络带宽越大,集群处理效率越高;集群节点数越多,处理大数据的能力越强.可见,网络通信带宽对Ha...     

基于Hadoop的校园云存储系统的研究

针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,存储效率低等缺点。通过对Hadoop框架和MapReduce编程模型等云计算核心技术的分析和研究,提出了一种基于Hadoop框架的海量数据存储模型,并在此模型的基础上,设计并实现了基于Hadoop的校园云存储系统。经过实验验证,该系统有效地解决了在校园办公、教学和科研过程中遇到的海量数据存储管理问题,具有开发成本低、处理速度较快、运行稳定、易于扩展等特点。     

基于云计算平台的代价敏感集成学习算法研究

针对现实生活中大规模不平衡数据的分类问题,设计了一种基于云计算平台的代价敏感集成学习分类算法。Hadoop云计算平台对海量数据进行划分用于并行学习,同时结合代价敏感的思想对学习得到的基分类器进行加权集成,实现了云计算平台上的代价敏感集成学习分类模型。仿真实验表明该模型能够明显提高少数类的查全率,同时Hadoop的并行机制使得云平台坏境下的集成学习时间较集中式环境有大幅度的缩减,进一步提高了大规模不平衡数据分类问题的学习效率。     

云存储在校园信息化中的应用与优化

针对目前校园海量数据存储面临的服务器资源利用率低、管理维护成本高等问题,在云存储技术的基础上提出了校园云存储服务的设计,并进行了实验．为减少读写速率的损失,系统通过调用HDFS（Hadoop distributed file system）的API接口方式实现数据存储及对集群的状态监控和管理．实验表明：传输文件的大小和集群中数据节点的个数对云存储服务的数据读写速率的影响较大;HDFS并行传输大量小文件的速率相对较低．     

基于WebGIS的油气管道风险等级区划研究

安全管理是油气管道十分重要的管理工作之一。作为一种方法,基于WebGIS的风险等级区划能够提升安全管理水平。以ArcGIS Server作为WebGIS开发系统,SQL Server作为存储管道数据的数据库,采用ArcSDE作为GIS服务器,构建了基于WebGIS的油气管道信息管理系统;结合管道的实际情况,对Kent M W的风险评分法进行修改;引入层次分析法对专家评分水平进行综合评定,提出了油气管道风险等级区划方法。实例表明,基于Web GIS的改进的风险区划方法直观、简单易用。     

HDFS平台上以能效为考量的小文件合并

为了解决Hadoop分布式文件系统(HDFS)平台上小文件的存在带来MapReduce程序运行能耗成本偏高问题,建立Hadoop节点集群的能耗模型进行分析推导,证明了在Hadoop平台上,存在能使程序运行能耗成本最低的最优文件大小,并在此基础上结合经济学边际分析理论提出一种基于能耗成本和访问成本考虑的最优文件大小判定策略. 此策略可以对存放在HDFS上的小文件合并进行效益计算,将小文件合并为成本最优文件大小以获得最佳收益. 通过实验证明了能效最优数据块大小的存在,并通过实验证明了成本和效益相结合利用边际分析理论来确定数据块大小的合理性和有效性.     

Oozie工作流在Mahout分布式数据挖掘中的应用

针对现有数据挖掘软件不支持用户有序、动态地按需定制并行数据挖掘算法,且不能充分利用计算集群的能力,分析了 Hadoop技术及其多种数据处理组件,提出应用 Mahout分布式数据挖掘算法库和 Oozie 工作流技术在 Hadoop 中构建数据挖掘工作流的方法,并设计实现了一个聚类工作流实例。实验结果证明,该方法简单,且能有效地组织数据挖掘流程。     

面向教育资源云存储系统的副本管理

根据教育领域中资源访问的聚集性等特征,以教育资源云存储系统架构为基础,设计了副本热度表征副本访问聚集性程度,实现了基于时空特征的副本相关数值计算;同时运用服务集概念和Hadoop分布式文件系统(HDFS)的存储机制提出了三方面的副本管理策略;最后在已开发的教育云存储系统ERS-cloud上进行了一系列实验,结果表明该策略能有效提升教育云存储系统应用效率.     

基于MVC模式和Ajax技术的图书管理系统研究

分析了现有图书管理系统中存在的问题和不足,提出了一个基于MVC模式和Ajax技术相结合的协同工作解决方案,实现了无刷新页面数据的联动显示,设计出了范式查询算法、分层安全控制方法,对同类系统的分析、设计以及实现具有一定的参考价值.