浅析基于Hadoop的高校大数据云平台设计

为加强高校数据中心的建设,基于Hadoop构建的学院大数据云平台设计,对结构化与非结构化数据存储进行设计并优化。在满足学院大规模业务数据存储需求的同时,还提供了强大的云计算能力,为大数据时代的数据挖掘提供了高效的计算模型,提高了学院工作效率。     

基于Hadoop的高频电力负荷监测数据存储研究

电力负荷数据采集频率已从分钟级低频数据转向秒级甚至毫秒级的高频数据,数据存储量级呈数百倍增长,对数据的存储及查询的效率要求更高。为处理这些海量数据,设计了基于Hadoop技术的负荷数据存储系统,并验证了该系统具备分布式存储及实时查询的优势,适合智能电网环境下高频负荷数据的存储。     

基于云存储的教学资源共享平台的设计与实现

为解决传统平台资源存储的瓶颈和提升用户在海量信息中检索所需教学资源的速度,对云平台中教学资源的存储结构、融合Hbase和My SQL两类数据库优势的混合式数据库系统以及基于J2EE中主流SSH2框架的WEB系统进行设计,使用Hadoop的分布式文件系统来存储教学资源,实现了一个基于Hadoop的云教学资源平台。     

面向半导体制造的大数据分析平台

为充分利用半导体制造过程产生的大量数据,发掘数据中蕴含的价值,对半导体制造过程进行分析、预测和调控,建立了半导体制造大数据分析平台。归纳得出了半导体制造过程中大数据的特性,提出了半导体制造大数据分析体系架构,分析了其关键技术和实现方法。根据半导体制造过程中大数据的使用特点,将数据导入、去重、筛选、标准化等共性操作归入平台通用预处理层;预处理后的数据进入数据仓库层,在数据仓库中按主题进行组织;最上方的专用处理算法层根据上层应用的特定数据要求,从数据仓库中抽取数据,使用专用算法进行处理,为其提供标准化、可靠、可复用的数据资源。最后基于半导体制造企业的实际情况搭建了原型系统,对半导体制造过程产生的大量实际数据进行导入、存储、组织和预处理,并进行了性能测试和常用统计分析算法测试。     

基于Hadoop的葡萄种植大数据处理系统设计

随着大数据智能时代的到来,用数据创新、数据决策已逐渐成为科研创新和管理决策的新常态、新模式。葡萄种植的各个环节产生了大量的数据,如何处理并有效利用这些海量数据成为当前企业发展过程中面临的一大难题。现基于传统的数据仓库与Hadoop大数据技术框架,结合企业实际情况,分析设计了葡萄种植大数据系统,以快速处理葡萄种植的大数据。     

在Hadoop集群下的智能电网数据云仓库设计

针对电网数据规模大、类型多、价值密度小、变化速度快、地理位置离散的特点,为了对这些数据进行有效、可靠、低廉地存储以及快速地访问与分析,满足智能电网运行、检修、效益管理等应用的需求,提出了在Hadoop廉价PC机集群下的智能电网数据云仓库的解决方案,为挖掘海量电网数据提供有效、可靠、低廉的工具。首先分析了电网大数据的特点,再结合IEC61970标准通用信息模型的特点,基于Hadoop框架,设计出满足电网大数据处理需求的电力信息云仓库。最后通过以调度系统使用云仓库为例,测试云仓库的性能,证明了电力信息云仓库在应用上具有高效、可靠、廉价的优势。     

大数据背景下基于分布式LDA算法的生产模式识别

结合大数据时代背景,在车间已经实现信息化的基础上,自行设计构建出了一种基于Hadoop框架的车间系统架构,用于车间海量数据的存储和分析。运用HDFS存储车间产生的海量数据;借鉴控制图识别不同生产模式的方法,将Mapreduce编程模型与LDA算法相结合对存储在HDFS上的数据进行分析,实现了对异常生产模式的快速识别和对生产过程的实时监控,从而解决了产品在生产过程中产生的海量数据存储难、分析难的问题,并为上层决策提供了支持。     

一种基于工作流和数据仓库的银行协同电子商务系统

研究在数据库和数据仓库的支持下,如何利用工作流管理方法建立协同工作的银行电子商务系统.系统在支持原有联机交易的同时,也支持在线分析,使银行电子商务的服务功能得到扩展,为建立和完善客户关系管理提供更可靠的支持.系统首先根据银行业务的实际情况和数据特点,用工作流管理方法进行过程定义,工作流管理系统使用分析工具,从多个角度对数据仓库、数据库的数据进行分析,得到所需的数据,使工作流执行过程中不仅有联机的实时数据,还有联机的分析数据,从而可以更好地支持银行电子商务的协同处理.系统基于关系数据库构建数据仓库,由于数据仓库空间开销大,为节省存储空间,使用了一种线性变换方法,将事实表中维的属性进行压缩存储.最后,通过实验数据验证上述成果的可行性.     

基于Hadoop虚拟仿真教学管理系统研究

大数据时代的到来,针对Hadoop教学资源、实训设备等极度缺乏的背景,本文以Hadoop虚拟仿真教学管理系统研究为目的,结合教育技术与信息技术,采用Java Web开发技术,选用Mysql与HBase作为基础数据库,开发基于Hadoop的综合性实训平台,旨在实现教学管理、实验辅助教学管理、Hadoop课程资源以及其他课程资源开放性、共享性、职业性,实现教育资源普及更广泛、空间覆盖更大和智慧教育更突出,推动学校虚拟仿真实验室建设和创新实践教学改革。     

基于Hadoop的小文件分布式存储技术研究

HDFS （Hadoop Distributed File System）以其高容错性、高伸缩性等优点,允许用户将Hadoop部署在低廉的硬件上,广泛适用于大文件存储。然而对于海量小文件,因为内存开销过高,因此对数据的存储技术提出了更高的要求。基于Hadoop分布式文件系统(HDFS)架构,研究小文件在Hadoop架构下的数据处理策略,通过实验将其与传统的文件系统的读写、计算速度进行比较。     

用于DSS的关系数据库查询优化

本文针对关系数据系统并不能满足决策支持系统(DSS)在数据仓库的数据存储要求,提出通过一些技术,来用于DSS,这里主要是优化查询技术使关系数据库管理系统在数据仓库应用环境中的性能得到大幅度的提高。     

基于NoSQL的文件型大数据存储技术研究

针对云计算中不断增长的文件数据存储需求,提出非关系数据库(Not Only SQL)中文件型大数据的存储技术。脱离传统的信息系统和文件系统混合存储文件数据方法,采用MongoDB数据库集群作为存储底层,将数据存储于分布各MongoDB结点中,且存储空间可自由扩展。采用数据分片的方法,实现了文件型大数据的均衡存储,并给出了存储文件数据一般算法。基于NoSQL技术的大数据存储是一种新型应用方式,该系统的负载均衡能力和可扩展度均优于传统技术。     

基于云计算的海量数据存储

针对因网络的广泛应用而产生的海量数据的存储问题,在云计算技术的基础上,分析了Hadoop框架结构和MapReduce的计算模型,提出了基于云计算的海量数据存储技术架构图,并对存储层进行了进一步分析.该存储结构解决了网络中海量数据存储中存在的问题,提高了存储的效率和安全性.     

基于动态稀疏矩阵的数据仓库模型在采购决策中的应用研究

从OLAP的稀疏矩阵处理原则角度出发,提出了基于动态稀疏矩阵结构的数据仓库建模理论。在太原重机采购招标系统的应用课题中,设计和开发了动态稀疏矩阵结构的数据仓库存储模型。该模型提高了采购招标系统数据仓库的存储弹性和数据分析效率,同时保证了项目体系结构的完整性,实现了稳定安全的数据使用环境,并为进一步的DSS决策支持系统的开发和应用打下了良好的基础。     

面向航空数字化车间的新型工业数据处理架构及多场景应用

在数据驱动的智能制造车间生产环境下,数据的处理、存储及挖掘变得愈发重要.传统单一流向的数据处理架构延时严重、缺乏实时控制、调用效率低,无法适应航空加工多、快又好的制造特点.鉴于此,基于航空制造的环境特点,提出一种结合边缘计算和反馈控制的新型Phi数据处理架构.通过融合数据流处理和批处理,满足信息的实时监控和历史数据追溯功能;通过布置在设备层和中继层的边缘计算单元,满足生产现场数据的流量监控、快速反馈等需求;更进一步,借助Hadoop生态技术和微服务开发模式,使数据处理平台更适应于海量工业数据的存储、访问及不同场景下的柔性调用.最后,在实验室搭建的模拟车间进行了验证,结果表明新型Phi架构在数据监控、温度补偿和低延时控制等场景中均得到了有效应用,并提升了系统的稳定性和扩展性,为推动航空制造数字化车间向高质量、高效率和高稳定性发展提供了重要的平台支撑.     

基于ELT技术的数据仓库系统建立的研究

不同数据库中的数据由于没有统一的标准,给数据仓库的建立带来了麻烦.ETL工具作为数据提取,转换和加载的工具,能够为数据仓库的建立提供高质量的可靠数据,是数据仓库的重要组成部分.本文提出了一种基于ELT技术的数据仓库建立方法,能够为企业建立统一的,完整的,高质量的数据仓库.     

基于Hadoop的视频监控系统开发和应用

针对视频收集设备对于视频处理精度不断提高的需求,设计了基于Hadoop技术的视频监控系统.对视频监控系统的展示层、应用服务层、技术支撑层、平台接入层等进行分析,设计了系统的整体架构.根据视频监控系统的架构,主要包括存储接口、存储管理模块、录像存储模块、实时监控和历史回放等,设计了系统的数据库,其中包括用户表、视频分割表、视频数据库、用户访问视频数据库.通过系统测试表明:基于Hadoop的视频监控系统能够解决传统视频监控问题,且提高了系统监控安全性和有效性.     

流程工业生产调度与控制集成系统数据库设计

根据流程工业生产调度与控制集成系统的应用需求,该文建立了实时数据库管理系统的体系结构,对实时数据库的管理对象、存储内容、表单结构及录入算法进行了探讨,并选用SQL Server2000提供的数据仓库解决方案建立了流程工业生产调度数据仓库系统,提供了调度知识获取与调度知识库的建立方案,为实现流程工业生产调度与控制系统的集成提供了一种新的数据存储与知识获取方法。     

数据仓库在企业安全管理信息系统中的应用研究

基于对企业现有安全管理信息数据技术的研究,探讨数据仓库技术在企业安全管理信息系统方面的应用,提出利用数据仓库技术（DW）来解决关键技术,并设计出一种基于数据仓库的企业安全管理模型,为企业的安全管理工作提供了一种有效的技术途径,展望了数据仓库技术在企业的应用前景。     

基于LDAP和负载均衡技术的监控数据采集系统设计与实现

作者在实际应用基础上提出了一套基于LDAP技术的基站网优数据采集系统解决方案,并对其中涉及的关键技术进行了详细介绍。通过LDAP目录服务技术与负载均衡技术解决了应用系统接入层负载过大和多种采集需求并存而采集数据存储结构复杂的问题,本方案将多台服务器集中起来进行高速在线数据采集和监控服务,为大型网优网络的监控数据采集系统提供了模型。