基于Hadoop的云存储系统的设计与研究

针对海量数据的存储和处理,设计了一个基于Hadoop的云存储系统.该系统在分布式文件系统和MapReduce编程模型2个核心技术的基础上建立基于Hadoop的云存储模型,优化了存储方式,提高了集群中网络带宽和磁盘的利用率,同时MapReduce编程框架的设计使系统拥有更强的计算能力.该系统可通过Linux集群技术搭建Hadoop平台,进行测试和分析.应用实践表明,该系统具有低成本、高效率、易扩展和安全可靠等特点,能稳定高效地满足海量数据的处理要求.     

视频监控网络化时代云存储的机遇与挑战

随着云时代的到来,在大数据技术支持下,视频监控存储等技术应用,在智慧城市、智能交通等建设过程中,产生了海量的非结构化视、音频数据。值得一提的是,大数据技术在视频监控存储中的运用会带来诸多的挑战和机遇。无论是供应商还是存储厂商、解决方案提供商等,纷纷应对挑战,对存储网络计算虚拟化数据解决方案基础上的大量资源建设予以投入,从而产生了云时代下业界同仁一拥而上、热血沸腾的态势。     

基于RHadoop搭建大数据统计分析平台

Hadoop是当前非常流行的大数据分布式处理基础架构,通过HDFS和Mapredue实现了对海量数据的高速运算和存储。R软件是具有完善数据统计分析功能且被广泛使用的开源系统。文章叙述了基于R和Hadoop构建大数据统计分析平台的过程,藉此实现对大数据的统计分析。     

基于Hadoop的智能电网监控系统的设计与实现

针对智能电网监控系统中海量监控数据存取、处理困难的问题,通过综合利用地理信息技术、网络通信技术和分布式数据库技术等,提出一种基于Hadoop云计算框架的智能电网监控系统,并介绍了系统的工作流程。最后结合浙江省杭州市某地区的虚拟电网中某电厂的运行进行了实例介绍和分析。实例表明,相比传统数据库模式和已有方法,系统对信息处理具有更高的效率和可靠性。     

基于Hadoop的云存储平台设计研究

本文阐述了云计算和云存储的相关理论,对Hadoop分布式文件系统HDFS和计算模型MapReduce进行深入分析,通过Hadoop平台实现数据云存储,提供了稳定的共享存储和分析系统,从而解决访问速度和安全性问题,实现海量数据的存储管理。     

基于Hadoop的工业大数据存储分析系统

工业大数据具有规模庞大、业务复杂等的特点,为数据存储、查询和分析计算带了难度。为了优化工业大数据存储管理,提高系统存储、查询、分析效率,利用基于Hadoop技术针对业务库和实时监控数据库的存储管理进行优化。系统设计业务库的集群化同步存储架构,基于Maxwell组件将MySQL业务库数据实时同步到HBase,实现业务库的读写分离、提高数据查询和数据分析的效率;其次,基于Kafka和Flink对业务库同步数据进行实时计算处理,实现高并发数据写入场景下的低延迟响应;最后,实验进行了HBase和MySQL的性能对比测试,结果表明本系统在大规模数据场景下具有更好的计算效率表现,能够有效进行工业大数据分析存储。     

基于DW2.0的烟草海量数据分析系统的设计与实现

为解决传统数据仓库系统在数据存储、数据处理、数据展现能力等方面存在的问题,结合江苏中烟的实际应用情况,设计了烟草海量数据分析系统。借鉴DW2.0理论并结合大数据应用技术,引入分布式处理架构,采用传统数据仓库与Hadoop融合的方式,形成集成、协同的数据仓库架构;引入数据生命周期管理方法,提高系统的快速响应能力;利用Hadoop HBase处理非结构化数据,以Hadoop Map Reduce的并行计算框架作为通信层,调度和协调集群中各节点的计算和通信。测试结果表明,数据量在1亿条、10亿条时,新系统的响应时间比传统方式分别提升30%、80%,有效提高了数据查询效率,提升了企业数据仓库系统的应用水平。     

基于MongoDB存储和分析辅助决策系统中的海量日志

在辅助决策系统中,传统的关系型数据库已经难以满足对海量日志数据的管理,非关系型数据库的出现,为大规模数据存储挖掘问题提供了卓有成效的解决方案。文章着重分析非关系数据库MongoDB的特点和优势,通过存储和检索算法设计和实际的海量日志数据查询性能仿真,提出将MongoDB数据库应用于辅助决策系统中,有效提高了大规模日志数据存储和分析效率。     

基于Hadoop和Hive的电信行业数据仓库研究

分析处理海量数据成为各电信运营商急需解决的问题。本文描述的基于Hadoop和Hive的数据仓库能很好的解决这个问题,Hadoop依靠普通的PC集群提供可靠的并行计算服务和存储平台,Hive基于M／R框架,提供类SQL功能的HQL语言,为用户提供了一个高效、海量和便捷的数据仓库平台。通过对电信行业海量话单的分析证明,此数据仓库解决方案在处理海量数据上,具有关系型数据仓库不能比拟的性能。     

大数据环境下的智慧校园建设与应用

学校信息化建设已经经历了10多个年头,现有系统达到几十个,各个系统独立运行;同时安防监控,在线课程资源,上网行为非结构化数据资源在智慧校园建设中的作用已经体现。文章根据学校现状提出适合高校信息化建设的数据模型。主要通过Hadoop分布式系统架构解决结构化数据和非结构化数据之间的融合,为数据分析和决策提供依据。     

大数据时代的企业信息化管理

近年来企业产生的数据量急剧增长,传统信息化技术和分析模式已经无法应对新的挑战。以Hadoop为代表的大数据分布式处理技术的出现,为企业处理日益增长的海量非结构化数据提供了高效、可扩展的低成本解决方案。大数据技术可以有效弥补传统数据仓库的不足,深化和拓展企业的商业智能,提高决策水平,形成数据驱动的决策机制,推动企业信息化管理进入全新的阶段。     

基于大数据Hadoop框架的数据处理流程研究与案例实践

随着信息技术的发展及云时代的来临,大数据不仅将成为信息社会的重要财富,同时也将带来巨大的挑战。在许多领域数据都是源源不断的产生,形成了"数据灾难",要发挥数据的作用,数据处理与分析起到了关键作用。Hadoop被公认为大数据行业标准开源软件,在分布式环境下提供了海量数据的处理能力,其最核心的设计是为海量数据提供存储的HDFS(Hadoop分布式文件系统)和对海量数据进行计算的Map Reduce。本文将对大数据Hadoop框架进行介绍以及简要描述基于Hadoop架构的数据处理流程与实践。     

构建分布式区域医学影像存储平台关键技术的研究

本文在对分布式存储技术探究的基础上,结合医学影像存储的实际情况,分析了Hadoop技术在构建区域医学影像存储平台时存在的问题,通过改变文件格式和存储架构,实现对海量医学影像数据存储的同时又满足临床应用的实时性要求。     

基于Kudu的电力辅助设备实时监控业务解决方案

目前Hadoop分布式大数据平台不支持电力辅助设备实时监控业务,加入Kudu存储系统可以有效支撑实时监控数据实时入库、实时查询、数据实时分析等各类场景,并根据实际需要选择Impala-JDBC连接的方式向实时监控业务的分析系统和展示系统提供快速的联机事务处理和联机分析处理的数据共享能力。首先对电力辅助设备实时监控业务应用的难点进行分析,然后介绍相关解决方案和基于Kudu的解决方案。     

基于局部敏感哈希的多维海量数据处理

针对多维海量的超精密加工机床状态监控数据难以被高效地存储与查询这一问题,文章提出了基于局部敏感哈希的多维海量数据处理方法。该方法利用P稳定的局部敏感哈希算法,一方面对数据进行散列化存储,使分散在各存储节点上的数据在存取时避免了读写热点;另一方面也实现了数据降维,通过其结果的碰撞操作,保证了各存储节点内数据具有一定的近邻性,这一性质以牺牲一定的查询准确率为代价极大地缩小了查询范围,从而间接地提高了查询效率。实验结果表明,该处理方法可以有效的提高多维海量数据的存储与查询效率。     

面向制造层面的纺织集成化监控系统设计

为实现纺织厂各个车间生产监控系统的有效集成和数据资源在局域网内的共享,在原有车间监控系统的基础上,研制了一种通用数据接口,对异构数据库中的数据进行了有效集成;对系统实现过程中的2个技术难点:网络管理、信息安全进行了深入研究,并利用数据库技术、网络技术、RBAC理论对其分别进行了详细设计。同时,对系统的工作原理进行了介绍;构建了一种面向制造层面的集成化监控系统。结果表明:系统有效集成了各异构数据库中的数据,解决了数据孤立问题,实现了生产数据在局域网内的共享共用。     

结构化工艺在电子行业的应用研究

针对国内电子行业转型升级智造与创新的需求发展,以传统卡片为核心的工艺设计模式已无法适应工艺协同设计新的发展需求,更无法满足后端ERP(企业资源计划)与MES(制造执行系统)需要的数据要求。文章将结合结构化工艺详细描述结构化工艺设计的理念、流程、技术难点及工艺数据应用,以期为将建设结构化工艺的企业提供参考和帮助。     

计量、终端故障专家库的生成及应用

计量、终端故障专家库基于当前计量自动化系统基础应用,采用Hadoop的分布式处理技术,构建了以传统计量的关系库为基础,引入大数据技术的新型计量自动化系统;此外,利用Spark大数据技术实现提高海量数据分析性能,在数据库、应用以及数据采集等方面采用集群技术,提高系统的高效性、扩展性和可用性。根据专家专业经验分析,形成数据库,解决当前计量、终端故障判据单一的问题,并在计量自动化系统形成可视化页面,可以有效辅助计量工作的开展,提高效率。     

工业大数据挖掘分析及应用前景研究

当前传感器、多媒体、数据库和无线网络技术得到了快速发展和普及,并已经在工业生产中得到了广泛应用,由此开发了工业生产监控系统、工业设备维护系统、工业生产流程处理系统等,这些自动化系统在运行中积累了海量的数据资源。为了提高数据资源利用成效,发现数据中潜在的有价值的信息,亟需引入大数据挖掘技术,主要包括K均值算法、BP神经网络、遗传算法、关联规则等,以便能够提高工业大数据挖掘分析能力,建立一个先进的数据挖掘模式,具有较强的应用环境。