基于Hadoop的藏区古建筑火灾探测系统研究

结合无线传感器网络技术和大数据处理方式,在Linux系统上搭建Hadoop集群,以Hdfs分布存储传感节点的信息,建立实时Hbase分布式数据库。整个系统采用四层结构,介绍系统架构及设置,结合藏区寺庙古建筑火灾进行系统测试。结果表明,该系统在数据存储和处理方面可以提高计算速度,能够准确预测火情发生,具有很高的实用性和可扩展性。     

移动互联网时代医院数据存储平台关键技术研究与应用

本文利用先进的SQLserver和Oracle数据库等管理软件,部署和组建了一个先进的数据存储平台,该平台能够利用先进的Hadoop集群访问算法,存储大容量的医院信息资源,包括视频、图片和文本等,还可以根据用户访问的频次,设置数据的优先级,实现对热点数据的迁移,提高数据存储平台的效率。     

基于大数据的电动汽车报文实时分析系统设计与实现

基于提高电动汽车报文分析系统的实时性、可扩展性、高可用性的目的,采用了Flume+Kafka+Storm+HBase大数据框架的组合技术,通过了电动汽车报文实时分析系统的建设及对实时数据清洗、分析、预警的使用,得出了该项技术在实时性、可扩展性、高可用性方面的提升起到了有效、关键的作用。     

基于Hadoop的校园导览大数据分析平台构建及应用

基于Serverless无服务器架构搭建的知晓云校园导览小程序,提出了一种Hadoop和Spark统一部署的校园导览大数据分析设计方案,并对构建该平台的关键技术和步骤进行说明。实践验证,相对以往单一Hadoop平台,文章所构建的混合平台具有计算资源按需伸缩、集群利用率高、避免数据跨集群迁移等优势,更适应企业实际使用。     

基于Hadoop+BP神经网络的海绵城市大数据平台设计研究

依托西安小寨区域海绵城市工程构建基于Hadoop+BP神经网络的海绵城市大数据平台,将HDFS(Hadoop Distributed File System)作为智能数据存储分析计算单元,在提高海量数据的访问效率、节省集群存储空间的同时,为海绵城市的决策支持提供了数据支撑,推进小寨区域海绵城市工程建设。     

基于Hadoop大数据框架的BIM数据云平台架构设计与实现

随着BIM技术的应用与发展,行业内不再局限于工具软件层面以及项目单体的应用,城市级海量BIM数据的存储、管理和分析的应用需求日益增加。本研究针对此项需求,通过Hadoop大数据框架、云计算技术、Web GL3D显示技术和BIM信息交换模板等技术的结合,提出了适用于海量BIM数据存储、管理和分析应用的BIM数据云平台,并包含以下功能:BIM数据文件解析,基于Web GL的3D可视化、BIM对象查询、BIM对象属性列表、BIM子模型抽取。BIM数据云平台的核心是数据管理,通过Hbase和HDFS,实现了PB级BIM模型的存储与管理,是当前城市级BIM数据管理的理想数据管理平台。     

基于云计算的半结构化BIM数据库研究

近十年来,BIM技术得到快速发展,但现有技术和系统仍难以支持面向建筑全生命期的BIM数据的存储和交换.因此,本研究提出一种基于云计算的BIM数据集成与服务技术,采用NoSql型数据库Hbase实现海量BIM数据的分布式存储和虚拟集成,并支持统一的信息访问.本文着重介绍其中最重要的半结构化BIM数据库的概念模式和实现.该数据库通过有机结合IFC数据模型特性和Hbase的分布式存储等特点,避免了空间浪费以及复杂Join操作等问题.相对于已有BIM数据库,该数据库具有查询效率高、可扩展性好等优势,更适合存储和管理BIM数据,为分布式BIM数据集成与服务技术的实现奠定了良好基础,具有一定的使用价值和应用前景.     

基于云平台Hadoop的三维虚拟地球数据组织形式

云计算的发展推动了整个行业的进步,同时也给GIS的发展提供了非常大的机会。本文针对开源云平台Hadoop搭建了一个小型的私有云,利用Hadoop HBase存储键值对数据的优势,将三维虚拟地球GeoGlobe格式数据存储于HBase之上,实现了三维GIS的金字塔状瓦片数据存储到HBase中,最后给出了具体的实现方案。     

大数据智能运维运营系统在运营商的设计与应用

在运营商某融合通信系统中,传统的Hadoop海量文件批处理速度慢,数据库面对海量数据存储及全文检索能力弱,无法应对日常运维需要。处理海量业务日志且提升实时性,技术选型flume+Kafka+Spark+ElasticSearch,改造为流式计算大数据技术架构。文章结合业务诉求,基于领域模型全新设计,DashBoard分层递进,渐进明细地实时发现故障—初步分析—根因分析—定界定位,大幅提升系统运维运营能力和时效性的同时,还降低了人力成本。     

基于移动互联网大数据的客流数据处理系统与特征分析研究

大数据是信息化发展到一定阶段的必然结果,移动互联网数据是大数据主要来源之一.客流数据是支撑城市交通规划、管理和运行的重要依据.基于Hadoop、Spark、Kafka等大数据技术架构,搭建移动互联网大数据的采集、传输、处理系统,提取客流数据,开展客流电子画像与特征分析,为客流数据应用奠定基础.