基于HDFS的煤炭企业云存储平台设计

为提高现代煤炭企业海量数据存储的效率,设计了一种基于HDFS(Hadoop Distributed File System)的煤炭企业云存储平台。该平台在分布式文件存储系统中增加小文件处理模块,可实现小文件的判断以及合并处理,并将其应用于云存储技术,以提高煤炭企业海量数据的处理效率。介绍了云存储平台文件系统HDFS的架构功能以及小文件模块的实现方案,并在此基础上重点阐述了云存储平台的基本配置和系统设计。     

基于云计算的煤炭生产数据海量存储技术研究

长期以来煤炭企业面临着一种资源缺乏、工作任务重的状态,为了解决煤炭企业生产数据的海量存储问题,提出了使用云计算和云存储技术进行煤炭企业生产数据的海量存储的解决方案。     

基于物联网与大数据驱动的煤矿生产降尘研究

针对煤矿生产中粉尘危害大,不同的地质开采条件,采用不同的降尘技术的特点,充分利用物联网实时数据采集与大数据海量数据存储分析的特性,提出一种全新迭代优化降尘的方法。该方案采用无线星型拓扑结构部署采样点,将海量实时传感器采样数据通过AWS IoT Gateway输入到AWS云平台,应用HADOOP数据处理平台进行存储分析,并与智能管理数据库中输入的我国煤矿粉尘技术规范基准数据进行比对,调整优化煤矿降尘设备,实现最优降尘目的。通过煤矿的实测数据进行测试,较好验证了此方案的可行性。     

数字矿山统一数据平台的实现

为了满足数字矿山海量数据统一采集、存储、处理、发布的需求,提出了一种以实时数据库为核心的统一数据平台架构,该平台以统一的网络通信平台为基础,将实时数据库、历史数据库、关系数据库、过程数据库等异构数据库的数据进行统一化处理,解决了异构网络的统一传输,异构数据库的统一化问题,实现了在统一的网络平台进行数据处理、权限管理等功能。     

基于SQL Server云数据库的洪水河铁矿三维地质建模

为提高复杂矿体三维建模精度与矿山基础地质数据的存储效率,以青海省洪水河铁矿为例,提出了利用SQL Server云数据库实现矢量与栅格数据一体化云存储的矿山三维地质建模方法。首先利用矿区55个勘探钻孔数据、5条勘探平硐数据以及物探数据,采用SQL Server云数据库设计了新的云存储空间架构和交互方式,利用HDFS文件系统与ACID分布式图形数据库实现了数据云同步功能,用户权限保证了数据安全性;然后设计了三维地质数据录入平台,界面友好,简化了地质数据录入和建模难度;最后对于零厚体和透镜体,设计出遍历法和裁切功能对已构建的矿山三维地质模型进行修正。研究表明,所构建的矿体三维地质模型较精确模拟了洪水河铁矿矿区地质体三维分布规律,建模效率和地质数据安全性有所提高。     

数字矿山信息集成概念模型

数字矿山建设进程中,矿山生产采用的信息系统多而杂,使得矿山信息管理面临实时采集支持度低、数据格式各自独立且异构、实时共享困难、海量存储复杂、难以分析利用等问题。针对以上问题,在总结我国数字化矿山发展现状基础上,分析诺兰信息化建设过程阶段模型,发现我国数字化矿山建设在信息集成阶段将面临新的挑战和更高层次的要求。借助系统工程理论、数据库应用技术、网络技术、软件架构及云存储理论和方法,给出了新的数字矿山中信息集成模型的概念,建立了实时存储、高度共享、性能可靠、支持矿山企业智能数据融合的信息集成模型。根据该框架采用Web Service与XML技术集成方式实现对异构数据的集成。     

煤矿安全监控系统数据查询的优化设计研究

煤矿安全监控系统的数据将随时间推移成为海量数据,大大影响系统查询时的效率,甚至可能影响到系统的其它功能。面对这种情况,本文从数据库结构设计、数据库文件存储模式等角度提供了优化数据查询的几种思路。     

MongoDB在煤炭行业GIS数据存储方面的应用

GIS在煤炭行业拥有广泛的应用,是提高煤炭生产效率的有效保障。GIS数据具有数据量大,数据类型多样,结构复杂等特点,这些特点给GIS数据的存储带来了难题。MongoDB是一种文档型数据库,主要解决的是海量数据的访问效率问题。文章详细介绍MongoDB在存储GIS数据方面的应用。     

基于云平台的分布式新能源监控数据分析方法研究

为了及时并准确地对新能源监控数据进行采集、存储以及分析,研究了基于云平台的分布式新能源监控数据分析设计,设计了一种基于云平台的Hadoop的新能源系统监控数据并行采集和分布式存储的计算构架,分析了云平台的体系构成,完成了基于HBase数据库的并行数据采集系统的模块设计、基于SCAD系统的结构化数据存储模块设计、基于MapReduce方法的分布式数据处理方案设计,解决了数据量剧增导致的存储空间不足问题以及各级单位数据交互难的问题,实现了电网检测数据的并行写入,提高了数据采集效率以及异构数据的统一存储,研究为实现高效、统一、安全的新能源监控数据的处理系统提供一定借鉴意义。     

基于龙软GIS3.0的煤矿空间数据库架构设计

龙软GIS 3.0(简称LRGIS)是我国自主研发的煤矿专用GIS平台.针对传统的LRGIS在空间数据管理中无法实现海量数据共享、保持数据一致性和多用户并发处理等缺点,提出面向煤矿空间数据管理的空间数据库架构体系,介绍了以空间数据库引擎方法建立空间数据库的技术路线、研究内容及功能特点.相比于文件存储,空间数据库不仅能实现煤矿空间数据和属性数据的统一管理,而且能高效进行数据存储、传输和在线编辑,同时解决多用户并发处理和数据共享等问题.