浅谈基于Postgres-XL的分布式地质大数据集群架构（增刊）

“地质云”建设现为中国地质调查局地质信息化建设重点,其核心工作是要开展分布式地质大数据集群架构的研究。本文分析了“地质云”建设中分布式地质大数据集群的关键问题,介绍了Postgres-XL的特性及基本架构,探讨了其对地质资料信息集群服务的适用性,为分布式地质大数据集群架构提供了一定的参考。     

基于大数据思维的瓦斯地质分析方法

初步建立全国范围的瓦斯地质相关信息的大数据库,包含10类信息表格,每类表格包括6-9种信息。以预测贵州省水城矿区大河边向斜全区域瓦斯含量为例,通过对瓦斯含量预测相关的所有可能数据,比如瓦斯含量、瓦斯压力、瓦斯涌出量、构造复杂程度、煤层透气性、甚至机电设备等相关性信息进行类比分析,选取最优化的模型,结果表明大数据思维为瓦斯地质分析方法提供新的可行性思路。     

地质数据的大数据特性研究

大数据发展应用已成为当前社会和学术界的研究热点。本文基于地质工作实际情况,从地质数据的采集、汇聚、处理、成果综合等环节,系统分析了地质数据的形成过程及其数据特性,认为地质工作是一个大数据的完整生态过程,其形成的数据具有多元(源)、多模态、异构、高度时空性、大容量高相关、低价值密度、复杂性与不确定性等特点,既具有大数据的共有特性,又有其自身特点,是大数据的重要组成部分,并以此提出了目前地质大数据发展应用中的主要技术问题。     

基于大数据的地质资料档案信息化与服务

随着信息技术的发展和应用,数据信息呈爆发式增长,对大数据进行汇聚、关联与挖掘成为当前大数据科学的热点与挑战。数据成为一种新的经济资产和价值创造形式,正在推动一场新的信息技术革命与知识创新产业。在大数据时代,地质资料管理利用与档案信息化的数据处理与服务发生深刻变化,地质资料与档案工作也将面对大数据的挑战和变革。文章结合当前高校资料与档案信息化现状和发展的形势,围绕地质资料与档案信息化建设,论述了基于大数据的地质资料与档案信息化发展方向,立足数字化,面向智能化,探讨了知识服务及其创新体系建设,为促进地质资料与档案现代化管理及其应用服务水平的提升提供参考。     

基于分布式架构的矿井提升机PLC过程控制系统设计

为改善矿井提升系统的性能,提高其运行可靠性和效率,设计了一种基于DCS架构的分布式PLC过程控制系统。着重介绍了分布式矿井提升机PLC过程控制系统的控制流程、软件结构和功能特点。该系统经工程实践运行表明,可有效改善矿井提升机的运行性能和工作效率,对提高矿井提升机电控系统的技术水平具有现实意义。     

基于地质大数据工作面智能精准开采关键技术研究

针对当前综采工作面智能化开采系统存在自主适应工作面地质变化条件能力差、无法根据工作面生产条件变化实现精准调控生产工序过程等问题,设计一种基于工作面地质与环境的精准控制模型的综放工作面智能化开采系统,并对其系统架构和关键技术进行阐述和研究分析,该系统能够利用大数据智能分析决策平台实现工作面“三机一架”设备的姿态感知、协同作业及精准控制,最终实现综采工作面智能化安全高效开采的目的。通过在耿村煤矿13200综放工作面得成功应用,结果表明,该智能化开采系统给矿井带来巨大的经济效益和社会效益,同时为综放工作面智能化开采系统的建立提供了技术思路,具有极大的推广应用价值。     

基于透明地质大数据智能精准开采技术研究

透明工作面是目前智能化开采的重要研究方向,是实现无人化开采的重要途径。针对记忆割煤应用效果较差、传感器精度低、大数据融合应用率低、无法根据工作面地质条件变化进行自主感知、决策和调整等问题,开展了基于透明地质大数据智能精准开采的研究与实践应用。通过钻探、巷道测量和槽波勘探等物探手段来构建较精准的透明工作面三维模型,提前规划截割模板,再联合应用惯性导航技术、雷达定位技术和大数据分析决策技术,来不断修正截割模板,最后通过井下精准控制中心来完成对采煤机和液压支架的精准控制。该技术将当前基于记忆截割的"智能开采1.0"阶段升级为基于透明地质规划截割的"智能开采3.0"阶段,实现由传统的记忆割煤向三维空间感知和自动截割的技术跨越,具有很强的适应性和实用性。     

基于大数据技术的云端城市地质三维可视化框架

为了解决大型城市地质三维模型可视化面临的数据容量巨大、模型处理时间长、三维渲染慢、客户端对硬件依赖过高等问题,本文提出了一种基于Spark大数据技术搭建的云端城市地质三维可视化平台,包括数据存储层、数据调度层、云端渲染层、终端可视化层。对城市地质使用的地学大数据采用"纵向分层、横向分块"策略进行自动划分,在三维模型计算及三维可视化过程中,采用Spark Streaming+GPU的快速并行计算和任务调度,可高效地自动完成三维模型的分布式渲染、集中融合和可视化展示。在"地质云"中使用5台高性能云主机构建了城市地质三维可视化平台原型,采用雄安新区的地质、钻孔、高精度网格、倾斜摄影等约410GB的数据进行实验。经在线验证,无三维引擎的客户端访问云端的城市地质三维可视化计算平台,每秒可渲染并返回30帧三维图像,人机实时交互流畅,形成的这种新型"终端发请求、云端三维算"模式将对虚拟化城市地质走向实际应用起到重要的推动作用。     

地质大数据应用与地质信息化发展的思考

地质工作经过长期积累形成了的海量的地质资料与数据,具有重要的价值。地质数据具有多元(源)、异构、时空性、相关性、随机性、模糊性和非线性等特征,具有大数据特点,属于大数据范畴。由于地质调查工作和信息技术发展的融合,促进了地质大数据应用与地质信息化发展,地质信息化进入基于大数据分析与大数据应用的数据驱动新时代。本文分析了当前地质大数据技术及其应用,提出对地质大数据整合集成,对多来源、多模态、多时态数据的相关性分析、数据挖掘与关联建模,实现基于大数据的可视化与智能化。对地质大数据支持下的地质云平台构建、地质大数据应用服务系统和标准化建设的三要素,进行了探讨。     

基于工业互联网体系架构的矿井大数据平台设计与实现

工业互联网是工业系统与新一代信息通信系统深度融合的新型应用模式,是新基建的重要组成部分和促进两化融合的抓手。为推进煤矿智能化改造和升级,探索通过煤炭工业互联网平台的建设,充分利用物联网、大数据、人工智能等先进技术手段,对煤矿企业生产各环节产生的数据进行采集、存储、加工处理和分析利用,打通信息和系统孤岛,实现数据融合和共享,为安全高效生产提供分析和决策支持。首先基于工业互联网产业联盟发布的工业互联网平台整体框架,结合业界应用实践,围绕煤炭行业特殊应用场景,研究适合于矿井的工业互联网平台解决方案。同时通过分析研究煤炭行业业务数据特征,根据不同层级工业互联网平台的定位,尝试给出了工业互联网平台在煤炭行业落地部署时矿井级、集团级、行业级等不同层次工业互联网平台的功能和协同关系。然后进一步深入设计了一种适用于矿井的云边端一体工业互联网平台技术方案,满足矿井智能化生产过程管控需求,并重点对工业互联网平台的核心支撑大数据平台技术体系进行研究,以数据为导向,设计了大数据平台整体功能架构和技术架构。针对大数据平台的核心技术组件选型,搭建试验环境,利用在某矿井综采工作面实际采集的数据进行试验验证,证明整体...     

空间信息集群与大数据承载技术应用

本文以地学空间信息检索系统的空间信息集群架构为例,对各种大数据技术和手段进行多方面对比分析,充分发挥了分布式大数据核心技术的优势,通过基础运行环境和大数据分布式节点群的构建,以及嵌入式空间数据库引擎、池化节点连接、栅格WKB编码等关键技术的合理应用,实现了空间信息数据库承载于大数据环境,并阐述了分布式大数据环境的搭建方法与承载机理,同时提出了极具指导性的解决方案与实现流程。     

湖北省地质局|地质大数据平台

湖北省地质局地质大数据平台(https://geocloud.hubgs.com/)是由湖北省地质局主办、湖北省地质调查院及局属各单位参与建设的湖北省综合性地质信息服务平台,是“数字湖北”建设的重要组成部分,也是国家“地质云”省级节点。     

浅论地质大数据的管理与利用

地质大数据种类繁多、关系复杂,基于传统的数据存储、管理、分析、利用的方式已经不能满足大数据时代要求,如何有效地管理和利用地质大数据已引起人们的广泛关注。为此,文章介绍了地质大数据的概念与特征,讨论了地质大数据的统合、存储、处理、显示、分析、挖掘及综合利用,希望能对地质大数据的开发利用有所裨益。     

基于分布式数据集成系统的研究与设计

在政务信息资源分布式网络化的趋势下,开放性和集成性成了政务信息化的重要发展方向。政务信息的分布式集成与共享服务就是对分散不同地域的数据加以集成和整和,实现统一的访问模式和管理。本文结合福建省基础地理信息数据情况,从数据集成,数据共享到政府部门专题三维地理信息系统的设计和实现方法进行了详细的分析和说明。     

基于分布式架构的煤矿企业日志数据分析设计与实现

煤矿企业日志数据分析系统中,对数据的聚合统计,多数据源的数据关联是各种分析的基础操作。设计基于Hadoop的日志数据分析架构,并针对大数据关联准确率低的现象,将Bloom Filter算法与Map-Reduce处理架构融合。相比于传统的数据分析处理方式,算法具有容错性高、效率高等优点。     

基于“四库合一”的地质大数据管理研究及应用

在地质大数据背景下,伴随着地质工作的深入开展,形成了从地质数据到地质信息、从地质信息到地质知识、从地质知识到地质应用,再到新地质数据的不断循环的地质大数据链。为了更好地适应地质信息化和地质大数据发展趋势,地质大数据的管理应以地质大数据链为主线进行驱动,对管理流程进行改造。面向地质数据长效治理,提出了基于“四库合一”的数据管控体系,根据地质数据性质和在数据链循环中所处的各个阶段,分别采用原始库、工作库、成果库进行管理,并构建了地质数据血缘模型,由元数据库进行管理,能够记录数据在地质大数据链循环中的演变,实现各业务领域地质数据在地质大数据链循环中的管控。     

基于超融合技术的地质大数据云计算基础设施设计与实现

在分析地质大数据云计算基础设施建设模式的基础上,提出可扩展性、通用性、安全性、便捷性等4项技术指标,对2种可实现的技术路线进行对比分析,证明基于超融合技术构建地质大数据私有云基础设施具有可行性和合理性,并通过湖北省地质局地质大数据平台建设实践进行了验证。     

基于“互联网+”思路的地质大数据平台建设研究

近年来,随着数字经济的快速发展,地质产业的数字化转型迫在眉睫,地质数据的价值化发挥亟待激发,地质大数据平台的研究对数字经济背景下地质产业的发展意义重大。针对现阶段地质大数据平台建设过程中出现的数据存储分散、集成难度大,数据涉及范围广、标准难统一,数据专业性强、处理难度大等问题,通过借鉴“互联网+”实践中以平台模式聚合多边市场的思路,提出了一种基于“互联网+”思路的地质大数据平台建设方案,以云环境为基础支撑,客户端为工具,云资讯为媒介,云商店为平台,通过聚合多边市场,打造共赢生态圈,创新平台运营机制和盈利模式。基于此思路开展了平台的总体架构设计,阐述了研究过程中涉及到的关键技术,构建了包含微内核客户端、云商店、云资讯、云支撑平台在内的平台系统,构成了共赢生态圈支撑体系。研究成果为数字经济背景下进行地质大数据平台建设,开展“互联网+地质”融合研究提供了有益探索与实践。     

面向地质大数据的语义检索模型研究

随着物联网、互联网、大数据、云计算等新一代信息技术的发展和在地学领域的应用,如何更全、更准的从海量地质数据中检索到用户所需要的信息,并以一种智能的方式推荐给用户,成了亟待解决的问题。本文从地质大数据语义模型定义和基于知识图谱技术的地质大数据语义模型构建入手,提出了一套面向地质大数据的语义检索和聚类分析方法,并完成了面向地质大数据语义检索系统平台的开发、实施及实验验证。验证结果表明此方法在查准率和查全率方面较其他方法更具优越性。     

省级地质大数据建设的总体框架研究

在分析地质大数据技术发展现状与趋势的基础上,研究湖北省地勘队伍积累的地质数据资源特征,提出省级节点是国家"地质云"的重要组成部分。按照国家"地质云"的技术架构,提出基于面向服务架构的省级地质大数据总体框架,按照云计算的技术思路,分析各层次的实现方式及功能概况,并通过湖北省地质局"地质一张图"实验系统进行了验证。