智能煤矿数据中台架构及关键技术研究

数据中台是智能煤矿建设的数据底座,是煤矿大数据应用的基础。提出了包含数据汇聚、数据开发、数据存储、数据资产管理、数据服务等的智能煤矿数据中台建设思路;设计了智能煤矿数据中台架构,分析了数据中台的数据标准规范、大数据基础支撑、数据汇聚、数据开发、数据资源池、数据资产管理、数据服务、运维保障等功能模块;探讨了建设智能煤矿数据中台过程中高并发低时延数据处理、数据分级分类存储、数据治理、基于大数据的煤矿灾害风险模型构建等关键技术的解决方案。应用表明,智能煤矿数据中台实现了数据汇聚、数据开发,以及各类感知数据、基础数据、管理数据的分级分类存储、数据资产管理、数据建模、模型训练、数据服务等,使得煤矿多源异构数据从数据资源变为数据资产,可提供基于大数据的调度决策、灾害风险分析、设备健康诊断、预防性维护等应用,解决了煤矿信息孤岛严重、数据难集成、智能化分析水平低等问题。     

大数据系列丛书——走进丰富的大数据世界,开启大数据思维方式!

<正>大数据导论书号:9787302-440734定价:44.5元内容简介:本书是大数据时代入门教程,系统、全面地介绍大数据的几本知识,包括大数据与大数据时代、大数据的可视化、大数据的商业规则、大数据时代的思维变革、大数据促进医疗与健康、大数据激发创造力、大数据预测分析、大数据促进学校、大数据在云端、支撑大数据的技术、数据科学与数据科学家以及大数据的未来等内容,内容详实,丰富多彩。     

支持数据交易的大数据试验场关键技术研究

数据的开放、共享、流通是当前发展大数据的关键问题。数据交易是数据流通的新型手段。大数据试验场和大数据交易中心成为大数据产业的两大支撑基础设施。大数据交易中心迫切需要大数据试验场提供技术支撑,研制安全可信公平的数据交易技术和规范、数据访问和权属管控,以有效地支持数据交易,促进数据流通。     

高校数据中台建设研究

针对目前高校信息系统烟囱式搭建导致数据孤岛林立、数据质量参差不齐和数据价值难以共享应用的现象,本文通过校级数据规范定义、全域数据采集、数据建模、数据资产管理和数据应用的规划,总结关键技术难点;提出利用数据中台实现数据规范化、数据资产融合、数据价值创新应用,探讨高校数据中台的发展趋势。     

大数据系列丛书——走进丰富的大数据世界,开启大数据思维方式!

<正>书号:9787302-440734定价:44.5元内容简介:本书是大数据时代入门教程,系统、全面地介绍大数据的基本知识,包括大数据与大数据时代、大数据的可视化、大数据的商业规则、大数据时代的思维变革、大数据促进医疗与健康、大数据激发创造力、大数据预测分析、大数据促进学习、大数据在云端、支撑大数据的技术、数据科学与数据科学家以及大数据的未来等内容,内容详实,丰富多彩。大数据可视化书号:9787302-443490定价:45.0元内容简介:本书系统、全面地介绍了大数据可视化的基本知识和应用技能,详细介绍了大     

基于数据路由的分布式备份数据去重系统

传统数据去重备份系统在大数据应用场景下存在备份存储空间过大和数据吞吐量不足等缺点。为此,基于数据路由设计一种分布式备份数据去重系统。该系统以数据片为去重粒度,具有数据路由和数据预取2个功能。数据路由使用布隆过滤器对需要处理的数据片进行路由查询,数据预取则使用平均取样和基于Jaccard距离的近邻取样方案。通过数据路由分配数据片到相应处理节点进行处理,平均取样得到的数据片哈希码为数据路由提供路由信息,近邻取样得到的数据片哈希码用于系统首次数据去重。实验结果表明,该系统在保证数据去重率的同时,相对全节点查询和定点路由的数据片路由方式数据吞吐量提升明显。     

基于数据依赖的数据修复研究进展

介绍了数据依赖理论及如何基于数据依赖修复不一致数据,提高数据质量。首先介绍了数据依赖理论;给出了数据修复的语义假设及对应的修复操作;总结了基于数据依赖修复不一致数据的方法;最后讨论了基于数据依赖修复不一致数据的未来发展方向。     

大数据安全评估思路

各行各业的大数据应用百花齐放,包括电商大数据、征集大数据、金融大数据、医序大数据、电子政务大数据、工业大数据和电信大数据等多个领域.大数据应用都存放着各行各业的敏感数据,做好大数据的安全就显得异常重要,大数据应用存在的安全风险,需要通过全面的安全评估予以确定.     

科学数据出版现状及其体系框架

科学数据出版是深化数据共享的重要手段,能够激励数据生产者发布和共享数据,又能保护数据的知识产权。回顾了国内外科学数据出版现状,从数据中心和传统出版系统两个角度,提出和完善了科学数据出版体系架构。提出数据出版涉及数据提交、同行审议、数据发布和永久存储、数据引用和影响评价5个基本环节,应由出版系统、数据中心和第三方数据评价机构协同实施。重点讨论了科学数据出版面临的关键问题:数据授权、数字资源唯一标识符、数据集成和数据稿源问题。倡议建立我国的科学数据出版体系,科学数据中心在开展数据收集和共享的同时,加强与学术期刊的合作,成为数据出版的永久存储机构;学术期刊积极开展机制创新,推动学术论文相关数据的公开发布;积极开展数据知识产权保护,倡导对科学数据的引用;加强科学数据的影响评价研究,让数据成果成为普遍认同的科研产出成果,激励科学家主动参与科学数据共享。     

面向关系型数据与知识图谱的数据集成技术综述

目前,各个国家和地区均已将大数据视为重要的战略资源.然而,大数据时代普遍存在数据流通困难、数据监管不足等问题,致使数据孤岛现象严重,数据质量低下,数据要素潜能难以释放.这驱使研究人员探索数据集成技术,以打破数据壁垒、实现信息共享、提升数据质量,进而激活数据要素潜能.关系型数据和知识图谱作为两种至关重要的数据组织与存储形式,在现实生活中应用广泛.为此,聚焦关系型数据和知识图谱,归纳总结并分析实体解析、数据融合、数据清洗3方面的数据集成关键技术,最后展望未来研究方向与趋势.     

职业教育智慧大脑院校数据中台对接的实现路径

通过数据调研了解所在学校现有数据情况,并及时对异常数据进行处理,在确保报送的数据质量后进行接口匹配、逻辑验证和数据推送,这是职业教育智慧大脑院校数据中台对接教育部数据中台的核心关键。本文提出了数据中台对接的实现路径,即校本数据现状调研处理、流程优化、标准化数据采集、高质量数据推送和数据可视化展示,最终实现双向数据汇总反馈。     

基于Oracle数据库的数据自动汇总系统设计与实现

本文针对多数据库中数据的汇总,提出了通过增加汇总频率提高汇总数据时效性和汇总数据准确率的汇总策略。本文设计并实现的数据自动汇总系统,基于流复制技术实现了上下级数据库间数据的同步;基于PL/SQL设计并实现了自动完成数据在线/离线收集、数据合并、数据检查、数据统计、数据质量评价、数据提交、信息反馈等功能,弥补了当前数据处理软件仅能实现简单数据合并功能的不足。在多轮次的数据汇总后,显著提高了汇总数据的实时性和汇总数据的准确率。     

一种基于数据分割与分级的云存储数据隐私保护机制

云存储系统数据管理权和所有权的分离导致数据安全和隐私保护难题。传统的基于单纯加密技术的云存储数据隐私保障机制在实际的数据操作过程中带来了较大的系统开销。为了以低开销实现云存储系统中异地托管数据的隐私保护机制,提出了一种基于数据分割与分级的云存储数据隐私保护机制。机制首先将数据合理分割为大小数据块;再分别将小块数据和大块数据部署在本地和异地;然后按数据不同的安全级别需求,联合采用数据染色和不同强度的数据加密技术进行数据染色或加密,以在保护云存储用户数据隐私的同时,提高灵活性,降低系统开销。     

复杂异构数据的表征学习综述

随着智能时代和大数据时代的到来,各种复杂异构数据不断涌现,成为数据驱动的人工智能方法、机器学习模型的基础。复杂异构数据的表征直接关系着后续模型的学习性能,因此如何有效地表征复杂异构数据成为机器学习的一个重要研究领域。文中首先介绍了数据表征的多种类型,并提出了现有数据表征方法面临的挑战;其次,根据数据类型将数据划分成单一类型数据和复合类型数据,针对单一类型数据,分别介绍了4种典型数据的表征学习发展现状和代表算法,包含离散数据、网络数据、文本数据和图像数据;然后,详细介绍了4种由多个单一数据或数据源复合而成的复杂数据,包含了离散特征与连续特征混合的结构化数据、属性数据与复杂网络复合的属性网络数据、来自不同领域的跨领域数据和由多种数据类型复合的多模态数据,分别介绍了基于上述复杂数据的表征学习现状以及最新的表征学习模型;最后,对复杂异构数据表征学习的发展趋势进行了探讨。     

数据元质量评价方法研究

数据元作为数据标准,是构建高质量数据资产的基础,因此数据元质量需要被管控。针对数据元质量管控需求,本文基于国内外数据元和数据质量的研究成果,提出了数据元质量评价方法,给出了数据元质量的评价指标、综合指数和评价过程。该方法通过对数据元质量进行量化,实现对数据元质量的精确度量,为数据元质量的精确管控提供了依据。     

借鉴发达经济体经验推动我国数据资源利用需过三道槛

当前,全球各国日益重视数据资源开发利用,美国、欧盟、韩国等经济体探索通过开放数据倡议、数据经纪人、数据空间、个人数据管理(Mydata)、数据信托等模式,释放公共数据、企业数据以及个人数据价值.相比之下,虽然我国数据资源储量日益提升,在数据资源开发利用方面形成了很多特色化探索,但仍面临公共数据供给不足、企业数据流通效率不高、个人数据创新应用不够等问题.因此,我国应借鉴发达国家经验做法,从数据供给、数据流通、数据应用等方面入手,提高我国数据资源开发利用水平.     

基于Oracle数据库的数据自动汇总系统设计与实现

本文针对多数据库中数据的汇总,提出了通过增加汇总频率提高汇总数据时效性和汇总数据准确率的汇总策略。本文设计并实现的数据自动汇总系统,基于流复制技术实现了上下级数据库间数据的同步;基于PL/SQL设计并实现了自动完成数据在线/离线收集、数据合并、数据检查、数据统计、数据质量评价、数据提交、信息反馈等功能,弥补了当前数据处理软件仅能实现简单数据合并功能的不足。在多轮次的数据汇总后,显著提高了汇总数据的实时性和汇总数据的准确率。     

混合云存储中海洋大数据迁移算法的研究

海洋数据是一种典型的大数据,如何利用混合云存储架构存储海洋大数据是海洋数据管理面临的一个挑战.针对混合云存储架构中的关键问题——数据迁移,提出了海洋大数据的生命周期,并且基于此给出混合云存储中海洋大数据的迁移算法.在迁移算法中,将海洋数据的敏感度、数据访问频率、数据大小、数据时间长度等因素作为迁移因子.迁移算法兼顾考虑了数据存储容量、海洋数据本身的属性特征和数据访问过程中的动态变化.实验验证混合云存储模式能大大降低数据管理成本,同时,通过提出的迁移算法保证了数据的访问速度.     

地平线扫描数据消重去噪系统设计

针对地平线扫描数据的多源异构特点，为了解决所出现的数据重复和数据噪声问题，选择基于可变长度数据分块的重复数据检测方法和基于TF-IDF的噪声数据检测方法，检测和删除重复数据和噪声数据。采用SOA架构的设计思想，使用Java编程语言设计地平线扫描数据消重去噪系统的开发。使用该系统进行数据预处理，能够有效提升高质量数据比例，为后续产业分析、技术识别做好数据层面的支撑。     

大数据环境下的数据清洗框架研究

在大数据环境下会不可避免的存在一些脏数据,严重的影响了数据质量,而数据清洗是提高数据质量的重要方法,对数据清洗框架的研究可以帮助大数据的系统决策。提出了一个大数据环境下数据清洗的一般框架,并对核心的数据清洗模块中的三个子模块进行详细的分析,包括不完整数据清洗子模块、不一致数据修复子模块和相似重复记录数据清洗子模块,且讨论了其清洗的具体流程。