智能煤矿数据中台架构及关键技术研究

数据中台是智能煤矿建设的数据底座,是煤矿大数据应用的基础。提出了包含数据汇聚、数据开发、数据存储、数据资产管理、数据服务等的智能煤矿数据中台建设思路;设计了智能煤矿数据中台架构,分析了数据中台的数据标准规范、大数据基础支撑、数据汇聚、数据开发、数据资源池、数据资产管理、数据服务、运维保障等功能模块;探讨了建设智能煤矿数据中台过程中高并发低时延数据处理、数据分级分类存储、数据治理、基于大数据的煤矿灾害风险模型构建等关键技术的解决方案。应用表明,智能煤矿数据中台实现了数据汇聚、数据开发,以及各类感知数据、基础数据、管理数据的分级分类存储、数据资产管理、数据建模、模型训练、数据服务等,使得煤矿多源异构数据从数据资源变为数据资产,可提供基于大数据的调度决策、灾害风险分析、设备健康诊断、预防性维护等应用,解决了煤矿信息孤岛严重、数据难集成、智能化分析水平低等问题。     

基于数据依赖的数据修复研究进展

介绍了数据依赖理论及如何基于数据依赖修复不一致数据,提高数据质量。首先介绍了数据依赖理论;给出了数据修复的语义假设及对应的修复操作;总结了基于数据依赖修复不一致数据的方法;最后讨论了基于数据依赖修复不一致数据的未来发展方向。     

基于Oracle数据库的数据自动汇总系统设计与实现

本文针对多数据库中数据的汇总,提出了通过增加汇总频率提高汇总数据时效性和汇总数据准确率的汇总策略。本文设计并实现的数据自动汇总系统,基于流复制技术实现了上下级数据库间数据的同步;基于PL/SQL设计并实现了自动完成数据在线/离线收集、数据合并、数据检查、数据统计、数据质量评价、数据提交、信息反馈等功能,弥补了当前数据处理软件仅能实现简单数据合并功能的不足。在多轮次的数据汇总后,显著提高了汇总数据的实时性和汇总数据的准确率。     

大数据环境下的电子数据审计:机遇、挑战与方法

电子数据审计的研究与应用是近年来审计领域的热点问题。大数据时代的到来给电子数据审计带来了机遇与挑战。首先阐述了研究大数据环境下电子数据审计的重要性;然后分析了电子数据审计的内涵及原理;在此基础上,重点研究了大数据环境下电子数据审计面临的机遇与挑战,并结合大数据的特点以及目前已有的大数据分析技术与工具,探讨了大数据环境下开展电子数据审计的方法;最后给出了大数据环境下开展电子数据审计的相关建议。研究结果为今后大数据环境下开展电子数据审计提供了理论基础。     

基于Oracle数据库的数据自动汇总系统设计与实现

本文针对多数据库中数据的汇总,提出了通过增加汇总频率提高汇总数据时效性和汇总数据准确率的汇总策略。本文设计并实现的数据自动汇总系统,基于流复制技术实现了上下级数据库间数据的同步;基于PL/SQL设计并实现了自动完成数据在线/离线收集、数据合并、数据检查、数据统计、数据质量评价、数据提交、信息反馈等功能,弥补了当前数据处理软件仅能实现简单数据合并功能的不足。在多轮次的数据汇总后,显著提高了汇总数据的实时性和汇总数据的准确率。     

基于小波变换的运维数据加密存储方法

常规运维数据加密存储方法中，无法进行有针对性的细节数据加密，导致运维数据加密存储安全性能低，影响运维数据的隐私安全。因此，提出了基于小波变换的运维数据加密存储方法。拦截了运维数据，验证数据的身份特征；利用小波变换，设计了运维数据加密算法，对运维数据的细节数据进行了分析，提高了运维数据的加密安全性；构建了运维数据存储模型，提高了运维数据存储安全性，进而实现运维数据的安全加密存储。采用对比实验的方式，验证了该方法安全性能更高，能够应用于实际生活中。     

基于安全数据字典的数据集成技术研究

对于属性数量特别多(＞200)的复杂数据的集成,当前还没有令人满意的实现方案.针对复杂数据集成的困难,提出了基于安全数据字典的数据集成技术,有效地解决了数据集成在灵活性和安全性方面存在的问题.提出数据字典的安全分级,阐述安全数据字典的概念及安全数据字典的实现方法,应用安全数据字典实现了复杂数据的数据集成.基于安全数据字典的数据集成技术不但极大减少数据集成系统的代码量,使系统更加简洁、高效,而且增强了系统的安全性.     

审计数据处理实验中的模拟数据生成系统

阐述了数据生成系统在计算机审计数据处理中的重要作用，分析了数据生成系统的功能和原理，并用Visual Basic 6.0实现了数据生成系统，论证了数据生成系统在计算机审计数据处理方法中的应用。研究表明，数据生成系统弥补了实际数据的不足，可以生成所需的实验数据，有助于审计数据处理方法的研究。     

复杂异构数据的表征学习综述

随着智能时代和大数据时代的到来,各种复杂异构数据不断涌现,成为数据驱动的人工智能方法、机器学习模型的基础。复杂异构数据的表征直接关系着后续模型的学习性能,因此如何有效地表征复杂异构数据成为机器学习的一个重要研究领域。文中首先介绍了数据表征的多种类型,并提出了现有数据表征方法面临的挑战;其次,根据数据类型将数据划分成单一类型数据和复合类型数据,针对单一类型数据,分别介绍了4种典型数据的表征学习发展现状和代表算法,包含离散数据、网络数据、文本数据和图像数据;然后,详细介绍了4种由多个单一数据或数据源复合而成的复杂数据,包含了离散特征与连续特征混合的结构化数据、属性数据与复杂网络复合的属性网络数据、来自不同领域的跨领域数据和由多种数据类型复合的多模态数据,分别介绍了基于上述复杂数据的表征学习现状以及最新的表征学习模型;最后,对复杂异构数据表征学习的发展趋势进行了探讨。     

基于加速度趋势比较的异常数据清洗研究

针对数据集成过程中存在异常数据的问题,提出了加速度趋势比较清洗方法,即比较数据集成过程中某些字段的变化趋势来发现数据的异常.通过加速度趋势比较清洗,提高了数据集成的异常记录检测,改变了数据集成过程中的数据质量,增强了数据的可利用性.最后给出了具体算法的描述.     

多元地理数据管理技术研究

地理信息系统的迅速发展和广泛应用导致了地理数据多元性的产生,这对地理数据存储和管理技术提出了更高的要求.针对地理数据多元性的特点,提出了地理数据的管理和存储策略,设计了一种基于关系数据库的面向对象地理数据模型,从而实现了对矢量数据、影像数据、像素图数据、DEM数据、多媒体数据等各种数据的统一,灵活管理.     

数据空间：一种新的数据组织和管理模式

随着数字经济的快速发展，如何实现非可信环境下的多方数据融合，为跨组织场景的数据共享、数据分析以及数据服务寻找新途径，成为了社会数字化产业升级中面临的新问题。数据空间为解决这些问题带来了新思路。文中回顾了数据的组织和管理发展历程，指出在大数据背景下数据空间的系统研究具有急迫性和重要性，分析了数据空间的内涵并进行了形式化描述，提出了基于数据空间的大数据平台架构，总结描述了3类经典的应用场景。围绕数据空间的构建工作，从数据建模、动态演变、数据查询处理、安全与隐私拓展方面分析了当前的关联研究问题和主要技术方法，简述了数据空间在不同领域的实现和应用情况。最后从多模态数据融合、高效的查询处理、数据的安全共享及基于数据空间的大数据平台构建分析方面展望了研究前景和挑战。     

电能表系统数据存储的研究

为了解决电能表系统数据现场升级程序容易出现数据混乱的问题,分析了目前电能表系统数据存储的方式,针对目前电能表系统数据存储的问题提出了改善方案。通过数据链表创造出一个可以自由伸缩的数据存储系统,形成了以数据块为存储单元的存储模式,解决了电能表系统中新增加数据会导致现有数据地址改变的问题。文章先从目前电能表系统数据存储的问题说起,随后提出了新的数据存储模型,并一一介绍了新数据存储模型的创建、读取、写入及删除等操作,并在电能表上成功实现了新数据存储模型。     

数据空间技术研究

阐述了数据空间概念及其特性,提出了数据空间集成与管理系统框架.在此基础上,进一步从数据模型、数据集成、数据查询、数据更新、存储索引、数据演化和系统实现几个方面对数据空间研究工作进行了总结分析.讨论了数据空间研究面临的挑战和未来的研究工作.     

数据湖技术研究综述

传统存储技术已经不适合大数据时代的数据分析和应用,数据湖概念的出现有效解决了数据存储成本高、灵活性低、异构数据多样化等问题。目前数据湖研究还处于早期阶段,缺乏覆盖数据处理全过程的综述性研究。为了更全面地了解数据湖技术,调查分析了近几年数据湖技术的研究成果。首先,梳理了数据湖发展历程和概念,并与其他类似的概念进行了比较;其次,对数据湖架构进行了调查,并根据架构特征把数据湖关键技术分为存储、数据摄取、数据维护、数据探索、数据治理等部分,分析和讨论了关键技术的最新研究进展、技术方案、研究缺陷以及今后研究方向;最后,调查了数据湖在各个应用领域的典型应用,为各行业数据湖的实施者提供了参考。     

一种基于发布/订阅机制的数据集成方法

数据集成包括数据的抽取、转换、加载三个过程。针对当前大多数据集成工具适应性差、源数据端和目的数据端的耦合度太紧和数据不易自动更新的问题,基于发布/订阅机制的消息代理模式提出了一种新型的数据集成体系结构,把数据集成划分为源数据处理(抽取转换)和目的数据处理(过滤加载)两个过程,不仅实现了数据的可靠异步传输,而且降低了源数据端和目的数据端的耦合度,增加了数据集成的灵活性,并使数据的抽取转换和过滤加载独立、并行执行。实验结果也证明了提出的数据集成方法有效地提高了数据集成的效率。     

面向数据托管环境下的数据库数据的安全策略

数据托管由于维护成本低,越来越多的中小企业选择了数据托管服务。数据是企业宝贵财富,在共用同一台主机的情况下,必须要保证企业数据的安全。数据安全包括数据的传输安全、存储安全和保密安全,该文讨论了数据托管环境下保证数据库数据的安全问题及其应对策略,采用了两阶段子密钥加密算法对数据进行加密,并分析了其可用性和安全性,同时指出了实现的方法,有效地解决了数据托管环境中数据库的数据安全问题,进一步加强了数据库数据的安全性。     

高校大数据实验室及实验体系的规划与建设

大数据产业已上升至国家战略, 建立大数据实验室及实验课程体系是培养大数据技术人才的必要条件. 本文对大数据的知识体系进行了梳理, 分析了“数据科学与大数据技术”专业和“大数据技术与应用”专业的培养目标及职业定位, 明确了大数据专业的学生应该掌握的关键知识和需要重点培养的专业技能, 介绍了主流的大数据生态系统, 选取了最通用的大数据架构, 提出了在单机环境、单机虚拟化环境、共享大数据集群环境、云计算环境下建设大数据实验室的不同方案, 并设计了大数据实验课程体系及实验项目.     

一种Hadoop数据复制优化方法

针对当前Hadoop采用固定个数的数据复制来提高数据可用性方法的不足,建立了数据复制的数学模型,该模型根据数据节点失效率、数据访问延迟、数据节点的网络带宽、期望的数据可用性计算优化的数据复制个数,在Hadoop上实现了提出的数据复制优化方法,进行性能测试实验,实验结果表明该模型不仅可以改进数据可用性,而且提高了系统存储空间的利用率。     

大数据环境下的数据清洗框架研究

在大数据环境下会不可避免的存在一些脏数据,严重的影响了数据质量,而数据清洗是提高数据质量的重要方法,对数据清洗框架的研究可以帮助大数据的系统决策。提出了一个大数据环境下数据清洗的一般框架,并对核心的数据清洗模块中的三个子模块进行详细的分析,包括不完整数据清洗子模块、不一致数据修复子模块和相似重复记录数据清洗子模块,且讨论了其清洗的具体流程。