基于区块链的数据治理协同方法

针对当前数据治理过程中面临的数据标准不统一、数据质量良莠不齐以及数据安全隐私凸显等问题,提出一种基于区块链的数据治理协同方法,将区块链多方协作、安全可信等特性应用到数据标准的构建、数据安全的保障和数据共享过程的控制。本方法首先根据数据治理要求和区块链特征,提炼形成基于区块链的数据治理协同模型,通过构建多方协作的数据标准流程、数据标准构建和更新机制、安全可靠的数据共享和访问控制等,实现区块链数据治理协同方法,从而提升数据标准化工作的效率和安全性。实验及分析结果表明,该方法比传统的数据标准构建方法在标准用语申请时间效率上有明显的提升,特别是在大数据环境下,基于区块链智能合约的方法对时间效率提升更为明显,基于区块链的分布式存储等特性为系统的安全、用户行为追溯和审计提供了有力依据和保障。该方案对于数据治理工作具有良好的应用示范效果,为行业的元数据管理、数据标准的共享和应用提供了借鉴思路。     

大数据背景下高职院校数据治理体系的构建与实践

高职院校信息化建设积累了大量的数据资产,但数据质量也成为高职院校信息化发展的瓶颈,需要建立面向全校的数据治理体系以有效地提升数据质量。本文在分析DAMA数据治理框架、桑尼尔·索雷斯大数据治理框架和我国制定的《数据治理白皮书》国际标准研究报告的基础上,结合高职院校的特点,从数据治理的管理和技术两大核心要素出发,提出了一种基于大数据的高职院校数据治理框架体系,并对该体系主要内容及实施方法进行了详细阐述,希望能为高职院校数据治理的实践提供思路。     

数据质量评估方法研究

数据质量管理已经成为当今数据管理的关键问题,并得到了广泛的研究和应用。数据质量评估作为数据质量管理中的必要过程和基础部分,目前缺乏一种定量的系统的方法。针对数据质量评估中的这一问题,该文介绍了一些基本的数据质量评估指标,提出了一种数据质量评估模型,并阐述了该模型的构造技术和计算方法。     

基于智慧校园建设的数据治理与应用设计

基于智慧校园建设的数据治理与应用设计是指利用先进的信息技术和数据管理方法,对学校内部的各类数据进行系统化的收集、整合、存储、分析和利用,以实现学校管理和教学过程智能化、高效化的一项综合性工程。文章以学校大数据平台建设为案例,阐述学校在智慧校园建设探索过程中,通过数据治理梳理校级数据标准,并以上层应用需求为驱动,实现数据共享利用和数据价值提升,有效提升了高校师生的体验感。通过实践,文中的数据治理模式、技术及相关应用设计能够实现数据资源的优化利用,为教学、科研、决策提供服务,符合高校数字化、信息化、智能化的教育趋势,可为其他高校的智慧校园建设提供参考。     

应用"大数据+区块链"优化立法评估制度的机理与路径

立法评估中的大数据应用有助于革除评估主体单一、数据遗漏、数据失真和结论形式化等痼疾,但仍然存在立法机关主导模式下公众参与不足、清洗方法不当导致数据质量不高、信息不对称及"算法黑箱"引发信任危机、"算法偏见"造成评估结论失之偏颇等缺陷.基于技术-制度协同演化论的进路,应用与大数据本质契合的区块链革新底层架构,补强立法评估中大数据应用的缺陷,进而建构"大数据+区块链"的融合应用模式,以公众参与激励机制、数据清洗审查机制、共识形成磋商平台和程序正当化流转平台优化立法评估制度,从而充分释放立法评估汇聚民意民智、强化民主监督、提升立法质量的制度功能.     

数据质量多种性质的关联关系研究

信息化时代数据海量增长的同时,用户需要利用多种指标从不同性质方面对数据质量进行评价和改善.但在目前数据质量管理过程中,影响数据可用性的多种重要因素并非完全孤立,在评估机制和指导数据清洗规则时,彼此会发生关联.本文研究了在实际信息系统中适用的综合性数据质量评估方法,将文献所提出以及在实际的信息系统中常用的数据质量性质指标,按其定义与性质进行归纳总结,提出了基于性质的数据质量综合评估框架.随后针对影响数据可用性的四个重要性质:精确性、完整性、一致性、时效性整理出在数据集合上的操作方法,并逐一介绍其违反模式的定义,随后给出其具体关系证明,进而确定数据质量多维关联关系评估策略,并通过实验验证了该策略的有效性.     

重点用能单位能耗在线监测系统数据治理及质量提升方法

随着重点用能单位能耗在线监测系统建设的逐步推进,覆盖1万家以上重点用能单位的能耗在线监测系统正面临着企业能耗上报数据质量低、持续性差、企业端系统运维管理工作开展不力等诸多问题,无法为省(市)级节能主管部门以及国家发改委、能源局等宏观政策制定部门提供有效数据支撑。本文通过对数据源、数据流、数据关键节点的深入分析,提出了一种在企业端进行数据质量提升治理的软件算法,并在云平台引入了数据质量评价指标的综合解决方案,通过云边协同应用技术实现了数据质量提升的目标。     

数据质量治理解决方案研究

数据质量是数据工作的生命线。为丰富完善数据质量治理方法手段,提高数据质量治理能力,结合数据业务工作实际,从业务、技术、管理3个层面研究分析了数据质量问题的成因及对策,提出了数据质量评价指标体系,并区分数据规模、保障对象、用户角色,针对小数据集、大数据集、多数据集3类典型场景,分别给出了相应的数据质量治理解决方案。该方案研究成果对于构建数据质量体系、提高数据质量治理针对性及有效性具有一定的借鉴参考意义。     

高校信息化治理体系建设的对策研究

大数据时代带来了高校信息化建设新动力，也催生了高校信息化治理新体系，推进了高校信息化创新发展.针对高校信息化治理体系建设的现状，分析了影响高校信息化治理的制约要素：顶层设计、数据治理、评价机制，运用大数据思维理念、数据治理技术及方法等方面，提出了高校可通过建立多元主体参与、协商共治的信息化治理体系，以此开展高校信息化治理的对策分析；强调多元主体参与，部门连通、数据共享的协同治理机制，建设好人本、协同、共享的理念推进校园智慧化建设。     

智能化煤矿数据治理体系与关键问题研究

智能化煤矿数据治理是实现煤矿智能化建设高阶段发展目标的关键瓶颈,对于确保数据运营合规、保障数据质量、防控数据风险、提升数据价值具有重要意义,但目前缺乏完善的方法论体系指导智能化煤矿数据治理的理论研究和技术实践。针对该问题,从数据治理要素、治理机制、治理层次和治理过程4个维度构建智能化煤矿数据治理要素-机制-层次-过程参考模型,提供多维度融合的方法论视角和理论分析逻辑,达成对关键问题的认识。分析得出复杂系统理论、数据战略管理理论、协同创新理论、数字连续性理论、公共治理理论、信息生命周期理论、PDCA循环理论是智能化煤矿数据治理重要的理论基础。在智能化煤矿数据治理参考模型的指导下,基于相关理论基础,构建包括数据治理环境、驱动与保障因素、顶层设计、数据治理域、数据治理过程与能力5大组成部分的智能化煤矿数据治理体系框架。对标智能化煤矿数据治理体系框架,得出智能化煤矿数据治理尚需进一步突破数据价值运动规律揭示、元数据与数据字典构建、数据质量和数据安全体系管理规则设计、复杂巨系统数据耦合模型开发和数字智慧发生规律建模等5个方面的关键问题。     

面向企业信息化的数据质量评估研究

数据质量问题是企业信息化过程中面临的一项重要挑战,但针对数据质量评估的研究还缺乏足够的重视.文中从数据质量定义出发,阐述了数据质量的各个不同维度及其评估指标的确定,在对比分析已有成果的基础上给出了主观、客观两种评估方法,通过引入SOA上下文的可重用服务思想,设计了一种数据质量评估的服务框架,基于该框架对输入输出、流程管理、自动化评估等服务进行了阐述,并使用Web Services服务组件的形式实现了所有的功能需求.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

基于全生命周期管理的电力企业数据治理技术研究

电力企业业务数据存在人为干预多、数据口径不一致、缺乏管理规范等现象,造成数据统计困难、及时性低、数据失真等问题,严重影响数据的深化应用。针对该问题,本文提出一种基于数据全生命周期管理的电网企业数据治理方案,通过构建公共数据云,开展数据资源池建设,部署结构化数据中心、非结构化数据中心及海量准实时数据中心等三大公共数据资源管理平台,定义完整的电网数据管控流程和数据责任机制,对数据进行从数据获取到数据加工、数据分发到数据使用的数据全生命周期管理,从各环节把控数据质量,辅以数据质量评估,提升电网数据的及时性、准确性及完整性。经过在输电、配电、电网调度、电网规划等多方面应用实践,该方案实现了多口径业务数据的质量管控及集中应用,提升了数据质量及综合治理水平,实现了专业数据资产全面共享。     

面向开源源码大数据的数据质量研究

基于开源源码大数据进行代码生成、缺陷预测等是当前智能化软件开发方法与技术的重要研究内容。然而现有的关注点主要聚焦于各种推荐、预测等智能算法的研究,较少对研究所使用数据的质量进行评估与分析。大部分智能化软件开发研究的数据来源于开源数据托管平台,受限于开发者自身水平,它们并不能保证都具有较高质量。根据"garbage in,garbage out",这会影响最终结果质量。源码数据的质量对相关的研究有重要影响,却没有得到足够的重视。针对上述问题,提出了一种面向开源源码大数据的方法块数据质量评估方法。首先研究如何定义和评估GitHub上抽取的源码的数据质量问题,然后对开源源码从不同维度进行质量评估。通过该源码数据质量评估方法可以帮助相关研究人员构建具有更高质量的数据集,进而提高智能化相关研究,比如代码生成、缺陷预测等的结果质量。     

智能化煤矿大数据治理关键技术研究、实践与应用

针对智能化煤矿建设过程中存在的“数据孤岛”现象严重、数据质量低、数据治理体系缺乏、数据赋能不够充分等问题,分析了智能化煤矿大数据治理的基本需求,研究了智能化煤矿的数据采集和存储、数据清洗与标准化处理、数据资产规划、数据共享交换等关键技术。结合小保当煤矿数据治理现场实践情况,提出了基于工业互联网体系的智能化煤矿大数据治理总体技术架构,该架构功能与智能化煤矿大数据治理的基本需求相对应,向下实现多源异构感知数据的接入、集成和融合,向上为各种煤矿智能化应用开发提供数据服务,中间沉淀煤矿各类业务指标、模型算法,形成煤矿重要的数据资产。基于不同的数据接入协议,通过数据接入存储服务统一接入煤矿各系统的数据;通过数据清洗与标准化服务实现数据加工,提升数据质量;采用分层治理架构将数据转换为体系化的分层数据资产;通过数据共享服务将数据资产以标准接口的方式提供给其他系统使用,实现数据价值落地。从煤矿单系统应用、矿井级应用和公司级系统应用全方面展示智能化煤矿数据治理成果在不同业务场景下的实践应用情况,智能化煤矿大数据经过统一的数据治理之后,能够实现数据的融合应用,打破数据孤岛,提升数据质量,形成煤矿独有的数据...     

数据元质量评价方法研究

数据元作为数据标准,是构建高质量数据资产的基础,因此数据元质量需要被管控。针对数据元质量管控需求,本文基于国内外数据元和数据质量的研究成果,提出了数据元质量评价方法,给出了数据元质量的评价指标、综合指数和评价过程。该方法通过对数据元质量进行量化,实现对数据元质量的精确度量,为数据元质量的精确管控提供了依据。     

云计算环境下的数据准确性评估

数据质量是数据挖掘和数据分析结论有效性和准确性的基础、前提和保障,数据质量评估是解决数据质量问题的关键。数据质量评估的标准是多种多样的,其中准确性评估是一个重要的指标。设计并实现了一个基于OpenShift云计算环境的数据质量评估平台,利用Benford法则对数据的准确性进行评估。     

智慧校园下高校数据治理的研究与应用——以桂林理工大学智慧校园数据治理与服务为例

随着教育数字化转型的推进,数据治理与服务成为高校智慧校园建设的重要内容。文章以桂林理工大学智慧校园数据治理与服务为例,分析桂林理工大学智慧校园数据治理涉及的数据中台建设、数据收集、数据存储、数据处理、数据应用等环节,为提升校园服务管理质量、教育教学质量、教师个人数据中心管理质量以及推动一表通、科研创新等方面提供助力。     

大数据环境下Web数据源质量评估方法研究

在大数据环境下Web数据资源的开放性和多源性使得不同互联网平台提供的数据质量参差不齐,严重影响人们从互联网中有效准确地获取信息。为此,提出一种Web数据源质量评估方法。建立面向多源互联网平台的统一数据模型和数据质量标准模型,给出针对大数据全样本数据分析的质量标准度量和表示方法,并通过多维数据质量的综合评估实现Web数据源质量的统一度量。实验结果表明,该方法能全面度量互联网平台的数据质量,为用户提供准确高效的质量评价结果。     

基于大数据与AI的德州市扬尘污染防治监管系统开发

扬尘治理是大气污染防治的核心问题,已引起社会的广泛关注。山东省德州市立足于经济与社会需求,基于现有共享数据平台,利用大数据、人工智能（ArtificialIntelligence,AI）等技术开发了扬尘防治监管系统。该系统包括扬尘“一张图”、任务调度以及决策支持与综合分析4大功能模块。运用地理信息系统（GeographicInformation System,GIS）技术汇集各类资源,实现数据大屏可视化,便于整体联动监管;使用AI技术实现扬尘问题自动化检测;运用大数据技术整合多级资源,深入分析研判,综合评估治理效果。利用该系统有效提升了扬尘治理的效率与效果,能够实现资源整合、智慧赋能、压实责任及统一管理。