基于数据起源提升高校数据质量的方法研究

如何让数据使用者参与到数据治理的环节中,从而切实提高数据质量,是当前高校数据治理面临的关键问题之一。数据起源不仅能追溯治理过程,还能实现数据的质量评价。因此,基于数据起源,从两方面探索提升高校数据质量的方法：一是设计了一种多元治理主体共同参与的数据治理构架,将治理主体对数据质量的治理过程通过数据起源予以记录、查询、展示,使得所有治理主体,特别是数据使用者都能明晰数据治理的过程,从而参与到提升数据质量的过程中,进而提高数据质量的治理效率;二是提出了一种综合性的数据质量评估方法,将用户的定性反馈评价转化为可定量评估的质量值,然后结合已有的基于规则的定量评估方法,实现数据质量的综合评价,进而辅助治理主体实施具体的治理行为,最后通过原型系统进行了具体的应用实现和效用评估,证明了方法的有效性和可行性。     

数据元质量评价方法研究

数据元作为数据标准,是构建高质量数据资产的基础,因此数据元质量需要被管控。针对数据元质量管控需求,本文基于国内外数据元和数据质量的研究成果,提出了数据元质量评价方法,给出了数据元质量的评价指标、综合指数和评价过程。该方法通过对数据元质量进行量化,实现对数据元质量的精确度量,为数据元质量的精确管控提供了依据。     

数据质量治理解决方案研究

数据质量是数据工作的生命线。为丰富完善数据质量治理方法手段,提高数据质量治理能力,结合数据业务工作实际,从业务、技术、管理3个层面研究分析了数据质量问题的成因及对策,提出了数据质量评价指标体系,并区分数据规模、保障对象、用户角色,针对小数据集、大数据集、多数据集3类典型场景,分别给出了相应的数据质量治理解决方案。该方案研究成果对于构建数据质量体系、提高数据质量治理针对性及有效性具有一定的借鉴参考意义。     

经营分析系统数据质量提升方法研究

经营分析系统就像是企业发展决策的"大脑",必须确保其数据仓库系统中数据的质量,才能保证经营分析系统所分析、发掘、展现的内容是真实、有效的数据,才能真正发挥其分析决策的用途助力企业发展。该文结合实际对企业经营分析系统的数据质量检查工作中所暴露出来的数据质量问题进行了分析,并结合问题产生的根源提出了数据质量问题的提升方法。     

基于区块链的数据治理协同方法

针对当前数据治理过程中面临的数据标准不统一、数据质量良莠不齐以及数据安全隐私凸显等问题,提出一种基于区块链的数据治理协同方法,将区块链多方协作、安全可信等特性应用到数据标准的构建、数据安全的保障和数据共享过程的控制。本方法首先根据数据治理要求和区块链特征,提炼形成基于区块链的数据治理协同模型,通过构建多方协作的数据标准流程、数据标准构建和更新机制、安全可靠的数据共享和访问控制等,实现区块链数据治理协同方法,从而提升数据标准化工作的效率和安全性。实验及分析结果表明,该方法比传统的数据标准构建方法在标准用语申请时间效率上有明显的提升,特别是在大数据环境下,基于区块链智能合约的方法对时间效率提升更为明显,基于区块链的分布式存储等特性为系统的安全、用户行为追溯和审计提供了有力依据和保障。该方案对于数据治理工作具有良好的应用示范效果,为行业的元数据管理、数据标准的共享和应用提供了借鉴思路。     

国家地下水监测系统数据治理技术和体系

针对地下水数据的特点,提出一套可以实现海量数据治理和整合的国家地下水监测系统数据治理体系。从监测站获取数据到形成数据成果的全过程,分析自动监测过程中异常数据产生的主要原因,针对地下水实时监测、历史监测、多元异构参数等不同数据类型的特点,采用统计分析、大数据多要素关联分析、自适应阈值对比分析、适用于地下水数据处理的数据驱动模型和地下水数值模型构建等关键技术,辅以一系列支撑关键技术的在线软件,实现数据处理由主要依靠人工识别转变为自动识别、人工校核的模式,极大提高数据处理和整编效率。国家地下水监测系统数据治理技术和体系的构建,使得整体数据完整率由92.90%提升至99.43%,可用数据率达到99.01%,数据平均日完整率提高5.93%,实时监测和整编数据修正率分别提升2.56%和0.06%,达到充分利用工程站点和数据、充分发挥工程效益的目标,为高水平地下水信息服务产品和智能应用提供坚实保障。     

ARP数据治理体系研究与实践

[目的]信息化项目的显著成果是形成了大量数据资源,提高数据质量,充分挖掘数据资源,辅助管理决策,推动数据赋能是信息化纵深发展的目标.[背景]ARP(Academia Resource Planning)系统是中国科学院院属单位日常科研管理的工作平台,系统中存储了十余年的管理数据,但由于数据质量问题制约了数据分析的精准性...     

大数据环境下的数据治理框架研究及应用

大数据技术及应用创新促进了数据的业务化。从数据中发现问题到解决问题、从业务支撑到业务创新、从商业智能到决策指引,数据与业务相伴相生,大数据环境下的机遇与风险共存。通过对当前国内外数据治理理论、方法和新的应用需求分析,提出大数据环境下的数据治理框架,包含数据治理目标、治理保障、治理域和治理方法论等。并分析大数据治理框架的应用,对组织开展大数据环境下的数据治理具有重要的参考价值和意义。     

GIS矢量数据制图规范性质量评价系统构建与应用

以全国1∶25万土地利用/覆被数据中存在的规范性质量问题为研究对象,利用开源GIS软件构建一个操作简易、评判客观、全面的规范性质量评价系统。这种质量检查系统是基于规则的新型质量评价体系,针对不同的数据质量问题灵活地设计出质量检查规则,并有效集成到系统当中。实验结果表明,系统能灵活、高效地检查出土地利用/覆被数据中的规范性质量问题,并给出客观的评价。     

数据质量评估方法研究

数据质量管理已经成为当今数据管理的关键问题,并得到了广泛的研究和应用。数据质量评估作为数据质量管理中的必要过程和基础部分,目前缺乏一种定量的系统的方法。针对数据质量评估中的这一问题,该文介绍了一些基本的数据质量评估指标,提出了一种数据质量评估模型,并阐述了该模型的构造技术和计算方法。     

数据质量检测方法及应用

通过入库数据的质量检测,可以及时发现入库数据质量的好坏,在一定程度上达到避免脏乱数据漫延和扩散的目的。从数据完整性、规范性和一致性3个方面探讨了数据质量检测的方法,并介绍了3种检测方法的典型应用。     

煤矿安全大数据特征及治理方法体系研究

高效分析利用煤矿安全大数据,对于提高煤矿的安全管理水平和生产效率具有重要意义。目前煤矿安全大数据治理存在数据特征不明、治理方法不清等问题,针对该问题,着重分析了煤矿安全大数据特征,得出煤矿安全大数据具有5V特征,即数据体量大（Volume）、数据类型多（Variety）、处理速度快（Velocity）、价值密度低（Value）、真实性（Veracity）,此外还具有结构化程度不一致的特征。介绍了可应用于煤矿安全管理中的主要数据治理方法及模型,并分为单变量方法、多变量统计分析方法、智能模式识别方法、系统动力学模型和综合集成模型五大类。从主体和客体的视角,提出了煤矿安全大数据治理方法体系,认为数据治理方法的选择必须与智慧矿山的主体、客体的数据治理目标相契合。基于主体的治理方法选择：根据数据主体的需求、层次、担负的任务及安全管理目标确定数据治理具体内容;基于客体的治理方法选择：根据客体对象的时效性、吞吐量要求及安全管理目标确定数据治理具体内容。最后得出煤矿安全大数据治理方法的确定需要在统一目标和统一标准下,根据作用域和作用对象的不同,满足共性和个性需求。     

基于数据驱动的管道云边协同泄漏检测方法

随着管道运输规模的不断扩大和泄漏检测流程的日趋复杂,管道泄漏检测系统中数据采集、传输和处理等任务难度呈几何级数上升.鉴于此,针对基于数据驱动的管道云边协同泄漏检测方法展开研究,首先针对系统在数据获取方面中压力数据采集量大、数据之间存在冗余的问题,提出一种自适应数据压缩与采集算法;然后依据云边协同调度策略的需求,对云边协同系统中各个环节进行任务细粒度划分,并根据划分后子任务的计算时延和传输时延提出云边协同下管道泄漏检测系统的任务拓扑模型;最后将系统的优化目标定义为在任务执行时间限制下的边缘控制器利用率,进而通过遗传算法求解时间限制下的最优调度策略.仿真分析验证了管道云边协同泄漏检测方法的有效性,所提出方法可以实现管道泄漏事件快速报警.     

数据归档提升数据质量

“设计任何系统之前,都必须对其所使用的那些数据进行数据归档。”JackOlson在他的著作《数据质量:精确维》(DataQuality:TheAccuracyDimension)中清楚地阐释了这样一个观点,原因在于数据归档引入了以透彻了解数据的内容、结构和质量为目的的分析性方法。企业数据膨胀性增长,给IT部门造成非常大的压力。高效的数据归档信息系统不但可以处理海量数据,并且能够运用合理的分析技巧,揭示出各种企业数据价值和存在的意义。这一点,对于可能面向可能未经处理的数据源的ETL(Extract、TransformandLoad,提取转换和加载)处理工作来说尤为值得重…     

艺术大数据中数据治理方法研究

数字经济背景下艺术品数字资产化逐渐成为趋势,探讨艺术大数据治理过程中面临的问题、挑战,并在此基础上提出了艺术数据治理的原则、框架和艺术品多维元模型,同时针对艺术数据治理过程中数据处理和存储给出解决方案。     

基于质量评价的辐射源定位精度提升方法

针对辐射源定位精度受限于测量环境、监测设备等因素的问题,提出一种基于质量评价的测量精度提升（MAI）方法。根据监测设备的误差范围,将每个观测点可能的取值区间均分为若干段,每段取中值作为测量值;将所有测点可能的取值重新组合后,计算得到多个结果和质量评价指标,并选择评价指标最好的结果作为测量结果。所提方法与基于到达信号强度（SOA）的辐射源定位方法相结合,将复相关系数、位置偏差系数、信号强度方差作为评价指标,以复相关系数接近于1且位置偏差系数小于某指定值的结果为有效结果,有效结果中信号强度方差最小的即为最终的测量结果。为提高计算性能,在测点数大于5时,对该方法进行了改进：首先将前5个测点使用此定位方法进行计算,并将所有有效结果按信号强度方差排序,取前L个结果与第6个测点的测量值组合,重新计算得到多个结果;然后再排序、取前L个结果,并与下一个测点重新组合计算,直到所有的测点都参与组合计算,最后得出结果。仿真实验结果表明,所提方法可以在不增加硬件成本的条件下,以牺牲计算性能为代价,大幅度提升定位精度。     

多功能数据监测与在线调试系统

本文介绍了一种具有多功能的数据监测和在线调试系统，它通过动态连接库ＤＬＬ获得外界数据，并采用了特殊的技术对数据进行辨识，不但可以以多种方式显示数据，而且可以方便地对数据进行随时修改，从而达到对数据所有者进行在线调试的目的。本系统在Ｗｉｎｄｏｗｓ环境下研制而成，使用方便，界面美观，尤其适用于仿真系统、监控系统、以及各种需要进行数据监测和在线调试的系统。     

基于数据中台的产业数据治理系统的设计与实现

文章提出了基于数据中台的产业数据治理系统,介绍了系统总体架构,详细阐述了数据采集、数据清洗、数据融合以及数据服务等功能.通过系统建设,解决产业数据分散和产业数据分析欠缺等问题,提升产业数据治理能力.     

浅析提升审计数据质量的途径和方法

目前电子审计数据一时还难以满足审计工作对教据质量的要求。加强内部控制制度建设和系统审计，充分利用数据挖掘技术可以提升审计数据质量。     

如何提升数据质量，看主数据管理怎么说

当前有很多企业,迫于优化IT环境成本及企业效率的需要,急需更有效的方式用以管理和维护跨多个数据源的数据。同时,日益增加的公司治理费用,运营风险和法规制度。也迫使企业更加重视核心数据的管理。特别是近年来,随着社交媒体的发展,为应对来自社交数据、大数据及云数据管理提出的挑战。企业开始将主数据管理（MDM。MasterdataManagement）应用于企业中。