数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

基于区块链的数据治理协同方法

针对当前数据治理过程中面临的数据标准不统一、数据质量良莠不齐以及数据安全隐私凸显等问题,提出一种基于区块链的数据治理协同方法,将区块链多方协作、安全可信等特性应用到数据标准的构建、数据安全的保障和数据共享过程的控制。本方法首先根据数据治理要求和区块链特征,提炼形成基于区块链的数据治理协同模型,通过构建多方协作的数据标准流程、数据标准构建和更新机制、安全可靠的数据共享和访问控制等,实现区块链数据治理协同方法,从而提升数据标准化工作的效率和安全性。实验及分析结果表明,该方法比传统的数据标准构建方法在标准用语申请时间效率上有明显的提升,特别是在大数据环境下,基于区块链智能合约的方法对时间效率提升更为明显,基于区块链的分布式存储等特性为系统的安全、用户行为追溯和审计提供了有力依据和保障。该方案对于数据治理工作具有良好的应用示范效果,为行业的元数据管理、数据标准的共享和应用提供了借鉴思路。     

基于大数据的煤矿安全风险智能评价和预警研究

文章提出基于大数据的煤矿安全风险智能评价和预警方法,用来提升企业风险判识能力,评价煤矿安全风险等级,为后续开发打下基础。使用空间重构方法离散性映射处理大数据,选择最佳时延和最小嵌入维数构建大数据时间序列的信息流模型,通过模糊C聚类算法求解初始聚类中心搜索目标函数,最终获得大数据最优聚类中心。通过聚类大数据得到煤矿安全风险评估指标,使用可拓理论构建风险预警评估模型,运用熵权法确定指标权重,定量计算关联函数,根据关联度最大原则判断预警对象的风险等级。经实验分析,该方法在数据聚类方面具有较高准确性和计算效率,并且能够准确评估出煤矿存在的风险和预警等级。     

智能化煤矿数据治理体系与关键问题研究

智能化煤矿数据治理是实现煤矿智能化建设高阶段发展目标的关键瓶颈,对于确保数据运营合规、保障数据质量、防控数据风险、提升数据价值具有重要意义,但目前缺乏完善的方法论体系指导智能化煤矿数据治理的理论研究和技术实践。针对该问题,从数据治理要素、治理机制、治理层次和治理过程4个维度构建智能化煤矿数据治理要素-机制-层次-过程参考模型,提供多维度融合的方法论视角和理论分析逻辑,达成对关键问题的认识。分析得出复杂系统理论、数据战略管理理论、协同创新理论、数字连续性理论、公共治理理论、信息生命周期理论、PDCA循环理论是智能化煤矿数据治理重要的理论基础。在智能化煤矿数据治理参考模型的指导下,基于相关理论基础,构建包括数据治理环境、驱动与保障因素、顶层设计、数据治理域、数据治理过程与能力5大组成部分的智能化煤矿数据治理体系框架。对标智能化煤矿数据治理体系框架,得出智能化煤矿数据治理尚需进一步突破数据价值运动规律揭示、元数据与数据字典构建、数据质量和数据安全体系管理规则设计、复杂巨系统数据耦合模型开发和数字智慧发生规律建模等5个方面的关键问题。     

大数据视角下的社会治理逻辑与创新路径研究

大数据技术已成为社会治理的现代化和能力水平提高的重要工具。以大数据驱动为特征的社会治理模式创新更加强调基于大数据的决策能力。大数据技术支持下的社会治理具有时效性强、社会治理主体协同、决策科学的特点。大数据作为一种客观存在，正在引起社会治理模式、社会治理思维、社会治理行为等方面的变革。通过转变社会治理理念、构建多元治理主体、强化治理共识是构建社会治理新生态的创新逻辑路径。     

大数据环境下的数据治理框架研究及应用

大数据技术及应用创新促进了数据的业务化。从数据中发现问题到解决问题、从业务支撑到业务创新、从商业智能到决策指引,数据与业务相伴相生,大数据环境下的机遇与风险共存。通过对当前国内外数据治理理论、方法和新的应用需求分析,提出大数据环境下的数据治理框架,包含数据治理目标、治理保障、治理域和治理方法论等。并分析大数据治理框架的应用,对组织开展大数据环境下的数据治理具有重要的参考价值和意义。     

基于SVM的大数据信息过滤方法研究

为了提高互联网的运行效率,根据支持向量机（Support Vector Machine,SVM）模型的支持向量机算法,研究了一种大数据信息过滤方法。首先,分析网络大数据信息的特征选择,为大数据信息的过滤方法提供数据基础;其次,构建大数据过滤模型,根据SVM的数据分类特性,确定大数据过滤模型的决策函数,引入核函数对决策函数进行参数优化,保证大数据信息过滤方法的准确性;最后,结合特征向量在分类面的距离权重与密度权重,计算模型的选择权重,实现大数据信息的精准过滤。实验结果表明,设计方法的信息过滤准确性较高,能够提高运行效率。     

VMwareReady计划

2008年10月7日，博科公司（Brocade）发布了一系列新的基于架构的加密平台，通过高性能和集中化的管理加密关键的企业数据，从而帮助客户满足安全与企业治理目标。这些领先的解决方案为数据中心内的静止数据提供创新的架构级加密方法。     

一体化数据访问服务关键技术

为解决气象行业对多源异构海量数据的有效管理和向业务系统高时效供给数据问题,分析气象行业大数据特征和业务科研中对数据的使用场景与需求,提出一体化数据访问服务方法.利用多态数据存储管理与分布式服务架构对数据进行标准化处理和分级管理,形成地球多圈层全序列数据仓库;在此基础上设计一体化服务模型,利用服务总线集成了数据、算法、可视化服务、性能监视和服务管理关键技术,实现气象数据的有效治理和标准化服务.平台的业务使用效果表明了一体化数据访问服务在解决气象数据治理和高效供给方面的有效性.     

大数据背景下高职院校数据治理体系的构建与实践

高职院校信息化建设积累了大量的数据资产,但数据质量也成为高职院校信息化发展的瓶颈,需要建立面向全校的数据治理体系以有效地提升数据质量。本文在分析DAMA数据治理框架、桑尼尔·索雷斯大数据治理框架和我国制定的《数据治理白皮书》国际标准研究报告的基础上,结合高职院校的特点,从数据治理的管理和技术两大核心要素出发,提出了一种基于大数据的高职院校数据治理框架体系,并对该体系主要内容及实施方法进行了详细阐述,希望能为高职院校数据治理的实践提供思路。     

煤矿安全隐患排查治理能力集对分析评估模型

针对煤矿安全隐患排查治理能力综合评估指标的不确定性,建立了煤矿安全隐患排查治理能力集对分析评估模型。该模型从人员因素和管理因素2个方面确定评估指标体系,考虑特定指标的正负同异反联系度,得到一个综合的联系度,从而实现煤矿安全隐患排查治理能力定量评估。实例分析结果表明,该模型能合理地评估煤矿安全隐患排查治理能力,评估结果与实际相符。     

基于数据起源提升高校数据质量的方法研究

如何让数据使用者参与到数据治理的环节中,从而切实提高数据质量,是当前高校数据治理面临的关键问题之一。数据起源不仅能追溯治理过程,还能实现数据的质量评价。因此,基于数据起源,从两方面探索提升高校数据质量的方法：一是设计了一种多元治理主体共同参与的数据治理构架,将治理主体对数据质量的治理过程通过数据起源予以记录、查询、展示,使得所有治理主体,特别是数据使用者都能明晰数据治理的过程,从而参与到提升数据质量的过程中,进而提高数据质量的治理效率;二是提出了一种综合性的数据质量评估方法,将用户的定性反馈评价转化为可定量评估的质量值,然后结合已有的基于规则的定量评估方法,实现数据质量的综合评价,进而辅助治理主体实施具体的治理行为,最后通过原型系统进行了具体的应用实现和效用评估,证明了方法的有效性和可行性。     

基于数据的流程工业生产过程指标预测方法综述

生产过程关键指标的预测对于流程工业生产调度,安全生产和节能环保有着重要作用.目前,已有多种基于工业生产数据提出的生产过程指标预测方法,主要涉及特征（变量）选择,预测模型构建及其模型参数优化这三方面.本文分别针对以上三方面论述了基于数据的工业生产过程指标预测国内外研究现状,分析了各种方法的优缺点.最后,指出了流程工业生产过程指标预测方法在工业大数据及知识自动化等方面的未来研究方向和前景.     

飞行试验工程大数据治理思考

飞行试验工程大数据是典型的工业大数据,是试飞工程规划、设计、执行、评估以及开展航空科学研究的最重要的基础。文章分析了试飞工程大数据的质量特性及其影响因素,学习借鉴国际标准化《数据治理白皮书》提出的数据治理思想体系与模型,针对试飞工程大数据管理与应用特点,结合多年来在试飞工程中的大数据管理应用的实践经验,提出了以飞行试验大数据标准化体系为基础,以涵盖试飞工程全过程和全业务流程的试飞数据质量监控系统和一体化的试飞大数据管理与应用系统为并行相互支持的大数据治理技术平台,将试飞业务流程、业务策略、业务标准、业务逻辑以及组织管理有机有效地融入到数据管理与治理体系中,形成能够不断自我完善、自我更新、自我规范、开放共享的试飞工程大数据治理体系,对飞行试验工程以及航空科学研究步入“大数据科研范式”奠定数据基础。     

基于析因设计的大数据相关关系挖掘算法

针对高维大数据的降维问题,提出了一种基于统计学析因设计的特征选择算法——FFD。首先,使用析因设计的因子效应作为过滤式特征选择算法中特征与目标变量之间相关关系的度量标准;其次,提出一个分治算法用于搜索适合于输入数据集的最优析因设计;再次,为了解决传统实验设计需要人工执行实验的问题,提出一种数据驱动的方法从输入数据集中自动搜索析因设计的响应值;最后,根据设计矩阵和平均响应值计算因子效应,并使用因子效应对特征和交互作用进行排序,得到显著的特征和交互作用。实验结果表明,FFD的平均分类错误率比互信息最大化算法（MIM）降低了2.95个百分点,比联合互信息最大化算法（JMIM）降低了3.33个百分点,比ReliefF算法降低了6.62个百分点。因此,FFD在实际数据集中能有效挖掘与目标变量相关的特征和交互作用。     

联机手写体识别中的方向性特征

在模式识别中，重要特征的选择是关键。本文针对统计模型的方向性和线性数据的理论，提出了以方向性特征代替一般的线性特征的方法。然而，单一的线性和方向性数据的组合、多变量概率密度函数等理论得出的结果都不能解决问题。我们用一种通用的方法来描述统一的统计模型，确定制约圆周的可变量是很小的。本文提出的联机手写体识别系统采用实际的评估方法，即互换方法，也称为切向倾斜角特征。我们还比较了两种交替模式方法的识别结果，这些结果使识别正确率、计算速度和存贮要求得到了改善。     

基于多模态数据融合的城中村社会治理大数据模型构建与算法创新

针对城中村社会治理中信息分散、决策不准确等问题,提出一种基于多模态数据融合的大数据模型构建方法。采用多模态数据融合策略,将不同类型的数据进行融合和关联,以获取更全面、准确的城中村社会治理信息。为了实现数据融合,引入了卷积神经网络（Convolutional Neural Networks,CNN）和长短时记忆网络（Long Short-Term Memory,LSTM）等深度学习方法,通过对不同数据模态进行特征提取和表示学习,进一步增强模型的表达能力和泛化能力。实验结果表明,与传统的方法相比,所提出的模型和算法能够更准确地预测社会问题,优化资源配置,提高城中村社会治理的效能和效果。     

基于Hadoop的大数据平台风险监测系统设计

以Hadoop平台为基础,开发设计了一种用于企业大数据平台风险监测的系统。该系统模型能够有效防止主机管理环境下的入侵监测保护系统遭受分布式拒绝服务攻击（Distributed Denial of Service attack,DDoS）,利用网络神经实现对检测对象的特征选择,并分类配置云服务器,能够检测大数据平台安全风险。     

面向数据对象实体类的需求分析方法

文章介绍一种作者在多个管理信息系统开发中采用的面向数据对象实体类的需求分析方法（ＤＩＣＡＭ）。该方法以数据为中心分析系统的结构。该方法根据数据来源将数据客体分为三类：源数据客体、混合数据客体和生成数据客体。该方法一方面从纵向分析数据客体的属性组成和结构,另一方面从横向分析数据实例特征,将各个数据客体的数据划分为不同的实例类,以实例类的状态、生命过程、组成组描述系统中的数据产生变化,通过实例类状态的获得反映系统的功能。     

高校信息化治理体系建设的对策研究

大数据时代带来了高校信息化建设新动力，也催生了高校信息化治理新体系，推进了高校信息化创新发展.针对高校信息化治理体系建设的现状，分析了影响高校信息化治理的制约要素：顶层设计、数据治理、评价机制，运用大数据思维理念、数据治理技术及方法等方面，提出了高校可通过建立多元主体参与、协商共治的信息化治理体系，以此开展高校信息化治理的对策分析；强调多元主体参与，部门连通、数据共享的协同治理机制，建设好人本、协同、共享的理念推进校园智慧化建设。