重复数据删除技术的发展及应用

重复数据删除技术包括相同数据重复数据删除技术和相似数据重复数据删除技术。相同数据重复数据删除技术主要有：相同文件重复数据删除技术、固定长度分块的重复数据删除技术、基于内容分块的重复数据删除技术、基于滑动块的重复数据删除技术和基于数据特征的重复数据消除算法等。重复数据删除技术适合应用于数据备份系统、归档存储系统、远程灾备系统等场合。     

建立数据产权制度 激发市场活力

<正>数据产权制度是推进数据分类分级确权授权使用、促进数据要素价值释放的前提条件,是系统性构建数据基础制度的根基。数据产权制度是推进数据分类分级确权授权使用、促进数据要素价值释放的前提条件。《中共中央国务院关于构建数据基础制度更好发挥数据要素作用的意见》（以下称“数据二十条”）明确了数据基础制度建设的四大重点,包括数据产权、流通交易、收益分配和安全治理,其中数据产权制度是系统性构建数据基础制度的根基。     

培育数据要素市场的现状、问题与建议

数据是当前数字经济发展的关键生产要素.党中央、国务院高度重视数据要素的发展,多次要求积极培育数据要素市场,激活数据要素价值.数据要素市场的构建将经历数据资源化、数据资产化、数据资本化3个发展阶段.当前的数据要素市场发展面临理论研究框架匮乏、有效数据资源供给不足、安全保障能力需进一步加强等问题,应加强理论探索研究,建立完善数据治理体系,提升数据要素的生产力,更好地激发数据要素市场新活力,最大程度释放数据要素新动能.     

数据轮广播的数据结构分析和设计

数据轮是数据广播的重要方式,对于数据轮数据结构进行分析是实现数据广播服务器以及实现数据广播接收的关键.详细说明数据轮数据广播方式的整体结构和各个数据结构的特点,讨论实现数据轮广播方式的各个关键数据结构之间的相互关联关系,以利于数据轮发端、收端的数据一致性.最后针对数据轮数据结构的特点,对实现数据轮数据广播方式的设计提出一些建议.     

大数据技术在图书馆数据监控中的应用

阐述基于大数据驱动的校园图书馆的数据监护方法,包括数据监护服务、数据筛选、数据防护、数据评价、数据的开发和获取、构建社会化数据服务平台、开放式的数据获取服务。     

数据ETL过程中的数据质量控制

分析产生数据质量问题的原因，并对数据质量问题进行了分类，建立数据质量评价的量化标准。提出通过模式集成解决模式层次上的数据质量问题，通过数据清洗解决实例层次上的数据质量问题，并概述了数据清洗算法，提出分四步进行数据ETL数据清洗。     

浙江农信数据中台设计与实现

为了解决数据向业务价值转化慢的问题,提出了建设数据中台方案,设计了数据中台整体架构,重点阐述了数据中台数据分析、数据决策、数据查询、数据治理管控等6个系统的目标及功能实现,从而加速实现数据资产沉淀、数据质量提升、数据辅助决策、数据驱动业务的目的.     

基于区块链的数据治理应用研究

在数字经济时代,数据作为企业间竞争的关键所在、加速行业发展的新动能,受到了全行业的高度关注。随着海量数据爆发式增长和汇集,数据已呈现出垄断困境,直接影响到其合理分配与使用。尤其是数据所有权与使用权、数据价值评估、数据隐私保护、数据可信交易与安全共享、数据滥用等问题,对传统的数据治理提出了新的挑战,推动数据治理进入深度变革调整期。在此背景下,从数据治理的关键内容及挑战出发,探索数据治理+区块链的应用研究,对于推动数据开放共享、提升社会数据资源价值、加强数据资源整合和安全保护、培育数据要素市场具有一定的积极意义。     

电信运营商数据开放服务架构

电信运营商拥有海量的数据,为更好地盘活数据资产,需要通过数据开放服务,面向各类数据应用或系统开放共享数据,满足多样性的数据请求。文章探讨运营商数据开放服务的内涵及服务方式,提出数据开放服务架构建议,实现数据封装,通过各种服务方式向不同应用或系统提供数据开放服务;最后给出演进策略建议。有助于运营商全面供给数据、实时共享信息的同时,实现应用与数据的解耦,提升数据使用价值。     

运动数据中的最优关联数据的分类分析

针对传统关联数据分类方法一直存在分类精度差的问题,提出一种运动数据中的最优关联数据的分类方法。由于运动数据的变化量十分的庞大,同时变化程度也无法用规律进行推导,因此需要确定运动数据中的最优关联数据,通过最优关联数据的关联性进行高速提取,使用异导函数对提取的数据进行系统的分类。为了保证提出的运动数据中的最优关联数据的分类方法的有效性,设计对比仿真实验,通过实验数据表明,提出的运动数据中的最优关联数据的分类方法能够准确地对运动数据中的最优关联数据进行系统分类。     

数据中台的数据资产管理体系研究

伴随大数据时代的到来,各个领域对数据的重视达到了前所未有的高度。“数据即资产”的理念得到了人们的认可。数据中台是科技数据智能化业务的核心部分,在引入数据中台之后能够打破数据和数据之间、技术和业务之间的使用限制,为业务层的更新提供更为快捷的数据信息支持,从而实现业务数据资产化管理。文章在阐述数据中台内涵和实施重要性基础上,分析建立数据中台的原因,并就基于数据中台的数据资产管理体系打造问题进行探究。     

面向学生体质测量的数据异常可视化检测方法

单一的学生体质测量数据异常很难形成标准化判断方案，存在预测偏差准确性差、异常数据检测率低、异常数据误报率高的问题。提出面向学生体质测量的数据异常可视化检测方法，标准化处理数据，从而降低数据维度，清洗数据后预测出异常数据量最多的残缺数据。其次利用信息增益完成学生体侧数据特征的筛选以及排序，结合信息增益和正常数据点降低数据复杂度并识别出异常数据，实现学生体质测量异常数据检测。实验结果表明，所提方法的预测偏差准确性较高、异常数据检测率较高、异常数据误报率较低、检测运行时间较短。     

大数据环境下个人数据保护问题探析

网络环境下,个人数据被迅速记录、转发、存储和利用,该过程在大数据背景下呈现出一系列新特性,使得个人数据极易脱离个人数据主体的控制,受到侵害。文中首先介绍了大数据与个人数据在法律上的界定,以及大数据环境下对个人数据的侵害问题;然后讨论在大数据背景下个人数据呈现的新特点与新特点下面临的新问题,最后提出保护个人数据免受侵害的对策和建议。     

基于一致性哈希算法的电力企业分布式数据存储研究

由于电力企业存储数据量比较大,传统方法在电力企业分布式数据存储应用中无法保证电力企业数据的完整性和有效性,存在数据丢失量较大的问题,并且数据存储延迟时间比较长,存储速度比较慢,为此提出基于一致性哈希算法的电力企业分布式数据存储研究。将电力企业数据相应的时间标签当做是分布式数据存储的一个核心属性,根据数据时间标签对数据进行等价线序划分;利用一致性哈希算法计算数据哈希值和节点计算能力,将其作为依据将电力企业数据分组到相应节点上;利用存储模块构建电力企业分布式数据存储组织结构,并设计分布式数据存储逻辑结构,利用电力企业元信息表、参数元信息表以及索引表对电力企业数据进行分布式存储,以此实现了基于一致性哈希算法的电力企业分布式数据存储。经实验证明,设计方法存储数据延迟时间小于传统方法,而且数据丢失量小于传统方法,能够有效确保电力企业数据的完整性。     

MongoDB应用全攻略

如今的数据，除了具有一定模式的规范数据外，还大量存在着非规范数据，这些数据都是非结构化的数据。另外还有一种介于结构化数据和非结构化数据之间的，即半结构化数据。那么，这些不同结构的数据如何高效存储、友好查询，满足用户的多方面需求呢？     

一种基于主数据流分析的数据比对方法

数据比对工作是数据整合过程的核心工作之一，决定着数据整合的成败。文章介绍了一种通过定义数据比对过程中的主数据，结合主教据流而进行数据比对的方法，并通过实际案例做了详细说明；通过分析数据不一致的原因并给出完善建议，避免错误数据的再次发生。最后文章讨论了数据质量对数据比对结果的影响以及业务流程对保障数据质量的重要性。     

随机森林在运营商大数据补全中的应用

电信运营商有大量数据,但是鉴于多种原因,数据的质量不够理想,出现大量数据不完整甚至缺失。对于已有数据的挖掘,必须在数据满足质量要求且达到足够采样比例的前提下开展。依托现有的全国日志留存系统,设计完整数据的模板样库,鉴别不能满足质量要求的数据,使用随机森林算法,找到最符合的相同或相关数据,补全数据并提升数据质量;用回溯反馈的方法优化并扩充模板样库。在全国日志留存系统中构建数据补全子系统,实现端到端的数据质量保障和提升,补全并改善历史数据甚至实时数据的质量,最终满足数据处理和挖掘的要求,提升运营商数据质量和价值。     

颠覆与重构:大数据时代下的广义收视率

传统的收视率依赖抽样数据、局部数据和片面数据,大数据能够获得全面数据、完整数据和系统数据,大数据的无需抽样能够终结传统收视率的数据造假难题,大收视时代的广义收视率能够纠正传统收视率的统计偏向问题,因此,大数据大收视时代下的广义收视率能够努力改进数据统计的先进性、真实性、普遍性,成为诊治传统收视率弊端的一剂良方。     

对地面电磁频谱能量分布数据的解读

0前言电磁频谱作为一种不可再生的稀缺资源和战略资源,已引起越来越多的国家和国际社会的广泛关注和重视。电磁频谱数据如同气象数据、水文数据、天文数据、地质数据等基础数据一样,是电磁频谱资源的基础数据。电磁频谱能量分布数据(频谱图)是电磁频谱数据的重要组成部分。不同历史时期的电磁频谱能量分布数据,     

数据资产化管理实施路径探索

数据资源开发利用问题是当前数字政府建设的重要议题。随着信息化建设的深入,政府部门各自为政的建设造成数据标准之间的差异,导致各部门间难于进行数据共享交换应用,政府数据难以进行统一管理,从而形成一个个数据孤岛。本文所研究的政府数据资产化管理实施路径,从分析政府数据资源现状入手,结合数据资产化理论要点,通过建立数据资源目录、构建数据标签体系、融合加工异构数据等过程,充分挖掘数据价值,推动政府数据跨部门应用,实现政府数据资产化管理。