大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

大数据时代的个人隐私保护

随着信息技术的发展,以Web2.0技术为基础的博客、微博、社交网络等新兴服务和物联网以前所未有的发展速度产生了类型繁多的数据,而云计算为数据的存储提供了基础平台,这一切造就了大数据时代的正式到来.大数据中蕴藏着巨大的价值,是企业的宝贵财富.但大数据同时也带来了巨大的挑战,个人隐私保护问题就是其中之一.迅速发展的互联网已经成为人们生活中不可或缺的一部分,人们在网络上留下了许多数据足迹,这些数据足迹具有累积性和关联性,将多处数据足迹聚集在一起,就可以发现个人的隐私信息.恶意分子利用这些信息进行欺诈等行为,给个人的生活带来了许多麻烦或经济损失,因此大数据的个人隐私问题引起了工业界和学术界的广泛关注.首先介绍了大数据时代个人隐私保护的相关概念,讨论了个人隐私保护面临的挑战和研究问题;然后从数据层、应用层以及数据展示层叙述了个人隐私保护所使用的技术,探讨了个人隐私保护的相关法律以及行业规范的几个重要方面;最后提出了大数据个人隐私保护的进一步研究方向.     

大数据隐私管理

信息化和网络化的高速发展使得大数据成为当前学术界和工业界的研究热点,是IT业正在发生的深刻技术变革.但它在提高经济和社会效益的同时,也为个人和团体的隐私保护以及数据安全带来极大风险与挑战.当前,隐私成为大数据应用领域亟待突破的重要问题,其紧迫性已不容忽视.描述了大数据的分类、隐私特征与隐私类别,分析了大数据管理中存在的隐私风险和隐私管理关键技术;提出大数据隐私主动式管理建议框架以及该框架下关于隐私管理技术的主要研究内容,并指出相应的技术挑战.     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

大数据信息安全风险框架及应对策略研究

随着大数据的飞速发展,社会上的学术界和商业界对于这门新型的技术有很大的热情.但是不得不说,这门技术在搜集、存储等方面也有许多的问题.笔者主要针对大数据信息安全风险框架和相应的应对策略进行了一定地研究.     

大数据时代下网络信息安全问题研究

科技的不断发展,使一些新的名词走进了人们的生活,成为了人们关注的一个热点.“大数据”就是这样的一个名词.大数据使目前学术界和和普通民众都比较关注的一个问题,造成这一现象的原因主要使两个方面,第一个方面是大数据对于普通民众的生活方式和生活习惯产生了非常巨大的影响:第二个方面的原因是大数据在收集,存储,挖掘,发布的过程中存在着一系列的安全性问题,这些问题给普通民众的财产安全和隐私安全造成了巨大的威胁.本文研究了现阶段大数据运用到的关键技术和成果从而分析了大数据运用过程之中造成信息泄露危机的原因.在本文的讨论之中涉及到了目前世界上最新的信息安全防护技术,论证了在整个社会走向信息化的过程之中,大数据在给我们的生活带来巨大便利的同时也给我们的信息安全带来了巨大的挑战.     

大数据分析流程框架的研究

随着信息技术的不断创新,信息量的不断扩大,大数据已经成为了与日常生活息息相关的话题。挖掘大数据的价值已经炙手可热,如何能够更高效、更快速地分析大数据已经成为大数据发展的重要挑战之一。近年来,学术界与工业界就大数据的分析进行了研究,取得了一些研究成果,但针对大数据分析的研究还是非常有限。文中首先从传统数据仓库与大数据时代数据仓库作了对比,引入了大数据的分析流程框架,对分析流程框架的各个部分做了一一阐述,并通过实验验证分析了流程框架的可行性。     

RDF 数据查询处理技术综述

随着语义网以及信息抽取技术等研究的发展,Web上涌现出越来越多的RDF数据,海量RDF数据的管理,已经成为学术界和工业界研究的热点之一。从RDF数据集形态及RDF数据组织存储两个维度以及查询表述、查询处理、查询优化等方面,深入地分析和比较了RDF数据查询处理方法,并在此基础上提出了未来研究的方向和挑战。     

图数据上的隐私攻击与防御技术

如今,图数据已经被广泛地应用于现实生活与科学研究当中,有巨大的使用和研究价值.但与此同时,针对图数据的收集与发布中也存在巨大的隐私风险.如何在保护图隐私的同时,发布与收集可用图数据,是目前个人、企业、政府等面临的重大挑战.本文首先从隐私信息所包含的内容、不同的隐私泄露场景,以及敌手模型三个方面深入地剖析了图数据在使用中存在的隐私风险,然后重点从攻击和防御两个角度展开介绍.针对攻击而言,本文分析了当前可行的图数据隐私攻击与攻击量化算法及其算法原理.针对防御而言,本文总结了简单匿名、图修改、聚类,以及差分隐私四种图数据隐私防御技术;分析了集中与分布两种数据存储场景下,不同类型图数据使用的各类隐私防御算法,以及数据隐私性与可用性度量方法 .最后本文综合已有的研究成果,指出了图数据上隐私保护研究当前存在的问题、面临的挑战,及未来的研究方向.     

社会网络数据发布中的隐私保护研究进展

伴随Web2.0技术的发展和应用,许多社会网站被创建,使得关于个人的社会网络信息大量被收集和发布.为了保证个人隐私的安全.在进行社会网络数据发布的同时要进行隐私保护.社会网络数据发布的隐私保护是近年来新兴的研究课题,国外的学者已经提出了一些研究成果.但国内的研究尚处于起步阶段.文中对社会网络数据发布的隐私保护研究成果进行了总结.介绍了社会网络中存在的隐私信息类型和隐私攻击类型,重点阐述了隐私保护模型和技术,指出了社会网络数据发布中隐私保护存在的待解决的问题和面临的挑战.     

数据仓库的填充与访问

数据仓库是连接底层数据源与上层应用的枢纽。该文介绍了数据仓库的填充(与数据源的连接)和数据仓库的访问(与应用界面的连接)技术,包括与数据库数据源和非数据库数据源的连接以及采用组件工具访问数据仓库的方式和实现方法。     

数据网格的数据管理策略

数据网格的目标是使数据密集型的高性能计算和数据密集型的数据共享事务处理及科学研究成为可能，数据网格主要包括数据存储系统和数据管理系统两大部分．数据管理系统对所存储的数据进行管理，主要包括数据的传送和复制等操作．文章对数据管理策略进行了详细的分类评述并且讨论了目前数据管理系统中的某些局限性和进一步的工作．     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

重建数据立方体的数据覆盖方法

数据切片体现了数据立方体某方面的数据特征,当产生数据切片的数据立方体由于某种原因不可访问时,通过已知的多个数据切片尽可能地恢复数据立方体中的原始信息,有利于对数据的深入分析和理解.提出了一种基于数据切片重建数据立方体的方法,通过数据切片的连接生成多维细粒度空间,利用数据覆盖操作逐步细分每个数据切片所对应的多维空间,以逼近多维细粒度空间.提出了重建后数据立方体的可查询判据.该方法直接利用数据库中的基本操作来实现,高效地支持大数据量的应用环境.     

虚拟数据中心的数据映射与数据路由策略研究

数据中心基础数据积累通常使用三种手段:1)ETL技术;2)数据联邦技术;3)中间件技术.但三种技术侧重各有不同,不能同时满足数据集成的持久性与可用性.结合技术优势提出数据虚拟整合,为解决数据虚拟异构数据模型间的数据转换问题,通过对数据虚拟的分析,提出了一种基于元数据驱动的数据虚拟系统体系结构.构建了用于描述和存储映射策略的支撑元模型,并建立了相应数据路由策略.提出了对等主键思想,降低了处理阻抗.     

基于数据中台的数据资产管理体系

公司经过十多年的信息化建设,信息系统已全面覆盖企业经营、电网运行和客户服务等业务领域及各层级应用,为公司各项业务有效运转提供了有力支撑.但现今仍缺乏一套统一的企业级数据资产管理体系.为进一步提升数据在电网企业的价值,本文提出了一套基于数据中台的企业级数据资产管理体系,主要从数据质量提升优化、数据资产管理、数据共享服务构建3个方面对如何进行数据资产管理进行论述.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

基于数据仓库的数据转移方法

数据转移是企业实施数据仓库的关键 ,针对数据仓库的技术特点 ,结合微软公司的数据仓库解决方案和数据转移服务 DTS,对数据转移过程中的几个典型问题 ,给出了其各自的解决方案     

海量数据持续数据保护技术研究及实现

持续数据保护(continuous data protection,CDP)是一种在不影响主要业务系统运行的前提下,可以实现持续捕捉或跟踪目标系统所发生的任何改变,并且能够恢复到此前任意时间点的方法.提出了一种新的可扩展的海量数据持续数据保护技术;设计基于块级的海量数据持续数据保护技术的体系架构、关键技术.最后对系统性能进行了对比分析,并进行了总结和展望.