一种基于同态标签的动态云存储数据完整性验证方法

在云存储服务中,为使用户可以随时验证存储在云存储服务器上数据的完整性,提出一种基于同态标签的动态数据完整性验证方法。通过引入同态标签和用户随机选择待检测数据块,可以无限次验证数据是否完好无损,并支持数据动态更新;可信第三方的引入解决了云用户与云存储服务供应商因数据完整性问题产生的纠纷,实现数据完整性的公开验证;然后给出该方法的正确性和安全性分析,以及该方法的性能分析;最后通过实验验证了该方法是高效可行的。     

细粒度云存储数据完整性检测方法

在云存储服务中,为了使用户能够方便快捷知道其所存在云端服务器上数据的完整性,提出了一种细粒度云存储数据完整性检测方法。将文件分割成文件子块继而分割成基本块,通过引入双线性对和用户随机选择待检测数据块能无限次检测数据的完整性,此外通过可信第三方的引入解决云用户和云供应商纠纷,实现云存储数据的公开验证性。然后给出了所提出方法的正确性和安全性分析,通过实验证明了该方法能较好地检测云存储数据的完整性。     

细粒度云存储数据完整性检测方法

在云存储服务中,为了使用户能够方便快捷知道其所存在云端服务器上数据的完整性,提出了一种细粒度云存储数据完整性检测方法。将文件分割成文件子块继而分割成基本块,通过引入双线性对和用户随机选择待检测数据块能无限次检测数据的完整性,此外通过可信第三方的引入解决云用户和云供应商纠纷,实现云存储数据的公开验证性。然后给出了所提出方法的正确性和安全性分析,通过实验证明了该方法能较好地检测云存储数据的完整性。     

云存储中支持安全去重的数据完整性验证方法

针对云存储中的数据安全问题,提出一种支持安全去重与公开验证的数据完整性验证方法。该方法结合所有权证明和可恢复性证明的优点,利用数据分块、随机抽样和动态系数策略,实现用户端安全去重和数据完整性验证。通过引入双线性对和纠删编码,用户可以无限次检测数据是否完好无损,并对损坏的数据进行修复。引入随机掩码技术,能够有效隐藏用户数据信息,实现隐私保护。分析结果表明,该方法在保证云存储数据安全性和完整性的同时,可有效减少计算开销和通信开销。     

基于SBT全结点存储的云数据完整性

云存储可以为用户提供高质量、按需分配的数据存储服务,使用户用低廉的价格就能享受到海量的存储能力,但是对于用户而言,云存储服务器并不是完全可信,因此会担心存储在云端的数据出现安全性问题,同时为了满足云中的应用,需要完整性验证机制支持全动态操作以及第三方公开认证。因此,提出一种基于全结点存储的云数据完整性方案。引入平衡二叉搜索树结构--结点大小平衡树(SizeBalancedTree,SBT),该结构使得树中所有的结点都可以用来存储实际的数据,相比叶子结点存储的树,无疑减少了服务器上的空间开销,同时降低了树的高度,从而也降低了进行数据插入删除等基本操作的时间复杂度。该方案在支持动态操作上具有更好的效率,能够很好地支持云存储环境下数据完整性验证。     

一种基于代数签名的远程数据完整性验证方法

云存储服务中,用户将数据存储在不可信的云储存服务器上,用户数据面临安全考验。针对这种情况,为了让用户可以验证存储在云存储服务器上数据的完整性,提出一种基于代数签名的远程数据完整性验证方法。首先运用代数签名的特性,生成轻型的代数标签进行数据验证,同时引入一种新的数据结构(DT)来实现远程数据的动态更新从而降低数据验证的计算和通信开销。最后给出该方法的正确性和安全性分析,以及性能分析。实验结果表明,在大规模数据验证时,该方法与其他方法相比具有更高的验证效率、较小的计算和通信开销。     

一种基于双线性对的云数据完整性验证算法

提出了一种用于验证云服务器上外包数据完整性的算法。通过引入双线性对, 由用户随机选择挑战数据发送给服务器, 云存储服务器返回生成的证据, 验证判定等式的均衡性即可知外包数据是否完整, 可信第三方的引入避免了纠纷的无法仲裁。算法可远程对外包数据实现无限次的完整性验证, 很好地兼顾了用户和云存储服务商的利益。     

云存储中的数据完整性证明研究及进展

随着云存储模式的出现,越来越多的用户选择将应用和数据移植到云中,但他们在本地可能并没有保存任何数据副本,无法确保存储在云中的数据是完整的.如何确保云存储环境下用户数据的完整性,成为近来学术界研究的一个热点.数据完整性证明(Provable Data Integrity,PDI)被认为是解决这一问题的重要手段,该文对此进行了综述.首先,给出了数据完整性证明机制的协议框架,分析了云存储环境下数据完整性证明所具备的特征;其次,对各种数据完整性证明机制加以分类,在此分类基础上,介绍了各种典型的数据完整性验证机制并进行了对比;最后,指出了云存储中数据完整性验证面临的挑战及发展趋势.     

自认证可信云存储框架与算法设计

为了使用户获得可信的云存储服务,通过对云存储系统的用户数据机密性和数据完整性的数据保护策略进行研究,设计了一个自认证可信的云存储框架.在无第三方参与的情况下用户直接对存储到云存储系统上的数据进行审计,规避了第三方验证的云存储策略的安全风险.在该框架中,设计了两级Merkle哈希树更有效地实现了用户数据安全的读、写、更新等功能,设计了实现以上功能的详细算法.比较分析结果显示,该框架的具有更高的安全性和运行效率.     

基于红黑树的共享电子病历数据完整性验证方案

为了解决共享电子病历的隐私性及数据完整性问题,在平行区块链架构的基础上,文中提出了一种基于红黑树的共享电子病历数据完整性验证方案。首先,医患完整性验证信息以不同的属性基加密的方式分别存储在患者链和医生链上,而医患数据具体信息存储在云服务提供商CSP的链下服务器上;其次,构造基于红黑树的数据完整性验证方案及动态数据更新方案。安全性分析表明,所提方案不但具有公开可验证性,能有效抵抗云服务器的伪造攻击,而且能保障用户及患者信息的隐私性,具有较高的完整性验证效率及数据更新效率。     

A Taxonomy of Dirty Data

Today large corporations are constructing enterprise data warehouses from disparate data sources in order to run enterprise-wide data analysis applications, including decision support systems, multidimensional online analytical applications, data mining, and customer relationship management systems. A major problem that is only beginning to be recognized is that the data in data sources are often dirty. Broadly, dirty data include missing data, wrong data, and non-standard representations of the same data. The results of analyzing a database/data warehouse of dirty data can be damaging and at best be unreliable. In this paper, a comprehensive classification of dirty data is developed for use as a framework for understanding how dirty data arise, manifest themselves, and may be cleansed to ensure proper construction of data warehouses and accurate data analysis. The impact of dirty data on data mining is also explored.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

数据迁移的一般原则

在应用软件及数据库开发中经常要做数据迁移工作 ,数据迁移就是将数据从一种数据环境移入另一种数据环境中。进行彻底而精确的数据转换应遵循以下关键步骤 :识别源数据、确定数据集成转换的规则以及开发转换规则代码。介绍了数据迁移的一般步骤 ,并提出了从数据转换、选择迁移方法以及从元数据管理的角度评价迁移工具的标准     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

数据提取、转换和装载技术研究

来自企业操作环境的数据是数据仓库的数据源，通过提取、转换、装载填充数据仓库，对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法，并以MS SQL Server2000为例，介绍了可用于析取数据的一些工具。在此基础上，以电信行业话单数据载入数据仓库为实例，就如何实现各步骤进行了详细说明，提出了在数据提取、转换与装载过程中需注意的一些问题。     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

基于时效规则的数据修复方法

数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果.     

大数据的一个重要方面:数据可用性

随着信息技术的发展,特别是物理信息系统、互联网、云计算和社交网络等技术的突飞猛进,大数据普遍存在,正在成为信息社会的重要财富,同时也带来了巨大的挑战.数据可用性问题就是大数据的重要挑战之一.随着数据的爆炸性增长,劣质数据也随之而来,数据可用性受到严重影响,对信息社会形成严重威胁,引起了学术界和工业界的共同关注.近年来,学术界和工业界开始研究数据可用性问题,取得了一些的研究成果,但是针对大数据可用性问题的研究工作还很少.介绍了大数据可用性的基本概念,讨论大数据可用性的挑战,探讨大数据可用性方面的研究问题,并综述数据可用性方面的研究成果.