Balance-Peer:负载均衡的结构化P2P模型

为了有效实现结构化P2P系统中数据均衡分布,借鉴并行数据库中数据划分的基本思想,通过在节点加入和数据加入时的存储均衡算法实现大数据量在系统中存储均衡,使得系统存储差异系数大大降低.设计了一个使用数据划分的结构化P2P模型Balance-Peer.在不需要全局信息的情况下,实现动态数据划分方法.实验结果表明了该存储均衡策略是有效的.     

基于ARM的硬盘数据存储板的设计实现

为了满足航空数据采集系统中存储大容量数据的要求,对利用嵌入式微处理器和硬盘实现大容量数据存储进行了研究,提出了一种可靠、易实现的设计方法.应用ARM7微控制器控制数据的采集,并按照一定格式存储至硬盘,增强了系统的稳定性与智能性.结合嵌入式计算技术,介绍了数据存储板的设计思路和实现方案.详细介绍了ARINC429数据的采集过程,板载微处理器和IDE接口存储器的连接方法,以及数据文件系统的存储格式,为数据存储系统的开发提供了一套完备方案.实验结果表明,存储板长时间工作正确可靠.     

离线应用本地数据存储设计与实现

为解决离线应用系统中本地数据数据存储问题,设计与实现一个以开源数据库SQLite为底层存储的数据存储方案.针对开源SQLite数据库只支持明文存储的不足,提供了两种可选的加密解密算法,并研究和评估了这两种不同的加密解密算法对数据存储效率的影响.在实现本地数据存储层的基础上,提出了一种实用的数据存储模型,以方便离线应用结构化数据的存取.     

基于Hadoop的海量数据存储平台设计与开发

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.     

基于LabVIEW超声信号的数据采集系统

本文在阐述了基于特定应用背景的超声波信号采集方案的实现基础上,介绍了利用NI公司的图形化编程开发平台Lab VIEW 来实现超声波信号的实时显示存储采样数据的方法,并进行了该系统平台的搭建.该方案克服了其它一些数据采集系统因采样频率过大而无法将全部数据存储等缺点,实现了数据的高速采集存储功能.结果证明了本方案的可行性和较好的应用性.     

高性能气象数据存储集群及在线扩展技术应用

为了满足气象数据快速增长和高效应用的业务需求,设计采用基于SAN和GPFS的高性能存储集群进行数据存储,并随着数据量的快速增长,实现灵活在线扩展以满足数据存储需求.结合国家级气象资料存储检索系统、省级风能资源数据库共享服务系统和风能资源数值模拟系统的存储设计,阐述基于SAN和GPFS技术的存储集群架构,并重点介绍存储集群的在线扩展技术的实现.基于SAN和GPFS的存储集群在线扩展技术包含在线扩展服务器节点、在线扩展存储容量和在线扩展文件系统容量三方面,实现了气象数据存储系统随着业务数据变化的灵活扩展,使系统具备优秀的扩展性和适应性.     

基于位图的远程备份数据统一存储和管理方法

容灾系统中多任务的备份数据并发存储时,现有的磁盘镜像存储方法导致备份中心大量存储空间闲置和磁盘频繁寻址,造成存储I/O性能低下的现状,为解决这个问题,设计并实现了一种远程备份数据的存储和管理方法.该方法通过基于位图的空间动态管理、空间映射、数据封装等技术,实现多任务远程备份数据的存储和空间管理.实验结果表明,该方法不仅提高了存储效率,而且节约了存储空间.     

基于云平台的健康服务系统设计

随着人们对医疗系统的需求越来越高,故此设计了基于云平台的的健康服务系统,并且对本系统按照流程进行了需求分析、总体设计、详细设计.通过该系统可以实现血压、血糖的实时检测,将检测后仪器测得的数据发送到手机中.为了实现对测量后的海量数据实时存储,本系统基于云平台对数据进行存储.     

基于时间提取的冲击波超压测试系统设计

针对爆炸试验环境的冲击波超压测试,提出一种基于FPGA控制与Flash存储的可多次触发冲击波超压存储测试系统.将大容量的Flash存储分割成多个数据存储空间,以实现系统多次触发和采集存储.相比常规的单次触发存储测试系统,可防止误触发引起的测试失效,提高测试的可靠性.并利用绝对时间来提取有效信号的数据段,提高了数据回收效率,适合多点的分布式测试.该系统通过动态特性标定,并在爆炸试验中获得有效数据.试验结果表明,该系统具有很好的可靠性.     

基于区块链的电子病历数据共享方案

以区块链为数据存储平台的电子病历系统是当下研究的热点.存储在区块链上的数据是不可变的,这加强了数据的安全性.提出了一个基于区块链的电子病历数据共享方案,实现了患者和第三方数据用户在不侵犯患者隐私的前提下共享患者电子病历.使用私有链与联盟链构造方案的系统模型,医院服务器上存储患者的电子病历密文,私有链上存储患者病历密文的哈希值和关键字索引,联盟链上存储由关键字索引构成的安全索引.同时利用可搜索加密技术实现了联盟链上对关键字的安全搜索,运用代理重加密算法实现了第三方数据用户对患者电子病历的共享.通过数值实验对方案进行了性能评估.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

A Taxonomy of Dirty Data

Today large corporations are constructing enterprise data warehouses from disparate data sources in order to run enterprise-wide data analysis applications, including decision support systems, multidimensional online analytical applications, data mining, and customer relationship management systems. A major problem that is only beginning to be recognized is that the data in data sources are often dirty. Broadly, dirty data include missing data, wrong data, and non-standard representations of the same data. The results of analyzing a database/data warehouse of dirty data can be damaging and at best be unreliable. In this paper, a comprehensive classification of dirty data is developed for use as a framework for understanding how dirty data arise, manifest themselves, and may be cleansed to ensure proper construction of data warehouses and accurate data analysis. The impact of dirty data on data mining is also explored.     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

数据迁移的一般原则

在应用软件及数据库开发中经常要做数据迁移工作 ,数据迁移就是将数据从一种数据环境移入另一种数据环境中。进行彻底而精确的数据转换应遵循以下关键步骤 :识别源数据、确定数据集成转换的规则以及开发转换规则代码。介绍了数据迁移的一般步骤 ,并提出了从数据转换、选择迁移方法以及从元数据管理的角度评价迁移工具的标准     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

大数据安全处理技术研究

随着大数据时代的到来,对大数据的处理变得越来越重要。本文对如何处理大数据进行了分析,研究了大数据处理的相关技术,包括数据存储架构、数据结构处理、极限存储处理等方面。最后,对大数据的未来发展进行了展望。     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

基于时效规则的数据修复方法

数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果.     

基于数据仓库的煤矿历史数据分析

目前煤矿中积累了大量的历史数据,为了有效利用这些数据,利用数据仓库作为煤矿历史数据分析方法,设计了基于数据仓库的煤矿历史数据分析系统,给出了其软件体系结构和模块功能,并对建立数据仓库关键技术进行了详细描述。结果表明利用数据仓库来分析煤矿历史数据,是可行的和有价值的。