大数据基元的HBase数据库存储模型与实现

大数据将在未来经济、社会和生活等领域产生深远影响,而大数据的整合存储研究为促进和深化其应用范围有重要的理论和实践意义。本文利用分布式文件系统HBase的数据存储结构特征,采用可拓学基元对异构数据集进行整合处理并存储在HBase数据库。通过提取数据特别是半结构化和非结构化数据的典型特征和属性取值并转换为基元后生成一个新的数据集,不但为数据分析和数据解释提供一种新的实现方式,而且为领域问题的策略生成提供大数据的研究思路和解决方案。     

H Base 下时态信息索引策略研究

针对海量非结构化时态信息存储与快速检索的需求,提出使用Hadoop 平台下的分布式、非结构化数据库HBase对海量时态数据进行存储,构造以时态集合为时态存储单元的时态数据存储模型;设计了多级分布式哈希索引表算法（ tDHT）,实现对时态列族的时态属性值的高效、快速的检索。通过将时态属性值向二维空间映射,实现时态数据向空间对象的转化,采用对空间数据的处理方法对时态数据区域进行划分,生成多级时态数据子区域,利用分布式哈希表思想设计HBase存储的多级索引表目录。实验结果表明,该索引策略具有较高的性能,可以在一定程度上加快对HBase中时态信息的检索速度。     

Phoenix+HBase存储仓库在流动人口统计中的应用

利用Phoenix+HBase存储仓库对流动人口统计数据库进行读写和查询。在Spark计算框架下将不同类型的数据以结构化的方式存入分布式数据库中,测试该存储仓库的读写及查询性能。对比实验结果表明,Phoenix+HBase既可以操作非结构化数据又可以操作结构化数据,并且查询效率比Hive有明显提升,满足流动人口统计对数据库存储的需求。     

基于层级设计的输变电工程数据存储架构

针对输变电工程数据来源多样、类型复杂、数据量大导致数据存储压力大的问题,提出了一种基于层级设计的输变电工程数据存储架构.将输变电工程数据划分为结构化数据和非结构化数据,使用不同的存储方式以优化配置存储资源;使用基于遗传算法的数据迁移方法实现海量数据的迁移,使用不同配置的数据存储中心进行仿真与测试.结果表明,所提出的存储架构和数据迁移方法能有效解决海量输变电工程数据存储的问题,提升输变电工程数据存储系统的性能.     

基于NoSQL数据库的地学大数据高效存储方法

为解决传统的关系型数据库在海量数据的存储和访问效率中存在的瓶颈问题,提出了一种基于非关系型（NoSQL：NotonlySQL）数据库的地学大数据高效存储方法。同时以MongoDB为代表,通过C#语言编写测试程序,与SQLServer在地学大数据的存储、查询等方面进行了性能对比。结果表明,与传统关系型数据库相比,NoSQL数据库的增、删和查询耗时明显降低,尤其是针对海量的非结构化、半结构化数据,其性能优势更加明显。     

档案数据云存储解决方案

随着信息大爆炸的年代的到来和科技的进步,档案材料从纸质到数字化的飞跃,每天都有档案档案数据的飞速增长,信息档案数据量每秒更新亿万此。新增档案数据不仅有结构化档案数据,还有大量的非结构化档案数据。其中结构化档案数据即行档案数据,是可以用二维表结构来逻辑表达实现的档案数据,存储在档案数据库里,通常需要块设备存储空间;非结构化档案数据是不方便用二维逻辑表来实现的档案数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等,通常存储在文件系统里,海量新增档案数据给固有的存储模式带来极大地压力,而云存储就是解决这个问题的最好方式,以下具体论述一种档案数据云存储的解决方案。     

基于E-Schema的XML模式到关系模式的映射研究

XML文档作为一种半结构化数据,与关系数据库中存储的结构化数据存在一定的差异。本文通过分析XMLSchema的结构和语法,借鉴P-Schema的思想,提出了一种名为E-Schema方法用于XML模式到关系模式的映射,解决了多值元素、可选元素、组元素的映射问题,能够在关系数据库中完整的保存XML文档的结构信息和数据信息,并提高了查询效率。     

大数据技术在医疗健康管理的应用与设计

面对传统医疗健康管理系统在存储和管理海量数据方面表现欠佳的问题，提出基于Hadoop对医疗健康数据进行高效管理和快速处理的方法。根据医疗健康数据特点，将HBase与Solr相结合实现多条件查询从而提高查询效率。设计医疗健康数据HBase数据库、医疗健康数据写入HBase过程和医疗健康数据MapReduce查询分析三个组成部分，搭建Hadoop集群环境，对HBase和MapReduce的性能进行测试对比。经测试，当数据量逐渐增大到一定规模时，该模型表现出明显的优势，可满足海量的医疗健康数据管理要求，缩短了计算时间，提高了处理效率。     

基于XML的Web数据抽取方法的研究

针对Web挖掘中Web数据的抽取问题,设计了一种基于XML的Web数据抽取方法。由于Web数据的最大特点是半结构化,所以采用XML(半结构化的数据模型)来解决传统的关系数据库不适合Web数据存储的问题,从而将XML的档描述与关系数据库中的属性一一对应起来,实施精确地查询与模型抽取。由于Web数据的大量信息都与抽取无关,所以利用XSL过滤掉XML的无关数据,并进行实时抽取,最后将合并结果保存到XML档中。实验结果表明,此方法可以很好地解决Web数据的抽取和存储问题。     

大数据在“智慧校园”中的价值研究

随着“智慧”理念研究的深入,“智慧校园”正成为教育行业信息化建设的方向.物联网和云计算等新技术的应用使得结构化数据管理方式已无法充分体现数据价值.“大数据”作为一种新的数据管理技术,对结构化、半结构化和非结构化数据实施深度挖掘并形成智能决策依据具有较强的优势.尽管当前“大数据”技术发展还处于基础阶段,但从其定义、特性以及当前的应用领域可以看出它在“智慧校园”建设中的潜在价值.大数据将“智慧校园”建设理念提升到了一个新的高度.     

大型数据库的数据完整性和数据并发处理

在Ｃｌｉｅｎｔ／Ｓｅｒｖｅｒ体系结构下,数据处理由多个客户从不同的地点共同完成。为此,必须使用一种具有较高性能的数据库系统,即大型数据库系统,如Ｍｉｃｒｏｓｏｆｔ ＳＱＬ Ｓｅｒｖｅｒ、Ｓｙｂａｓｅ,Ｏｒａｃｌｅ等。这些大型数据库系统具有实现分布式数据处理的特点,如并发处理,存储过程,触发器、数据完整性等。本文主要论述大型数据库系统在数据完整性及并发处理两方面的问题。     

面向海量无线电监测数据的分布式存储系统研究

提出了一种针对海量无线电监测数据的分布式存储系统的体系结构。结合Hadoop云计算平台和HBase分布式数据库的存储特点,在Linux平台下设计了针对海量无线电监测数据的分布式存储系统。该系统旨在对海量分布式无线电监测数据进行快速、高效、可靠地处理,用以满足无线电监测管理部门对监测数据的存储、检索和分析的需求。     

基于Web的铝电解综合信息系统设计及其关键技术实现

在铝电解生产过程中,办公局域网和工业控制网采用Web技术集成,形成综合的Web管理信息系统,已成为当前及今后铝电解企业信息化发展的主要目标之一.所提出得基于Web的铝电解综合信息系统,基于SQLServer等大型关系型数据库、JSP技术、SOCKET传输技术和三层Web架构,实现了办公局域网与CAN网的集成.详细论述了系统实现的几个关键技术,如数据的采集与提取,实时数据传输、静态数据传输等.最后分析了本系统的应用前景.     

GIS在客户服务中心的应用研究和实现

根据电力企业客户服务中心系统对GIS空间数据显示时间响应要求 ,提出了适合电力企业GIS数据组织和管理的文件系统 +RDBMS空间数据管理模块 +RDBMS模式 ,同一空间数据分别保存在文件系统和RDBMS空间数据管理模块 ,RDBMS空间数据管理模块管理空间数据的编辑操作 ,在文件系统读取空间数据 .这个模型可以解决从RDBMS空间数据管理模块中读取空间数据时间过长的问题     

Web系统中对象模型到数据库的映射

就面向对象思想中的对象模型向关系型数据库中的数据结构的转换问题提出了数据映射层次的思想，结合项目实际，说明了它的结构和工作原理，该法提高了编程工作的专业化水平和代码的可重用性，增加了可维持性。