海量短信快速查询系统

基于HBase技术,采用索引表和详情表来存储短信数据,设计了基于REST的短信分页查询接口,实现了海量短信的秒级查询。     

面向海量无线电监测数据的分布式存储系统研究

提出了一种针对海量无线电监测数据的分布式存储系统的体系结构。结合Hadoop云计算平台和HBase分布式数据库的存储特点,在Linux平台下设计了针对海量无线电监测数据的分布式存储系统。该系统旨在对海量分布式无线电监测数据进行快速、高效、可靠地处理,用以满足无线电监测管理部门对监测数据的存储、检索和分析的需求。     

基于HBase数据库的数据分布式存储方法

针对互联网数据种类繁杂、数量过多且占用内存较大等问题,提出基于HBase数据库的数据分布式存储方法。鉴于HBase稀疏行/列矩阵存储的特点,从逻辑模型和物理模型两方面展开分析;利用OGC简单要素模型建立空间数据模型,将几何对象转换为字节对象,提高用户读写效率;利用网格空间索引作为索引机制,通过分析每个网格的索引ID值得到属性信息和拓扑关系,便于用户查询;数据存储模型由网格金字塔模型完成构建,根据数据的多尺度层级结构特征,划分为不同的层级,每个层级都有其各自的数据图层表结构和字典表结构,用户可快速找到所需的数据。结果表明：所提方法可生成合适的节点数量,取得理想的读写效率和存储效率。     

分布式存储在数字集群移动通信系统中的应用

当传统数字集群移动通信系统中加入大数据量的新业务时,原有的数据存储查询方案将严重影响系统的可靠性,该文提出了一种使用分布式存储系统进行数据存储查询的方案。方案中的分布式存储系统采用结构化P2P网络结构,使用了一种基于分布式哈希表的chord算法来实现资源的分布与定位。     

基于B+树的电力大数据分布式索引

随着电力信息化的发展,电力数据来源广泛,具备体量大、类型多的特点,其中设备监测数据以及业务数据大多是浮点型、字符型数据,具有一定的时序性和结构化的特点。在数据检索时可能是对不同类型数据的联合查询,同时在大规模数据检索时存在查询效率不高,检索结果无法满足跨范围匹配的问题,对此本文设计并实现了一种基于B+树和倒排索引的分布式混合索引结构,引入层次化很合索引的思想,将数据集中的数据属性和属性值划分开来,并实现索引的并行化,提高了数据的索引构建时间和检索速度。     

基于HBase的输电线路综合数据存储方案设计

输电线路综合数据具有复杂性、体量巨大及多源异构等特点。针对当前关系数据库对于视频图像、图片等非结构化数据处理能力不足的问题,结合大数据的相关理论,提出基于Hadoop和HBase的输电线路综合数据的存储方案,将结构化数据和非结构化数据均转化为Bytes数组存入HBase数据库,并阐明具体的存储原理和工作方式,有效地解决了原有数据信息共享性差、非结构化数据难以存储等难题,弥补了关系数据库的不足,为大数据时代下智能电网的信息化建设提供思路。     

Phoenix+HBase存储仓库在流动人口统计中的应用

利用Phoenix+HBase存储仓库对流动人口统计数据库进行读写和查询。在Spark计算框架下将不同类型的数据以结构化的方式存入分布式数据库中,测试该存储仓库的读写及查询性能。对比实验结果表明,Phoenix+HBase既可以操作非结构化数据又可以操作结构化数据,并且查询效率比Hive有明显提升,满足流动人口统计对数据库存储的需求。     

基于XML的数字地下空间索引QR树研究

为了提高数字地下空间数据库的存储效率与检索性能,设计基于可扩展标记语言(XML)的数字地下空间索引四叉矩形(QR) 树.该索引将检索过程涉及到的空间限制在整个索引空间的某一部分,XML利用其结构化的特点,改进了传统QR树索引文档与数据结构之间需要序列化的缺点,改善了因数据激增而下降的查找性能;同时利用XML的可扩展性,实现对索引信息规范化、结构化的描述,实现索引文档存储和数据结构组织的显式描述,解决了QR树存储开销较高、结点上溢和下溢问题,实现QR树动态维护,提高索引的稳定性.     

大数据技术在医疗健康管理的应用与设计

面对传统医疗健康管理系统在存储和管理海量数据方面表现欠佳的问题,提出基于Hadoop对医疗健康数据进行高效管理和快速处理的方法。根据医疗健康数据特点,将HBase与Solr相结合实现多条件查询从而提高查询效率。设计医疗健康数据HBase数据库、医疗健康数据写入HBase过程和医疗健康数据MapReduce查询分析三个组成部分,搭建Hadoop集群环境,对HBase和MapReduce的性能进行测试对比。经测试,当数据量逐渐增大到一定规模时,该模型表现出明显的优势,可满足海量的医疗健康数据管理要求,缩短了计算时间,提高了处理效率。     

海量小文件元数据的分布式存储与检索

针对现有分布式文件系统处理海量小文件时存在的主节点元数据处理性能瓶颈问题,提出采用分布式文件来存储元数据,并通过元数据缓冲和Hash映射实现元数据的分布;采用Map Reduce并行程序对元数据检索进行了实现,并指出了并行检索中存在的问题,提出采取局部位图索引对元数据检索进行了优化．最后通过实验进行了验证,实验结果证明,该方法实现了海量元数据的分布式存储与检索,避免了现有分布式文件系统在处理海量小文件时存在的主节点单点性能瓶颈．     

基于HBase和SimHash的大数据K-近邻算法

针对大数据K-近邻(K-nearest neighbors, K-NN)计算复杂度高的问题,提出一种基于HBase和SimHash的大数据K-近邻分类算法。利用SimHash算法将大数据集从原空间映射到Hamming空间,得到哈希签名值集合;将样例的行键与值的二元对存储到HBase数据库中,行健(rowkey)为样例的哈希签名值,值(value)为样例的类别;对于测试样例,以其哈希签名值作为健rowkey,从HBase数据库中获取所有样例的value,通过对这些values进行多数投票,即可以得到测试样例的类别。与基于MapReduce的K-NN和基于Spark的K-NN在运行时间和测试精度两方面进行试验比较。试验结果显示,在保持分类能力的前提下,提出的算法的运行时间远远低于其他两种方法。     

时态数据库初等关键字范式问题的研究

为了探索能避免存储异常(插入,删除,修改异常,冗余),保证数据的完整性和一致性的数据库模式,依据具有多时间粒度的时态函数依赖约束的理论,采用时态数据库规范化方法,提出了时态初等关键字范式的概念,并分析了时态初等关键字范式与时态三范式和时态BC范式之间存在的联系,得到了用TEKNF分解来解决如果把TBCNF作为最终目标,很难实现保持函数依赖性,若把T3NF作为最终目标,又很难实现想要得到的规范化要求的问题,是时态数据库进一步规范化的基础．     

Study on spatial temporal model in property management information system

Time is an important dimension for information in the geographical iniormatlon system. Data, such as the historical state of target property space and related events causing the state to be changed, should be saved as important files. This should be applied to property management. This paper designs and constructs a spatial temporal model, which is suitable to the property data changing management and spatial temporal query by analyzing the basic types and characteristics of property management spatial changing time and date. This model uses current and historical situational layers to organize and set up the relationship between current situation data and historical dates according to spatial temporal topological relations in property entities. By using Map Basic, housing property management and spatial query is realized.     

基于时态信息的数据有效性和处理权限的处理方法研究

本文在时态信息对数据有效性和数据处理权限影响分析的基础上,提出了将时态数据值与相关数据的有效性和数据处理权限的关系组织成时态值关系数据表,与时态数据和正常数据形成的数据表一起组织成数据库。在系统处理中,采用统一的数据库查询处理方法,完成信息系统随时间变化的处理的方法。     

基于时态信息的数据有效性和处理权限的处理方法研究

本文在时态信息对数据有效性和数据处理权限影响分析的基础上,提出了将时态数据值与相关数据的有效性和数据处理权限的关系组织成时态值关系数据表,与时态数据和正常数据形成的数据表一起组织成数据库.在系统处理中,采用统一的数据库查询处理方法,完成信息系统随时间变化的处理的方法.     

基于C-TRDM模型的时态数据存储研究

基于时态关系数据模型C-TRDM和时间过滤运算,提出时态数据栈的概念,定义了基于时态数据栈的两种操作方法,即分立时钟法和共用时钟法,并讨论了加速大容量时态数据存取的并行访存技术。     

基于M-Chord的分布式视觉监控交互检索算法

为对城域视觉监控系统产生的海量多媒体数据进行高效索引和检索,提出基于M-Chord的分布式交互检索和负载均衡算法.对象以颜色柱状图、Gabor纹理描述和轨迹系数空间特征组成的特征向量描述,由M-Chord算法进行分布式索引分发和检索.提出基于线性和非线性支持向量机的分布式相关反馈算法,将支持向量机模型建立的度量空间与M-Chord索引所处的度量空间结合,利用分片中心点减少了对节点和对象的访问.实验表明提出的算法可以准确反映用户的查询语义,仅需要检索分布式监控网络中的少部分节点即可达到与顺序扫描接近的查准率,同时较好实现了分布式监控网络中的负载均衡.     

消除规范关系连接冗余的二次排序算法研究

使用MapReduce框架对规范的一对多关系实体进行连接操作时,一方实体的各个属性会在连接的结果中产生大量冗余. 通过对二次排序算法进行优化,重新定义Map阶段的分区过程、Shuffle阶段的排序及分组过程,使得Map阶段的输出为包含一方实体属性值和多方实体排序值的组合键及包含多方实体属性值的集合. Reduce阶段将组合键进行分解,提取一方实体的主码作为HBase表的行健,并将组合键中一方实体的各个属性值及多方实体属性值集合分别写入HBase表中对应的列,从而既实现了连接的语义,又消除了冗余. 实验证明,优化后的算法可以消除一方实体属性值在连接结果中的冗余,提高了对连接结果的查询效率.     

基于本体的机床设备资源共享机制

为解决机床资源共享中资源表述、存储及与加工任务匹配等关键问题, 提出基于本体的机床资源共享机制。 采用本体对机床资源进行语义化表述,增强其人机可读性。采用分布式数据库HBase对机床本体信息进行存储,以高效存取为目的设计HBase表格,实现对机床本体信息的存储及高效查询。提出基于加工任务的机床资源查询策略,实现加工任务与共享资源的有效匹配。在存储大量机床实例至数据库的条件下,以车削加工任务为例进行验证,通过提交该任务至该资源共享平台,获得适合该任务的车床列表。结果表明,建立的机床本体模型及提出的资源信息存储方案和资源查询策略能够满足资源共享的需求,验证共享机制的可行性和有效性。