优化RFID数据压缩与存储算法的实现

随着物联网的快速发展,RFID作为物联网的核心技术已经广泛应用于物联网,由此带来海量的数据,而传统的关系数据库技术已经不能完全应对如此巨大的数据量以及基于海量数据的检索,由此提出了一种新的数据仓库结构RFID-Box.这种新的数据仓库结构RFID-Box主要利用大量物品的成批移动、数据泛化和部分路径的融合等特性来进行数据压缩和存储,极大地减少了存储空间,提高了查询效率.简单介绍海量数据压缩与存储算法的一种实现过程,并用C#语言实现算法结果.     

一种复杂多维层次的连接和聚集算法

由于数据仓库中存储着不同粒度、容量巨大的数据记录，所以如何有效地执行联机分析处理(OLAP)查询操作，特别是连接和聚集操作，便成为数据仓库领域的核心问题之一．为此，提出了一种降低连接和聚集操作的新算法(join and aggregation based on the complex multi-dimensional hierarchies，JACMDH)．算法充分考虑了复杂多维层次的特点，在原有的位图连接索引(bitmap join index)的基础上，采用层次联合代理(hierarchy combined surrogate)和预先分组排序的方法，使得复杂的多维层次上的连接和聚集操作转化成事实表上的区域查询，从而在处理多维层次聚集的同时，提高了连接和聚集的效率．算法性能分析和实验数据表明，JACMDH算法和目前流行的算法相比，其性能有显著的提高．     

基于聚集区域的强关联OLAP查询解决方案设计

聚集区域的OLAP查询解决方案是基于对数据仓库中数据立方体聚集区域认识的基础上提出的。它结合MO-LAP和ROLAP的特点,能够有效地识别出数据立方体中的聚集区域和稀疏点,通过不同的存储方式提高查询效率。基于上述思想,该文还提出了聚集区域查询(DSR)算法和严格约束的聚集区域查询(SDSR)算法,并对两种算法进行了仿真比较。     

基于T^＊树的RFID数据缓存的研究与实现

如何对RFID中的海量数据进行有效存储并支持高效查询已成为目前研究的难点和热点。根据RFID数据的访问特点,将RFID数据的存储分为缓存和数据仓库两部分。并设计实现了基于T^＊树内存索引结构的RFID数据缓存模块,最后对其中的查询算法特别是批量查询给出了具体实现。结果表明,T^＊树比T树更节省存储空间,具有更高的cache效率以及更短的平均查询时间。     

封闭立方体反转索引查询优化技术 *

处理用户复杂查询请求的速度是数据仓库关键性能之一。论述了在 QC算法产生的聚集表上建立反转索引和查询并还原出立方体上界的方法 ,查询算法包括位图查询算法和反转列表查询算法。最后进行了性能测试 ,结果表明这两种算法均能够提高查询的速度。     

半限制空间内的RFID 可能性k-近邻查询技术

作为一种监控与跟踪车流和人类活动等的潜在技术,RFID(radio frequency identification)已经在数据库领域得到了很大关注.RFID监控对象上的k-近邻查询是一种最重要的时空查询,能够用来支持有价值的高层信息分析.但是,不同于没有限制的空间和基于限制的空间,RFID监控场景通常被设置在一种半限制的空间内,需要新的存储和距离计算策略.此外,监控对象位置的不确定性对查询语义和处理方法提出了挑战.提出了半限制空间的概念,并且分析了基于RFID的半限制空间的模型.基于半限制空间,在给定一个动态查询点的基础上,提出了3种模型和算法以有效地估计可能性k-近邻的查询结果,并采用一些特殊的索引技术加快查询的速度.实验对提出算法的效率和准确性进行了评估,表明了相关方法的有效性.     

无须附加空间的数据立方体联机聚集

以往在数据立方体上实现的联机聚集往往需要附加空间来存储联机聚集估算所需要的信息,极大地影响了数据立方体的存储和维护性能.提出了基于QC-Tree的用于范围查询处理的联机聚集PE(progressively estimate)算法以及它与简单聚集算法相结合的混合聚集算法HPE(hybrid progressively estimate);还提出了一种能够同时处理多个范围查询的联机聚集算法MPE(multiple progressively estimate).与以往联机聚集算法不同,这些算法不需要任何附加空间,而是利用QC-Tree自身保存的聚集数据和语义关系来估算聚集结果.由于QC-Tree是一种极为高效的数据立方体存储结构,因此能够以较理想的性能实现数据立方体上的联机聚集.对算法的分析和实验结果表明,所提出的算法具有较好的性能.     

联机分析查询处理中的一种聚集算法

联机分析处理(online analytical processing,简称OLAP)查询是涉及大量数据的即席复杂查询,从SQL(structured query language)角度来看,这些查询通常都包含多表连接和分组聚集操作.从OLAP查询处理角度出发,提出一种新的基于排序的聚集查询算法MuSA(sort-based aggregation with multi-table join).该方法充分考虑到数据仓库星型模式的特点,将聚集操作和新的多表连接算法MJoin相结合,排序时采用     

一种并行处理多维连接和聚集操作的有效方法

随着并行计算算法的完善和廉价、功能强大的多处理机系统的成熟，使得采用多处理机系统来并行处理多维数据仓库的连接和聚集操作成为当前有效提高OLAP查询处理性能的首选技术．为此，提出一种降低连接和聚集操作开销的并行算法PJAMDDC(parallel join and aggregation for multi-dimensional data cube)．算法充分考虑了多维数据立方体的存储机制和多处理机分布系统的结构特点，在原有聚集计算多维数据立方体的搜索点阵逻辑结构的基础上，采用多维数据仓库的层次联合代理(hierarchy combined surrogate)和对立方体的搜索点阵进行加权的方法，使得立方体数据在多个处理机间的分配达到最佳的状态，从而在分割多维数据的同时，提高了并行处理多维连接和聚集操作的效率．算法实验评估表明，PJAMDDC算法并行处理多维数据仓库的连接和聚集操作是有效的．     

一种扩充语义的实视图重写查询技术

分组聚集查询已成为数据仓库领域研究的核心问题之一,实视图是提高分组聚集查询性能的有效手段。利用维属性间的层次关系,对一般意义上的实视图重写查询进行了扩展,讨论了单一视图重写查询的限制条件,并给出重写方法,在此基础上,提出了一种利用多个实视图重写查询的优化选择算法,并通过实验表明,该算法进一步提高了分组聚集查询效率。     

一种有效的空间数据仓库区域聚集查询索引结构

空间数据仓库有效地支持对空间数据的管理和分析,提供更加全面的决策支持．讨论了一种有效的空间决策支持手段——空间区域聚集查询的实现．基于aggregate cubetree和aR—tree提出了一个可以有效地在空间维和非空间维上进行区域聚集查询的索引结构aCR-tree及其相关算法,并计算分析了查询算法的时间复杂度．与现有技术相比aCR-tree降低了存储代价和每次查询访问的节点数,通过实验证明,该索引结构可以提供较好的存储性能和查询性能．     

RFID与MongoDB融合的分布式云仓储管理系统

利用非关系型数据库具有数据存储不需要固定表结构、不存在连接操作的特性,建立起来的非关系型分布式云存储数据管理,具有比关系型数据库存储管理更好的性能优势。通过基于MongoDB建立的分布式云存储架构,结合底层的Angular和RFID技术,设计实现一种分布式云存储智能仓储管理系统,以解决现代商品仓储管理存在的数据规模大、异地数据不同步、数据共享度低、管理成本高等问题。针对MongoDB为了加速对查询或修改过的数据访问速度而采取记忆并缓存至本地的策略,以及对某节点数据的高密度访问可能造成数据拥堵的问题,设计了基于数据操作频率统计技术的节点均衡访问算法,并对算法的均衡关系参数进行优化验证。系统包括商品的进出库管理、查询统计等基本功能,可应用于数量、地域不断扩大的分散型仓储智能管理。     

基于事件共享机制的物联网复杂事件处理方法

针对物联网(IOT)复杂事件查询处理过程中的重复查询、存储和处理的问题,提出了事件共享机制(ESM)。首先,为了实现复杂事件的查询与检测,给出了物联网语义事件定义及事件操作符的语义描述;其次,从公共子查询的定义、公共内部查询结构的设计以及事件资源的共享三个角度对物联网事件共享机制展开研究,通过查询表达式的重写、有向无环图(DAG)的构建,以及在结点上使用改进的Continuous参数上下文对事件流进行处理,实现公共子事件查询、存储和处理的共享;最后,构建了基于事件共享机制的语义形式化查询计划处理模型(SFQPM),该模型可自动对查询表达式和查询谓词进行处理,实现复杂事件检测和处理的自动化。仿真结果表明,与基于二叉树(BTree)的处理方法进行对比,所提出的SFQPM具有较高的处理效率和可靠性,实现了复杂事件检测与中间结果共享机制的有机统一,提高了系统的处理效率。最后通过案例研究验证了所提出算法的有效性和可行性。     

面向时空数据的区块链构建及查询方法

时空数据作为一种同时具有时间维度及空间维度的数据类型,被广泛应用于供应链管理、电子商务等领域,它的完整性及安全性在实际应用中具有重要意义。针对目前时空数据集中式存储方式存在数据不透明且易被篡改的问题,将区块链技术的去中心化、防篡改、可追溯等特性与时空数据管理相结合,提出面向时空数据的区块链构建及查询方法。首先,提出一种基于改进图型区块链（Block?DAG）的时空数据区块链架构ST_Block?DAG;其次,为了提升时空数据的存储及查询效率,在ST_Block?DAG区块链内部采取基于四叉树及单链表的结构存储时空数据;最后,在ST?Block?DAG存储结构基础上实现了多种时空数据查询算法,如单值查询、范围查询等。实验结果表明,与STBitcoin、Block?DAG以及STEth相比,ST_Block?DAG的时空数据处理效率提升了70%以上,时空数据综合查询性能提升了60%以上。所提方法能够实现时空数据的快速存储及查询,可以有效支持时空数据的管理。     

基于KDB树的RFID事件聚合过滤算法

分析RFID中间件查询数据的特点,提出一种对查询数据聚合转换的方法,减少查询索引的存储空间和数据插入时间。分析和比较已有多维查询索引的各方面性能,将多维索引KDB-tree应用到RFID中间件中。实验结果表明,KDB树索引在存储空间成本、数据插入成本和查询时间成本3个方面的综合性能最佳,在点查询上,KDB-tree只须单路径遍历索引树,数据查询时间少于其他方法。     

基于双数组trie树的多模式复杂事件检测方法

制造物联网中海量实时数据流急需高效的事件检测与处理方法，高效意味着单位时间内使用较小的存储空间处理更多的输入事件。提出一种基于双数组trie树的多模式复杂事件检测方法，通过构建多模式匹配自动机模型减少查询过程中冗余的检测和计算，并利用双数组trie树充分压缩存储空间，从而提高了复杂事件处理的效率。仿真实验表明，提出的方案相比传统的单模式复杂事件检测，具有较小的空间和时间消耗。     

一种空间数据仓库动态物化视图选择算法

物化视图能够有效地提高空间数据仓库的查询效率,但由于空间操作的复杂性,传统数据仓库中物化视图的选择算法不能很好地应用于空间数据仓库。为了在存储空间约束下选择查询进行物化,并动态调整物化视图集,以适应用户查询的时变性和即席查询,提出了空间物化视图选择算法SMVS。实验结果表明该算法是有效可行的,不仅能够提高查询性能,而且解决了查询响应性能随用户查询分布变化而下降的问题。     

超高频RFID标签可重用仓储管理系统的设计

超高频RFID标签感应距离远、读取速度快和抗干扰能力强,应用于仓储管理系统可以提高其管理效率。针对中小型仓储应用提出物品入库关联RFID标签,出库解除关联,RFID标签可重复使用。采用静态字典编码和时间压缩算法对单一仓储物品信息压缩编码至128比特,通过对RFID标签顺序增计数编号,二维表被简化为线性表并存储在RFID阅读器中,RFID阅读器将仓储数据同步更新管理数据库。讨论了仓储管理系统RFID阅读器的硬件及软件设计架构。仓储物品信息压缩编码和数据顺序存储降低了系统对RFID阅读器硬件和存储资源的需求。     

数据仓库中物化视图选择策略

为了提高决策支持和OLAP查询的响应效率,数据仓库多采用物化视图的思想.因此,物化视图的选择策略是数据仓库研究的重要问题之一.其目标是选出一组存储、维护代价与查询代价的总和为最小的物化视图.提出一个以MVPP(multi-view processing plan)为视图选择的搜索空间的物化视图选择新算法--VSMF(views selection base on multi-factor)算法.该算法在存储空间约束下同时实现多查询最优化和视图维护最优化.