P2P 网络中时变数据的近似聚集方法

随着P2P 技术在电子商务等领域的广泛应用,对分布在P2P 网络中的数据进行聚集操作的需求越来越迫切.但是,由于P2P 网络的大规模及分散性,这种聚集操作的实现颇具挑战性.而且在很多应用中,P2P 网络中的数据往往是随时间变化的,这进一步增加了聚集操作的难度.现有P2P 网络中的聚集算法均假定网络中的数据是非时变的,如果将其直接应用在存在时变数据的P2P 网络中,则会因为其聚集时间过长而导致聚集过程中数据已经发生变化的问题.为此,提出了一种P2P 网络中基于均衡采样的时变数据近似聚集算法,理论分析和实验结果表明,该聚集算法在处理时变数据时优于已有的算法,可以有效地应用于存在时变数据的P2P 网络中.     

列存储中的OLAP多查询优化方法

为了使列存储OLAP(on-line analytical processing)操作中I/O和CPU开销较大的扫描、连接、聚集操作实现有效的共享和复用,提出了一个多查询优化技术。根据列存储以及OLAP操作的特点,提出了一系列转换规则,为OLAP查询请求产生的一组相关查询语句生成一个单一全局查询计划。为了达到共享复用的目的,在全局计划中引入新的过滤结点、分组结点、合并结点和聚集结点。同时,借用MuGA(multiply group by algo-rithm)算法,通过分组结点、合并结点、连接结点实现维表及事实表元组的分组序号标记,从而实现列扫描、列连接的共享。并为聚集结点提出了一个多阶段聚集算法,结合最终生成的事实表复合分组序号,实现聚集操作的复用。在SSB(star schema benchmark)数据集上设计实验,证明了该多查询优化策略的有效性。     

一种并行处理多维连接和聚集操作的有效方法

随着并行计算算法的完善和廉价、功能强大的多处理机系统的成熟，使得采用多处理机系统来并行处理多维数据仓库的连接和聚集操作成为当前有效提高OLAP查询处理性能的首选技术．为此，提出一种降低连接和聚集操作开销的并行算法PJAMDDC(parallel join and aggregation for multi-dimensional data cube)．算法充分考虑了多维数据立方体的存储机制和多处理机分布系统的结构特点，在原有聚集计算多维数据立方体的搜索点阵逻辑结构的基础上，采用多维数据仓库的层次联合代理(hierarchy combined surrogate)和对立方体的搜索点阵进行加权的方法，使得立方体数据在多个处理机间的分配达到最佳的状态，从而在分割多维数据的同时，提高了并行处理多维连接和聚集操作的效率．算法实验评估表明，PJAMDDC算法并行处理多维数据仓库的连接和聚集操作是有效的．     

向量分组聚集计算技术研究

分组聚集计算是OLAP重要的操作符之一,分组聚集操作是一种数据密集型负载。在内存数据库和GPU数据库应用场景下不仅需要研究其性能优化技术,还需要研究如何优化分配分组聚集计算执行场地以最小化CPU与GPU之间的数据传输代价。针对异构计算平台的硬件特征提出了向量聚集计算技术,将位于传统流水线末端的分组聚集计算按照“早分组,晚聚集”策略进行分解与下推,实现将数据密集型的分组聚集计算从流水线中分离,将操作与处理器计算特性优化匹配,实现异构计算平台上最优的负载分配。通过将传统基于哈希分组的聚集计算转换为向量分组聚集计算,显著提升了分组聚集计算性能。实验结果表明,向量分组聚集技术相对于具有代表性的高性能内存数据库Hyper、GPU数据库MapD最大达到5~8倍的性能提升。向量聚集计算不仅提高了OLAP聚集计算性能,而且实现了将数据密集型负载从查询计划中分离的目标,使异构计算平台能够根据处理器的硬件特性优化配置计算资源,提高异构计算平台OLAP的整体性能。     

Graph OLAPing 的建模、设计与实现

提出了一系列Graph的OLAP模型和算法,实现了以Graph数据为中心度量的OLAP操作.主要贡献包括:(1)提出了面向Graph的数据仓库概念模型——双星模型;(2)提出了Graph的数据立方概念和创建过程;(3)设计了信息维聚集算法I-OLAPing;(4)设计了拓扑维聚集算法T-OLAPing;(5)实现了Graph OLAP的原型系统Graph OLAPer1.0.实验结果表明,设计和实现的Graph OLAPing算法及原型系统Graph OLAPer1.0能够有效地进行科研合作网分析.     

云计算环境下动态数据聚集算法研究

云计算技术的普及带动了数据的增长,为了对云环境下动态数据进行管理,防止数据损坏甚至丢失,方便后续利用,需要对云计算环境下动态数据进行聚集。但目前大多数算法都是基于线性时间概率计数的数据聚集算法,通过数据聚集操作在中间节点预先对数据进行处理,去除数据冗余,减少数据传输,实现节能,对于云计算环境下数据聚集操作存在的重复计数问题,通过研究对副本不敏感的概要结构并优化某些特性,从而完成数据聚集,但这种方法存在占用的存储空间较大,且不能保证动态数据聚集的准确性的问题。为此,提出一种基于粒子群优化算法的云计算环境下动态数据聚集算法,该算法通过对云计算环境下动态数据聚集算法数学模型进行分析,在此基础上,提出基于粒子群优化算法的云计算环境下动态数据聚集算法。首先对云计算环境中的动态数据结构模型进行分析,完成对云计算环境下动态数据的离散样本频谱特征的计算,实现云计算环境下动态数据聚集样本的特征提取和信息模型构建。针对粒子群算法收敛速度慢的问题,本文通过混沌映射方法对其进行优化,通过生成混沌序列,解决粒子群算法存在的问题,利用粒子群优化算法进行特征聚集,从而完成云计算环境下动态数据聚集算法。实验结果表明,本文所提算法能够有效提高动态数据聚集的可靠性和稳定性,降低聚集时间,减少所占内存空间,具有较强的实践性,为该领域的发展创造了条件。     

基于Supersonic的并行分组聚集

针对在分析型联机分析处理(OLAP)应用中频繁出现的数据密集型操作符——分组聚集耗时较多的问题,提出Cache友好的分组聚集算法对该操作进行性能优化。首先,为充分发挥列存储在数据密集型计算方面的优势,采用基于开源的列存储查询执行引擎Supersonic,并在此之上设计Cache友好的分组聚集算法;其次,为加速查询的执行,使用并行技术,将单线程的分组聚集算法改为多线程并行的分组聚集算法。基于Supersonic设计并实现4种并行分组聚集算法:无共享Hash表并行分组聚集(NSHPGA)算法、表锁共享Hash表并行分组聚集(TLSHPGA)算法、桶锁共享Hash表并行分组聚集(BLSHPGA)算法、节点锁共享Hash表并行分组聚集(NLSHPGA)算法,且在不同的分组势集、不同的线程数的情况下,针对上述4种算法做了多组实验。通过对比3种不同粒度的共享Hash表并行分组聚集算法的加速比,得出NLSHPGA算法在加速比和并发度两方面表现最好,部分查询可达到10倍加速比;通过比较NSHPGA算法和NLSHPGA算法的加速比、Cache miss内存使用等情况,得出NLSHPGA算法在分组势集大于8时,加速比超过NSHPGA算法,并且Cache miss更低,使用的内存更少。     

基于CORBA和OpenJPA的分布式电力数据整合系统

CORBA分布计算技术具有平台的透明性,使得异质应用程序能够互相操作,具有较强的通用性和适应性。OpenJPA框架封装了和关系型数据库交互的操作,让开发者把注意力集中在编写业务逻辑上,实现了对数据操作的对象封装。把这两种技术有机结合,以CORBA为数据在系统之间通信的服务架构,OpenJPA为封装各个系统中的数据操作的持久层框架,并用公用信息模型(CIM)对数据进行建模,设计并实现了基于Web的分布式电力数据整合系统。     

论OLAP的三种实现技术

OLAP(On-LineAnalyticalProcessing)是数据仓库系统的主要应用,它支持复杂的分析操作,侧重决策支持。文章从数据的存储方式,钻取操作,数据更新,和性能上研究了OLAP的三种实现技术ROLAP(RelationalOLAP),MOLAP(MultidimensionalOLAP)HO-LAP(HybridOLAP)的不同和三种实现技术的适用范围。     

一个基于实化聚集视图的近似查询计算模型及其应用

在数据仓库、大量交易记录系统、移动计算、联机分析处理系统(OLAP)等许多领域中聚集数据的处理是一个非常重要的核心问题。该文首先分析了聚集数据查询的特点,引入了聚集查询语言和聚集查询重写;其次对于聚集查询环境下如何实现快速查询,给出了一个基于聚集数据的近似查询计算模型;最后将该计算模型应用于人口统计系统,从而实现对统计信息类数据进行快速的查询处理,获得有效的查询结果。     

WSNs中数据融合树的时隙分配算法

周期工作DC(Duty-Cycling)技术,即周期地开/关通信和感测能力,能够有效降低传感节点的活动时间,进而延长无线传感网络寿命.然而,此技术给数据融合提出了挑战.为此,提出免碰撞的数据融合树的时隙分配算法CF-DGSS(Collision-Free Data Aggregation Slots Scheduling Algorithm for Duty-Cycled Wireless Sensor Networks),进而解决基于DC的WSNs的数据融合时隙分配问题.为了解决碰撞问题,CF-DGSS算法给每个节点构建冲突集.每个节点在融合时隙分配过程中,保存自己的冲突集.在分配时隙时,传感节点应当确保与冲突集内节点的数据融合不干扰.仿真结果表明,与其他的分配算法相比,提出的CF-DGSS算法具有低的融合时延.     

无线传感器网络数据融合技术

数据融合技术是无线传感器网络的一个关键技术,能减少传感器节点间的传输量,从而明显提高网络感知效能,延长网络生命周期,减小时间延迟。通过对尚处于研究阶段的数据融合技术进行详细分析与研究,阐述了数据融合技术的重要性,并分类介绍了现有的主要数据融合方法,最后指出该研究领域当前面临的挑战以及需要进一步研究的方向和有前景的研究课题——压缩感知。     

无线传感器网络中的最大生命期基因路由算法

无线传感器网络(wireless sensor networks,简称WSNs)由一组低功率且能量受限的传感器节点构成,设计此类网络的一个基本挑战便是最大化网络生命期的问题.在WSNs中,由于邻近传感器节点所收集的数据之间往往具有时空相关性,多采用数据聚合技术作为去除数据冗余、压缩数据大小的有效手段.合理地应用数据聚合技术,可以有效地减少数据传递量,降低网络能耗,从而延长网络生命期.研究了WSNs中结合数据聚合与节点功率控制的优化数据传递技术,提出了一种新的最大化网络生命期的路由算法.该算法采用遗传算法(genetic algorithm,简称GA)最优化数据聚合点的选择,并采用梯度算法进一步优化结果.该算法均衡节点能耗,并最大化网络生命期.仿真结果表明,该算法极大地提高了网络的生命期.     

无线传感器网络中的最大生命期基因路由算法

无线传感器网络(wireless sensor networks,简称WSNs)由一组低功率且能量受限的传感器节点构成,设计此类网络的一个基本挑战便是最大化网络生命期的问题.在WSNs中,由于邻近传感器节点所收集的数据之间往往具有时空相关性,多采用数据聚合技术作为去除数据冗余、压缩数据大小的有效手段.合理地应用数据聚合技术,可以有效地减少数据传递量,降低网络能耗,从而延长网络生命期.研究了WSNs中结合数据聚合与节点功率控制的优化数据传递技术,提出了一种新的最大化网络生命期的路由算法.该算法采用遗传算法(genetic algorithm,简称GA)最优化数据聚合点的选择,并采用梯度算法进一步优化结果.该算法均衡节点能耗,并最大化网络生命期.仿真结果表明,该算法极大地提高了网络的生命期.     

Energy-efficient and high-accuracy secure data aggregation in wireless sensor networks

Due to the inherent characteristics of resource-constrained sensors, communication overhead is always a major concern in wireless sensor networks (WSNs). Data aggregation is an essential technique to reduce the communication overhead and prolong network lifetime. Since data aggregation results are usually used to make critical decisions, the accuracy of final aggregation results is very important. Furthermore, as wireless sensor networks are increasing being deployed in security-critical applications, we should take security into consideration as well. Therefore, for such applications, data aggregation protocols must be highly energy efficient and highly accurate while being able to prevent an adversary from stealing private data held by each sensor node. In this paper, we propose an energy-efficient and high-accuracy (EEHA) scheme for secure data aggregation. The main idea of our scheme is that accurate data aggregation is achieved without releasing private sensor readings and without introducing significant overhead on the battery-limited sensors. We conduct extensive simulations to evaluate the performance of EEHA. Our analysis and simulations show that EEHA is more efficient and accurate than the existing scheme.     

无线传感器网络数据融合技术研究

无线传感器网络是一种新兴前沿技术,其巨大的应用前景受到学术界和工业界的高度重视。无线传感器网络节点能量和计算资源严重受限,数据融合技术是减少网络能耗、降低数据冲突、降低传输时延的重要方法。本文首先分析数据融合的重要性;其次针对数据融合的功能分类阐述现有的数据融合方法,并分析存在的问题;最后对数据融合技术的未来发展进行了展望。     

Effective query aggregation for data services in sensor networks

Providing efficient data services has been required by many sensor network applications. While most existing work in this area focuses on data aggregation, not much attention has been paid to query aggregation. For many applications, especially ones with high query rates, query aggregation is very important. In this paper, we study a query aggregation-based approach to provide efficient data services. In particular: (1) we propose a multi-layer overlay-based framework consisting of a query manager and access points (nodes), where the former provides the query aggregation plan and the latter executes the plan; (2) we design an effective query aggregation algorithm to reduce the number of duplicate/overlapping queries and save overall energy consumption in the sensor network. We also design protocols to effectively deliver aggregated queries and query results in the sensor network. Our performance evaluations show that by applying our query aggregation algorithm, the overall energy consumption can be significantly reduced and the sensor network lifetime can be prolonged correspondingly.     

无线传感器网络中数据融合节点数目的确定方法研究

数据融合技术作为无线传感器中的一项关键技术,目的是减少节点的传输数据量,减少网络中总能量的消耗。通过对WSN中的数据融合问题分析,融合节点数存在最优值,建立了一个能量消耗模型获得理论最佳融合节点数目,通过仿真分析了融合节点数目的选取对网络性能的影响,模拟仿真得到的最佳数目与理论值基本吻合。     

基于节点度-限制的数据融合树构建算法

在无线传感网络部分应用中,数据传输必须在指定时延约束下完成.因此,最小化网络时延和最大化网络寿命成为无线传感网络的研究热点.为此,提出基于节点度-限制的数据融合树构建DC-DATC(Degree-Constrained-Based Data Aggregation Tree Constructing)算法.DC-DATC算法减少了高节点度对数据融合时延的影响.依据预设的节点度阈值,只有节点度小于阈值的节点才能加入数据融合树.利用数据融合树传输数据,降低了数据传输量,提高了能量利用率.实验结果表明,DC-DATC算法降低了融合时延,且平衡了网络能耗,最终实现了网络寿命的扩延.     

两层传感器网络中隐私保护的等区间近似查询算法

隐私保护已经成为拓展无线传感器网络（WSN）应用的关键因素,是当前的研究热点。针对传感器网络中感知数据的安全性问题,提出了两层传感器网络中隐私保护的等区间近似查询（PEIAQ）算法。首先,将传感器节点编号及其采集的数据等信息隐藏在随机向量中;然后,基站根据接收到的向量信息构造线性方程组,从而得到包含全局统计信息的直方图;最后,根据直方图完成近似查询。此外,PEIAQ利用数据扰动技术和传感器节点与基站共享密钥的方式来对感知数据进行加密,保证了感知数据的隐私性。仿真实验显示,PEIAQ的通信量在查询阶段明显低于隐私保护通用近似查询（PGAQ）的通信量,约节省60%,因此,该PEIAQ具有低能耗、高效率等特点。