基于压缩的海量不完整数据近似查询方法

随着数据的爆炸式增加,不完整数据普遍存在,传统的数据修复方法对于海量数据处理代价过高,且不能彻底修复,在这些不完整的海量数据上进行满足给定需求的近似查询引起了学术界的关注.因此,提出一种基于压缩的海量不完整数据近似查询方法,该方法对属性值缺失字段进行标记,根据频繁查询条件对标记后的数据进行压缩,并建立对应索引;根据属性划分对索引文件再次压缩以节省存储空间,采用编码字典对索引压缩文件进行选择和投影操作,最终获得不完整数据的近似查询结果.实验表明,该方法能够快速定位不完整数据的压缩位置,提高了查询效率,节省了存储空间,并且保证了查询结果的完整性.     

一种面向并行空间查询的数据划分方法

在并行空间数据库中,空间数据集在各计算节点是否聚集划分,对提高空间并行查询效率起着关键的作用.Oracle Spatial采用的基于格网的划分方法只考虑了数据集在各节点是否均衡划分,而未考虑空间数据的拓扑特征.基于空间数据聚集划分的目的,提出了一种基于K-平均聚类算法的空间数据划分方法.实验证明,该方法极大地提高了空间数据并行检索和查询效率.     

压缩数据集上的快速Cube计算方法

现有压缩数据集上的Cube计算方法只适用于稀疏数据,针对该问题,设计一种用于压缩常量和基本单一元组的压缩方法并提出一种新的Cube算法。该算法在计算过程中无需解压缩、计算速度快、数据压缩率高,适用于冰山计算。实验结果表明,与自底向上立方体算法相比,新算法计算速度快、所需存储空间小。     

地震数据的小波交换压缩方法

针对地震勘探中检测信号的数据压缩处理问题引入了小波变换方法,运用小波变换数据压缩基本原理进行地震信号压缩研究.仿真结果表明,该方法能够有效地对海量地震数据进行低损压缩.     

地震数据的小波变换压缩方法

针对地震勘探中检测信号的数据压缩处理问题引入了小波变换方法,运用小波变换数据压缩基本原理进行地震信号压缩研究。仿真结果表明,该方法能够有效地对海量地震数据进行低损压缩。     

模糊数据的编码压缩

采用菌落生长和速率法，选择多菌灵、粉锈宁等７种杀菌剂，单用或配对等量混用，对云杉雪霉病的主要病原菌之一窄截盘多毛孢进行毒力测定。结果表明；大多数混剂的毒力均显著高于单剂毒力；增效作用较大的混剂是：多菌灵＋代森锌、多菌灵＋粉锈宁、多菌灵＋福美砷、多菌灵＋退菌特、托布津＋退菌特、福美砷＋退菌特。     

一种高效的大数据实时性解决方案

大数据计算是物联网和云计算的研究热点之一.针对大数据中的结构化和非结构化数据,Hadoop技术在实时性要求不高的场景中应用效果较好,但在实时性要求高的场景中不能满足需求.针对这一问题,论文利用对象化并行计算提出了一种高效的实时性解决方案.对象化并行计算融合了对象化、Hadoop、内存计算等技术.在方案中,业务数据格式化成对象并分布式存储到集群计算机内存中,任务拆分成子任务通过并行计算来完成.对象化并行计算系统应用在国家电网公司电网资产质量监督管理系统中,应用效果表明该方案可大幅度提升系统性能,满足实时性需求.     

帧间差值的DCT压缩ECG数据的方法

心电图（ECG）信号具有准确周期性,各个心动周期（称其为帧）的ECG波形极为相似,将相邻两帧的ECG波形数据相减,得到值数据的波形比原始ECG波形量、数据值小、差值数据的DCT有效分量更为集中在低频段,且这些分量的幅度较低,由此,可以得到更高的数据压缩比。因此本文提出了一种利用ECG帧间差值代替原始ECG信号进行DCT变换,并用双码长编码方法对DCT分量进行编码的数据压缩方法。用该方法得到的重构TCG波形具有良好的保真度。     

面向集成电路逻辑仿真的高效数字波形压缩方法

电路仿真在集成电路设计中占有十分重要的地位.超大规模集成电路仿真输出的信号波形会占用大量存储空间,输出波形的压缩对提升电路仿真效率至关重要.逻辑仿真的输出波形主要包含信号跳变时刻信号值,还包含全部信号名、信号类型、信号位宽等辅助信息.首先提出对辅助信息的压缩处理方法,然后针对信号值数据的特点改进现有工作中的信号名压缩方案,并据此提出一种更高效的数字波形压缩存储格式.所提出的格式有利于变长编码压缩的同时,可以使用通用压缩算法进行二次压缩,进一步提升了压缩率.最后通过引入并行策略,压缩和解压缩过程能够以3阶段流水线模式运行.在缩短压缩和解压缩时间的同时,能更好地与逻辑仿真器相结合.实验结果表明,所提方法的压缩率最大达到720倍,相较于现有方法,在更短的压缩、解压缩耗时下文件压缩率最大提升近23倍.     

云计算下的基因测序数据并行化生成方法

传统基因测序数据生成方法对聚类的起始和终止判断不准确,导致测序数据生成速度慢,且无法对基因特征实现精准表达。为强化描述测序数据与基因之间的关联程度,优化基因测序数据生成效率,提出云计算下的基因测序数据并行化生成方法。利用主成分分析法,建立初始数据特征子集,获取综合数据指标,构建描述特征集合的系数矩阵,计算特征值与特征向量,保留方差贡献值较高的数据,完成降维处理。设计具有应用层、服务层与资源层的云架构体系,确定云平台组件。结合基因数据发展特征,验证基因中是否存在污染物,控制测序数据质量;根据聚类算法的反单调特性,将最小矩阵作为起点,通过阈值判断能否生成聚类。当聚类结束时,得到生成的并行化测序数据。实验表明,上述方法效率高,且生成的数据能够准确表达出基因特性。     

高通量计算在大规模人群队列基因组数据解析应用中的挑战

【目的】为推动精准医学研究的发展,世界各国相继开展大规模人群队列基因组测序计划,通过对数以万计个体进行全基因组测序,构建人群特异的基因组变异图谱。这些海量基因组数据产出,对计算速度和计算通量提出了新的要求,迫切需要速度更快、通量更高的计算平台来处理与解读这些生物序列信息。由于基因组数据自身的特点、数据解析过程的多样性和复杂性,致使在大规模人群基因组变异解析中高通量计算资源的使用效率低、计算速度慢、耗时长,服务器与本地数据交换不便,因此需要针对基因组变异解析进行多方面优化,通过软硬件开发来解决应用中存在的多种问题。本文拟对这些优化方法进行分析和综述。【方法】在高通量计算系统中,系统IO瓶颈问题是基因组变异解析并行化效率低的主要原因,通常采用基于分布式非结构化存储数据库以及对象存储系统,以提升IO的大规模可扩展能力,解决分析流程中存在的IO问题;同时通过基因组数据的高效压缩算法,可减少数据IO和传输压力。为了加快基因组数据解析速度,可在软件上采用神经网络等算法优化基因组解析方法,在硬件上使用FPGA(现场可编程逻辑门阵列)或GPU异构计算,以提高数据处理速度。【结果】综合来看,以上多方面的优化可以大幅提升基因组数据分析中高通量计算的性能,解决基因组数据处理中的存储墙问题,提高高通量计算资源的使用效率,大大减少全基因组变异解析的计算时间。【结论】高通量计算在基因组数据解析应用中存在的多种问题,可通过软硬件开发和优化得以解决,从而显著改进高通量计算在大规模人群队列变异解析应用中的计算效率,促进今后人群队列基因组研究与应用的广泛开展。     

An Efficient Data Dissemination Scheme for Spatial Query Processing

Due to the personal portable devices and advances in wireless communication technologies, Location Dependent Information Services （LDISs） have received a lot of attention from both the industrial and academic communities. In LDISs, it is important to reduce the query response time, since a late query response may contain out-of-date information. In this paper, we study the issue of LDISs using a Voronoi Diagram. We introduce a new NN search method, called the Exponential Sequence Scheme （ESS）, to support NN query processing in periodic broadcast environment. This paper aims to provide research directions towards minimizing both the access latency and energy consumption for the NN-query processing.     

大数据环境下高维数据的快速重复检测方法

大数据时代多源、异构、海量的数据正逐渐成为各种应用的主流.多源异构不可避免地会使数据出现重复,同时庞大的数据量对重复检测的效率提出了极高的要求,传统技术在大数据环境下并不能很好地对高维数据进行重复检测,就此问题展开研究,分析了传统SNM类方法的不足,将重复问题概化为一类特殊的聚类问题,利用R-树建立了高效的索引,利用聚类簇的特性减少了在R-树叶子中比较的次数,利用重复检测的Apriori性质实现了对高维数据集并行处理.实验结果表明,提出的算法能有效地提高高维数据的重复检测效率.     

基于车牌识别流数据的车辆伴随模式发现方法

针对伴随车辆检测这一新兴的智能交通应用,在一种特殊的流式时空大数据-车牌识别流式大数据下,重新定义Platoon伴随模式,提出PlatoonFinder算法,即时地在车牌识别数据流上挖掘Platoon伴随模式.本文的主要贡献包括：第一,将Platoon伴随模式发现问题映射为数据流上的带有时空约束的频繁序列挖掘问题.与传统频繁序列挖掘算法仅考虑序列元素之间位置关系不同,本文算法能够在频繁序列挖掘的过程中有效处理序列元素之间复杂的时空约束关系;第二,本文算法融入了伪投影等性能优化技术,针对数据流的特点进行了性能优化,能够有效应对车牌识别流式大数据的速率和规模,从而实现车辆Platoon伴随模式的即时发现.通过在真实车牌识别数据集上的实验分析表明,PlatoonFinder算法的平均延时显著低于经典的Aprior和PrefixSpan等频繁模式挖掘算法,也低于真实情况下交通摄像头的车牌识别最小时间间隔.因此,本文所提出的算法可以有效的发现伴随车辆组及其移动模式.     

A New ETL Approach Based on Data Virtualization

ETL (Extract-Transform-Load) usually includes three phases: extraction, transformation, and loading. In building data warehouse, it plays the role of data injection and is the most time-consuming activ...     

大数据技术在环境信息中的应用

在“辽河流域水环境管理技术综合示范”项目中,随着时间的累积,环境监测数据处理系统采集到的数据量越来越大.然而目前辽宁省环境监测数据处理系统无法有效处理日益增长的海量数据.研究运用大数据技术,改进环境监测数据处理系统中的数据中心.利用HDFS强大的数据存储、管理功能,以应对数据量的增长,利用MapReduce及Hadoop其他相关工具,快速处理海量数据,降低数据规模,最后将数据存储到数据库中.     

超大型压缩数据仓库的查询研究

查询速度是联机分析处理中的一个关键性能指标,人们通过事先生成所有可能的聚集来提高查询速度,然而这样的完全物化是以存储空间为代价的.针对数据立方体数据分布特点和结合压缩技术,本文介绍如何最大化节省存储空间来进行完全物化,然后在此基础上对查询进行了研究,以达到最小存储空间以及较好的查询速度的目的.