一种海量数据库记录归档处理和查询方案

提出了一种对海量数据进行归档的处理方式,能够简单、高效地存储和访问这些数据.其基本思路是在归档时,对不同的数据进行分别处理,建立索引和压缩数据,将索引和压缩数据存储在文件系统中,并对归档后的记录提供独立高效的查询支持.     

基于Hadoop的轴承监测海量数据的存储与管理

针对高速机车转向架滚动轴承监测数据的格式多样化、数据量激增带来的管理和存储问题,在分析监测数据特征和数据量大小的基础上,构建了树形索引结构对滚动轴承状态监测海量数据进行管理。利用研究所当前的软硬件环境,搭建了分布式集群系统存储海量监测数据,并对集群系统在存储和管理海量数据时的可用性和稳定性进行了探讨。通过对实际数据的测试和分析,结果表明基于树形索引结构的分布式集群系统能在一定程度上满足滚动轴承状态监测非结构化海量数据存储和管理的要求。     

基于决策树分类算法异构数据的索引优化

海量数据的索引是提高分布式环境下海量数据的查询重要手段。为了构建高效的索引结构,人们提出了多种异构数据索引优化方法。文中给出了基于决策树分类算法下的索引优化方法。基于决策树分类算法构建索引决策树,利用该索引决策树对各个子空间表的属性列进行决策,建立索引表,根据索引表数据建立索引,再根据各子空间上的索引构建全局索引。该二级索引结构为快速定位索引信息提供了技术支持。实验结果表明,索引决策树是一个对优化异构数据索引合适的方法。     

基于Hadoop云计算平台的海量文本处理研究

针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词索引,并提供实时检索,实现对海量文本数据的分布式并行处理。实验结果表明,Hadoop框架为大规模数据的分布式并行处理提供了很好的解决方案。     

基于Hadoop的气象数据分布式存储技术研究

针对目前气象数据存储所面临的海量扩张、高并发读写、结构化和非结构化数据并存以及长时间序列和大数据集检索效率低下等问题,提出了以Hadoop开源框架为基础的气象数据分布式存储方案.通过对气象数据自身属性和特点进行分析,得出了气象数据在经过充分优化的基础上,在分布式存储框架中具有很强的适应性和规模化应用的潜力;并在HBas...     

云平台上基于图像特征索引的并行检索系统技术研究

为了提高建立索引、检索图像的速度,提出云架构上基于图像特征索引的并行检索系统.该检索系统主要有3个模块:海量小图片分布式存储(Store)、并行建立图像特征索引(Indexing)、并行图像检索(Retrieve).在Store模块中提出针对海量图片的合并存储,Indexing模块中提出索引缓存模式,避免重写索引的输出接口,Retrieve模块中对索引进行分片管理,以及并行检索.实验结果表明,相对于其他图像检索系统,基于图像特征索引的检索系统有效减少了图像特征索引建立时间,缩短了图像的检索时间,提高了图像检索速率.     

加密环境下大数据特征集并行存储方法研究

针对传统方法存在数据存储速度慢,容量小的问题,提出一种加密环境下大数据特征集并行存储方法。采用MMSE算法对大数据特征集进行优化处理,以获得并行的大数据特征集。在加密环境下,当内存中保留数据记录达到一定数量时,在并行处理后的数据中插入批量Hash索引。以此为基础,基于Map函数对数据进行映射处理,进而完成对大数据特征集的并行存储。实验结果表明,利用所提方法的存储过程中数据分布通道具有较好的一致性,且存储速度约为传统方法的3倍,存储容量大。     

分布式空间数据索引机制研究

在分析各种空间数据索引的基础上,研究利用分布式并行技术建立网络环境下海量空间数据的大规模索引机制的关键技术。对经典的R-树进行了改进,基于R-和散列hash表,提出了一种分布式环境下面向海量空间数据的分布式索引树结构DR-H,此索引树结构充分利用了R-树的范围查询和散列hash表的高效单key查询。经模拟实验结果表明,该分布式索引机制结构能够有效提高分布式网络环境下海量空间数据的检索性能。     

分布式存储系统在通信运营商中的应用分析

随着运营商的网路的发展,数据大部分存储在不同的区域网络,所以数据管理系统将面临数据的存取效率以及确保取得的数据内容一致的问题。针对数据分散存储与数据存取的问题,本论文提出一个通过阶层式逻辑数据索引与快取的设计建立在分布式数据管理系统中的数据存取机制,在现有网络带宽与架构下,提供更有效率的数据传输与数据管理。     

智能电网海量非结构化数据分布式存储研究

为了加快非结构化电网数据存储的译码速率,从而促进电网主机分布式存储能力的提升,提出智能电网海量非结构化数据分布式存储方法。定义MongoDB数据格式的方法,对电网信息实施复制处理,联合分布式存储架构完成智能电网海量非结构化数据库搭建。在此基础上,分析电网数据的特性能力,通过信息增删排查的方式,确定最终的分布式查询语句,搭建智能电网海量非结构化数据分布式存储模型,实现数据的分布式存储。与局部修复型存储编码方法相比,在分布式存储模型作用下,电网主机的存储译码速率最大值能够达到54.5 MB/s,可在实现非结构化电网数据快速转码的同时,提升电网主机分布式存储能力。     

基于BIRCH的入侵检测算法

针对已有的无线入侵检测方法训练时间长和检测精度低的问题,提出一种基于调整后的BIRCH——MBIRCH算法的无线Mesh网络入侵检测算法。该算法首先一次性扫描数据集获得CF（聚类特征）,然后自底向上地计算不同层次的聚类有效指标,主要是考虑数据集的几何结构,即通过度量簇内数据点分布的紧凑度以及簇间的相似度,并保持二者之间的平衡,根据此指标确定CF树的簇结点,直到得到最佳聚类结果,将最佳聚类结果作为训练样本指定判别函数,对网络数据定位。实验结果表明,该算法不仅明显减少样本训练时间,同时提高了算法检测精度,符合无线Mesh网络的入侵检测需要。     

基于高速图像数据Flash存储阵列无效块管理

针对高速图像数据FPGA大容量存储的需求,提出了两种基于高速并行化Flash大容量数据存储结构的无效块管理策略,并对比了在不同应用环境下,基于超级块地址映射的无效块管理及基于位索引的无效块管理的优缺点,列出了两种方式的数据无效块列表资源占用情况和存储容量损耗.通过多个工程项目的验证,这两种无效快管理策略各有所长,满足高速并行化存储Flash阵列的不同应用环境.     

基于频繁闭图的图包含查询算法

 交通网络可利用图数据进行描述与分析,常用的方法包括挖掘、查询、分类等.提高大规模图集上查询算法效率的问题是当前图数据分析领域中一个重要的研究方向.给定图集,图包含查询返回图集中所有查询图的子图.本文提出一种基于频繁闭图的包含查询算法.算法首先通过选择比消除频繁闭图之间的冗余,然后将具有强选择性的频繁闭图通过树的结构组织起来建立索引,并在此索引基础上实现图包含查询.在文章的最后,给出了理论与实验的分析结果.结果表明,该算法不但能高效的进行索引筛选,而且能显著的减小候选集尺寸,进而大大的降低了查询图与索引模式之间以及与候选集之间的子图同构测试次数,提高了查询效率.     

网络数据流分段存储模型的研究与实现

针对网络数据流存储面临的瓶颈问题，提出了同时保持时序性和属主性的网络数据流分段存储模型。模型在内存中采用基于弱时序性的高速缓存数据结构，提高了网络数据流实时存储的效率；在磁盘中采用了基于多级索引结构的数据流生成树结构，提高了基于时序性和属主性的检索效率。实验结果表明，模型显著提高了网络数据流的实时存储能力，有效降低了索引数据的信息量。     

八羟基喹啉镉薄膜制备及其光学特性

用真空蒸镀方法,在玻璃衬底上制备了衬底温度不同的八羟基喹啉镉薄膜.XRD分析表明,八羟基喹啉镉薄膜呈多晶态,且衬底温度越高,衍射峰越强,薄膜的结晶性能逐渐变好,结晶晶粒尺度也越大.AFM研究表明,衬底温度升高,薄膜表面形貌越均匀有序,质量变好.MM-16相调制型椭圆偏振光谱仪研究发现,衬底温度升高导致反蒸发增强,薄膜生长速率减小,随着入射光波长的增加,薄膜的折射率和消光系数逐渐减小.随着衬底温度升高,因薄膜晶粒尺度增大,折射率和消光系数也增大;并给出了它们的变化范围.     

平滑度指数对光谱迭代平滑温度发射率分离算法精度的影响分析

光谱迭代平滑温度发射率分离算法是针对高光谱数据温度发射率分离的有效算法,该算法的关键之处在于引入了衡量地物发射率曲线平滑程度的平滑度指数,用这个指数来评价地物发射率曲线中的大气吸收线残留程度,进而得到地物的温度,最后计算地物的发射率.针对目前文献中定义的平滑度指数和平滑度指数可能的定义,利用MODIS UCSB光谱库中的157条发射率曲线产生模拟数据集,利用模拟数据分析了不同的平滑度指数对光谱迭代平滑温度发射率分离算法精度的影响,给出了最优平滑度指数.     

FastBit在流量测量系统中的应用

通过对当前网络测量系统中数据存储方案的分析,引入一种新的基于位图索引的列式数据库FastBit的解决方案,通过对不同查询类型引入不同索引编码方法,可以提高查询的效率,使用WAH算法减少了索引占用的存储空间,位图索引可以在查询时快速生成,不需要时删除。通过在网络环境下的测试,证明了该解决方案比基于SQL数据库的方案有更高的效率,更适合高速网络的测量。     

Key storage management scheme based on keyed hash tree with state

To solve the problem of massive keys storage caused by multi-source data encryption in ciphertext retrieval system,a key storage scheme based on keyed hash tree with state was proposed.The scheme computes encryption key according to the root key and key derivation tree,and just needs to store the root key and the tree structure,which greatly reduces the key storage costs.In addition,the scheme manages key revocation according to the revocation state value,thereby solving the problem of key revocation and structure update.Strict security analysis shows that the partial data key disclosure does not leak the data confidentiality of remaining data,and the performance analysis using real-world dataset shows that the proposed key storage management scheme is acceptable in ciphertext retrieval system.