首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 140 毫秒
1.
地震数据处理中的数据读取具有块小量大的特点,常规磁盘所用的数据读取方式,其处理速度缓慢。设计了一种基于Fast DFS的分布式地震数据存取系统。该系统将数据分块存储在硬盘上,在Fast DFS中建立基于炮号和道号的两级索引结构,并选取Trie树作为一级索引,AVL树或红黑树作为二级索引,提高了系统读取速度。实验结果表明,该地震数据存取系统减少了相应的查询响应时间,提高了系统存取性能。  相似文献   

2.
为提高多格式海量数据统一存取效率,提出了一种基于Hadoop的分布式数据读取模式。并通过对海量数据非主键索引结构的研究,结合统一存取的描述理念,提出了基于HDFS的一种可适用于B-树和R-树及其变种的层次索引结构,改变了原键—值存储在非主键索引结构中的劣势。通过提出Hadoop缓冲策略、基于随机读取的新数据传输模型以及相应的查询处理策略,进一步降低了数据传输开销。实验表明,该系列方法优化了统一存取中随机存取效率,减少了相应的查询响应时间和数据传输开销,提高了多格式海量数据统一存取的性能。  相似文献   

3.
何龙  陈晋川  杜小勇 《软件学报》2017,28(3):502-513
SOH(SQL over HDFS)系统通常将数据存储于分布式文件系统HDFS中,采用Map/Reduce或分布式查询引擎来处理查询任务。得益于HDFS以及Map/Reduce的容错能力和可扩展性,SOH系统可以很好地应对数据规模的飞速增长,完成分析型查询处理。然而,在处理选择型查询或交互式查询时,这类系统暴露出性能上的缺陷。本文提出一个通用的索引技术,可以应用于SOH系统中,以提高其查询处理的效率。分析了SOH系统访问HDFS文件的过程,指出了其中影响数据加载时间的关键因素;提出了split层和split内部双层索引机制;设计并实现了聚集索引和非聚集索引。最后,在标准数据集上进行了大量实验,并与现有基于HDFS的索引技术进行了比较。实验结果表明,所提出的索引技术可以有效地提高查询处理的效率。  相似文献   

4.
针对基于k双拟的结构索引创建和更新低效问题、查询结果重复验证问题以及标签路径不可获得性问题,提出了一种新的结构索引L(k)-index.L(k)-index通过引入标签路径,在创建时无须k次遍历原数据,并采取批量更新策略,大大提高索引创建和更新的效率,而在空间上仅有很小增加.对于长度大于k+1的路径查询,L(k)-index无须访问原数据进行验证,并支持批量节点的标签路径获得.通过大量实验表明,同A(k)-index相比,L(k)-index创建时间平均提高66.7%,查询处理时间效率平均提高68.9%,批量更新效率平均每节点提高58.8%,而空间仅增加22.5%.  相似文献   

5.
基于最大间隙空间映射的高维数据索引技术   总被引:2,自引:0,他引:2  
在基于高维索引技术的相似性查询处理中,通常通过过滤那些不包含任何查询结果的非活动子空间来不断缩减搜索空间.但是在活动子空间中,有些可能根本就不包含任何查询结果,这样的活动子空间被称为假活动子空间.显然,查询处理性能会随着假活动子空间访问次数的增加而下降.这一问题在高维数据情况下将会变得更加严重,实验显示出随着维数的增加,假活动子空间的访问次数也会增加.为了解决这一问题,提出了一种空间映射方法来减少这种不必要的访问.对于一个给定的查询,可以通过在映射空间内进一步精炼该查询来过滤假活动子空间.为了提高映射空间内查询精炼的处理效率,提出了一个最大间隙空间映射策略--MaxGapMapping.基于这种映射方法,设计并实现了一种新的索引结构--MS-tree,给出了索引的构建算法和范围查询处理算法.最后对MS-tree及其他索引结构的性能进行了详细的比较和分析.  相似文献   

6.
为解决流程工业中过程历史数据的存储以及大量数据的快速查询问题,提出一种基于关系数据库的磁盘历史数据库模型。在数据存储方案设计中,将关于位号和数据采集接口的静态信息存储在关系数据库中,历史数据以文件形式存放,采用三重二级缓存机制避免频繁访问磁盘,并使用经典的SDT算法对实时数据进行压缩存储,降低存储成本。数据查询方案采用三级索引文件结构,即总索引文件、二级索引文件和位号索引文件,提高查询效率。该磁盘历史数据库的第一版已经成功实现,应用结果表明,数据存储方案和查询方案的设计是合理的,100个位号的查询时间约为500 ms。  相似文献   

7.
存储容量可扩展区块链系统的高效查询模型   总被引:1,自引:0,他引:1  
区块链技术是目前计算机领域的研究热点,其实现了去中心化,并且能够安全地存储数字信息,有效降低现实经济的信任成本.提出一种区块链存储容量可扩展模型的高效查询方法——ElasticQM.此查询模型由用户层、查询层、存储层和数据层这4个模块组成.在用户层,模型将查询结果缓存,加快再次查询相同数据时的查询速度;在查询层,模型采用容量可扩展区块链模型的全局查询优化算法,增加了查询超级节点、查询验证节点和查询叶子节点这3种节点角色,提高了查询效率;在存储层,模型改进了区块链的容量可扩展模型ElasticChain的数据存储过程,实现了存储的可扩展性,并减少了占用的存储空间;在数据层,提出一种基于B-M树的区块链存储结构,并给出了B-M树的建立算法和基于B-M树的查找算法,基于B-M树的存储结构,区块链会在进行块内局部查找时提高区块链的查询速度.最后,通过在多节点不同数据量的区块链中查询的实验结果表明,ElasticQM查询方法具有高效的查询效率.  相似文献   

8.
在电子商务系统中,由于用户查询条件的宽泛性,可能会出现大量符合条件的查询结果。为了快速响应用户查询,在数据库设计和访问过程中,除了建立合理的索引机制以外,必须对查询结果进行分页处理。在传统Spring MVC框架基础上,增加了Bo层,其主要作用为参数封装,并从数据库的生成、业务逻辑的配置、Dao层、Service层、Controller层、Bo层、Jsp层等多个层次优化数据访问过程。通过实验分析,对比传统分页方法,在平均响应时间上具有明显优势,且依托良好的层次结构,具有可移植性强的优点。  相似文献   

9.
张少敏  蔡盼  李翠平  陈红 《软件学报》2023,34(5):2413-2426
在数据量与数据复杂度不断增加的时代,大数据处理与分析成为当前的热门研究内容,高维空间数据的使用越来越频繁,数据检索和访问速度成了衡量数据处理系统性能的重要指标.因此,如何设计实现一种高效的高维索引结构,提高查询访问速率、降低内存占用,变得至关重要.近年, Kraska等人提出了学习型索引的方法.实验证明该方法在真实数据集上表现良好.之后机器学习与深度学习在数据库系统中的运用越来越广泛.众多研究者尝试在高维数据上构建学习型索引,来提升高维数据的查询速度.但是目前的高维学习型索引采用的方法并不能将数据分布的信息有效利用起来,而且过于复杂的深度学习模型使得索引初始化开销过大.结合空间区域划分与降维两种技术,提出一种新颖的高维学习型索引.它能更有效地利用数据分布信息提高索引的查询效率,并利用多段线性模型在保证查找精确度的前提下尽可能减少索引初始化的开销.分别在随机生成的数据集和开源街区地图数据集上进行实验验证.结果表明,与现有的高维索引相比,其在索引构建、查询效率、以及内存占用方面都有显著提高.  相似文献   

10.
JDO是Java环境中一种面向对象持久存储技术,通过在其持久实现的业务层与持久层之间增加对象访问层,对于业务查询可通过该层中索引对象解析成对对象D的查询,以减少对象处理时间和磁盘IO次数,并通过模拟实验分析了不同过滤因子对查询效率的影响,证明了本方案在索引因子较小的情况下能节省磁盘访问时间.  相似文献   

11.
低效率的访存操作是限制微处理器性能提高的一个关键因素。因此提高访存速度可以有效改善微处理器的性能。提出了一种基于增加数据宽度的方式来提高访存速度的方法。通过使用多字宽存储器来增加数据带宽,降低失效开销的时钟周期,从而达到提高访存效率的目的。  相似文献   

12.
针对石油勘探行业海量数据过大以及非结构化的特点导致地震数据合并处理时的效率低、消耗磁盘等问题, 提出对地震数据文件建立元数据, 将多个独立地震数据文件通过文件元数据合并方式生成一个逻辑上完整的地震数据文件即虚拟地震数据文件, 提高地震数据合并效率, 并根据地震数据并行访问模型实现对虚拟地震数据文件的IO访问.  相似文献   

13.
目前,FDM三维打印系统制件加工时间比较长,成型效率较低。在权衡加工时间和加工精度的前提下,从切片层厚和层扫描速度控制的角度,提出了一种基于面积变化率的自适应切片层厚控制和基于周长变化率的自适应层扫描速度控制相结合的算法。首先通过二维轮廓面积变化情况计算每层切片数据的层厚值;然后用获得的层厚数据对模型进行切片,得到每层可打印的真实轮廓;最后计算每层二维多边形轮廓的周长,并根据周长的变化情况确定该层合适的扫描速度。实际打印测试结果表明,该算法可以有效降低打印时间,提高成型效率,验证了算法的有效性。  相似文献   

14.
吴莉 《信息安全与技术》2011,(10):123-125,128
本文主要研究Web环境下的网络选修课程教学平台,从教学平台的研究意义与作用出发,对教学平台进行总体设计,随后分别就系统的数据层、数据中间层以及系统的访问层进行设计,通过存储过程的设计提高系统的访问速度,并重点就教师对于课程信息的上传、管理以及学生对课程信息的下载与访问进行设计与实现。论文的研究对网络教学信息化发展具有一定理论价值。  相似文献   

15.
基于Agent的移动Web服务集成方案   总被引:1,自引:0,他引:1       下载免费PDF全文
茹蓓  肖云鹏  张俊鹏 《计算机工程》2012,38(9):49-50,54
结合Aglets平台和J2EE servlet技术,提出一种基于Agent的J2ME移动Web服务3层集成方案。在终端层,使用轻量级代理接入方式减少移动设备资源受限系统的负载需求。在Web接入层,采用Web服务标准接入方式确保异构移动平台的统一接入。在移动Agent层,通过多Agent协同工作保证系统高效性与灵活性。在此基础上,设计并实现一个移动进货比价系统。应用结果表明,该方案能提高无线环境下J2ME设备发现、访问Web服务的效率与健壮性。  相似文献   

16.
为了提高片上Flash在嵌入式应用中的读取速度,提出了一种基于预取和缓存原理的片上Flash加速控制器。该控制器包括预取缓存和高速缓存两种加速方案。其中预取缓存方案采用位宽扩展和预取技术加速顺序指令的读取,并采用分支缓存存储非顺序指令,降低由非顺序指令造成的预取缺失代价;而高速缓存方案采用组相联和路预测技术,提高指令重用率,减少Flash访问次数,降低系统功耗。针对不同的应用场景,两种加速方案既可通过寄存器来静态切换,也可通过软件流程来自适应动态切换,从而获得最佳的读取速度提升。多项基准程序的测试结果表明了所提出的片上Flash加速控制器在性能和功耗优化上的可行性和高效性。  相似文献   

17.
为提高移动终端设备多终端服务器接入精度与效率,更好地完成应用服务的人机交互,提出了基于大数据集成算法的多终端接入模式自动化识别模型。利用物联网环境采集多终端数据结构信息特征,组建传感器节点空间收敛目标函数,通过最小方差评估定位优化采集节点,收集完整接入数据;计算初步冲突特征信息,运用去一划分方法推算冲突特征数据离群性权值,构建冲突判断准则并输出冲突检测结果,掌握接入数据详细属性;通过高斯混合聚类归类多终端模式信息,采用最大化对数似然算法优化样本信息,把设备接入速度作为聚类指标,融合随机抽样思维,获得多终端接入模式自动化识别模型。实例测试结果表明,所建模型具备优秀的识别精准度与效率,能妥善完成预期模式识别目标。  相似文献   

18.
针对MEC(memory efficient convolution)卷积算法在传统设备下因访问数据地址不连续导致的缓存命中率低、内存访问延时长等问题,提出一种适用于MEC算法访存行为的优化方法。该方法分为中间矩阵转换和矩阵运算两部分。对于中间矩阵转换部分,采用修改数据读取顺序的方式对其进行优化,使读取方式符合算法的访存行为。对于矩阵运算部分,采用更加适合矩阵运算的内存数据布局对卷积核矩阵修改,并利用TVM(tensor virtual machine)平台封装的计算函数,重新设计中间矩阵同卷积核矩阵的计算方式。使用平台自带并行库对运算过程进行加速。实验结果表明,相比传统MEC算法,提出的优化方法可以有效解决缓存命中率低、内存访问延时长等问题,同MEC算法的运算时间对比,在单个卷积层上平均获得了50%的速度提升,在多层神经网络中最低获得了57%以上的速度提升,同空间组合算法的运算时间对比,最高获得了80%的速度提升。  相似文献   

19.
在大数据与云计算时代,数据访问速度是衡量大规模存储系统性能的一个重要指标.因此,如何设计一种轻量、高效的数据索引结构,从而满足系统高吞吐率、低内存占用的需求,是当前数据库领域的研究热点之一.Kraska等人提出使用机器学习模型代替传统的B树索引,并在真实数据集上取得了不错的效果,但其提出的模型假设工作负载是静态的、只读的,对于索引更新问题没有提出很好的解决办法.提出了基于中间层的可扩展的学习索引模型Dabble,用来解决索引更新引发的模型重训练问题.首先,Dabble模型利用K-Means聚类算法将数据集划分为K个区域,并训练K个神经网络分别学习不同区域的数据分布.在模型训练阶段,创新性地把数据的访问热点信息融入到神经网络中,从而提高模型对热点数据的预测精度.在数据插入时,借鉴了LSM树延迟更新的思想,提高了数据写入速度.在索引更新阶段,提出一种基于中间层的机制将模型解耦,从而缓解由于数据插入带来的模型更新问题.分别在Lognormal数据集以及Weblogs数据集上进行实验验证,结果表明,与当前先进的方法相比,Dabble模型在查询以及索引更新方面都取得了非常好的效果.  相似文献   

20.
为了充分发挥计算机的多核优势,提高地震数据相干体的计算速度,通过研究在多核上的多线程并行技术,完成了并行相干体算法的设计与实现,并分别对串行和并行算法进行性能比较测试.测试结果表明:Pthread多线程技术可以充分利用多核资源,取得比较理想的线性加速比,且提高了系统的计算效率,非常适合于大数据量的地震数据处理的应用.  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号