提升固态存储设备读取性能的方法

针对不带大容量缓存的固态存储设备随机读取性能差的问题,提出预取和压缩用户热数据映射表的算法,来提升热数据的访问速度.该算法包括把顺序写入的数据和随机写入的数据分开存储、压缩连续物理地址映射、后台预取热数据映射表等方法,这些方法提升了热数据的映射命中率,减少了闪存的访问次数,达到了改善系统读取性能的目的.实验结果表明,该方法能减少将近一半的随机读取延时,读取速度在原来的基础上翻倍.该算法能显著改善那些不带大容量缓存的移动存储设备及消费级固态硬盘使用者的用户体验.     

面向费用优化的云存储缓存策略

为提高云存储的访问速率并降低费用,提出了一种面向费用优化的云存储缓存策略。利用几乎免费的局域网环境下的多台桌面计算机,在本地建立一个分布式文件系统,并将其作为远端云存储的缓存。进行文件读取时,首先查找其是否在缓存中,若存在则直接从缓存读取;若不存在则从远端云存储读取。采用了最近最少使用(LRU)算法进行缓存替换,将冷门数据从缓存中替换掉。以亚马逊简单存储服务(S3)作为远端的云存储服务,对原型系统进行了简单的性能测试。测试结果表明,使用了所提出的缓存策略后,在降低费用的同时能够显著提高文件读取的速度。     

基于HBase的瓦片索引和读取方法设计

地理信息瓦片数据规模庞大，传统的关系型数据库不足以满足对瓦片数据容量、速度的支持。针对这种情况，选取HBase存储瓦片数据，在以四叉树编码作为索引进行数据存储的基础上，提出一种多层级瓦片数据索引设计方法，该算法通过“异层级再编码”的方式，使在地图中空间相邻的瓦片数据在物理存储中也尽可能相邻，以达到瓦片数据的空间连续性在物理存储中得以保持的目的；提出一种邻域预读取方法，该方法配合索引设计，以批量读取的方式预先将邻域瓦片读取至缓存。实验表明，在用户连续读取相关联的地图数据的情况下，该方法比传统的缓存算法具有更高的命中率，且比传统的数据索引设计响应更快。     

固态存储器短周期存取速度动态控制

由于传统控制方法出现数据误码、存储内存不足问题,导致控制性能变差,为了解决该问题,需对固态存储器短周期存取速度进行动态控制。根据短周期存取速度控制原理,采用均衡加重技术,设计具有针对性的数据传输介质来解决数据误码问题。利用NANDFLASH双平面交替编程的分时加载操作方式,扩大存储内存。使用二级缓存方式对扩大后的内存数据进行缓存读取,根据多线组合指令动态控制缓存读取结果。通过实验结果得出,该方法最低误码率可达到5%,控制性能较好。     

无人机遥感载荷数据存储系统设计

无人机遥感载荷在无人机飞行过程中会产生大量载荷数据,这些数据需要实时存储并在返回地面后回放和分析;无人机遥感载荷数据存储系统是基于SOPC的数据存储解决方案;该方案使用多个固态硬盘作为存储介质并实现并行读写,使用SDRAM作为数据缓存,设计了超大块文件系统对数据进行管理;系统测试表明所设计的存储系统实现了1.8Gbps四路载荷数据的实时存储,满足无人机遥感载荷数据存储的要求.     

突发水污染事件中遥感瓦片大数据存储系统

突发水污染事件频发,利用GIS平台、遥感技术及水质模型对突发水污染事件进行模拟研究逐渐成为一种发展趋势.针对目前海量、异构、动态遥感数据难以快速处置和高效存储的问题,基于HBase设计和实现了突发水污染事件的遥感瓦片大数据存储系统.该系统以数字地球平台为支撑,结合遥感瓦片金字塔模型和MapReduce框架,考虑实时、动态观察事件发展态势引起的瓦片数据频繁加载特点,对遥感瓦片数据的线性四叉树编码索引进行了改进,将其同水污染数据一并存储到HBase数据库中,并通过增加缓存区来提升遥感瓦片数据的访问效率.将此系统应用于渭河陕西段突发水污染事件中,实验结果表明:改进后的索引可在200个毫秒时间内提取到水污染区域的遥感数据,引入的缓存机制使得水污染区域遥感数据的加载时间节省了近2/3.因此,该存储系统访问效率高,能够满足突发水污染事件快速应急模拟的需求.     

双缓存超声TOFD数据采集系统设计

针对数字式超声TOFD(超声衍射时差)无损检测系统对数据采集的高速、高精度要求,设计了一种基于FPGA和USB2.0的双缓存超声TOFD数据采集系统。该系统采用10-bit精度高速模数转换芯片AD9211,最高采样频率达120MH_z。使用LabVIEW编写上位机软件,实现波形的显示和存储,以及对采样频率、采样深度等的控制。本系统的双缓存设计不仅实现了高速数据的缓存,并且实现了上位机数据读取和A/D转换的同步,实验结果表明该系统能够满足数字式超声TOFD数据采集的需求。     

基于QT、GDAL处理遥感影像GeoTIFF数据的应用

GeoTIFF图像格式可以存储各种地理信息,因此在遥感图像领域应用十分广泛.但随着遥感影像的数据量迅速增长,如何提高对海量影像数据调度及显示成为急需解决的问题.本文利用开源库GDAL实现了对海量遥感影像GeoTIFF格式文件的地理信息读取,通过建立图形金字塔的方式对影像数据进行快速索引,最后利用跨平台QT语言开发,实现GeoTIFF格式文件在各种不同操作系统下放大、缩小及全屏显示.     

基于增量学习的RocksDB键值系统主动缓存机制

由于分层结构的约束,基于日志结构合并（LSM）树的RocksDB键值存储系统面临着读取性能低下的问题。一种有效的解决方法是对热点数据进行主动缓存,但其面临两个挑战：一是如何在数据分布持续动态变化时对热点数据进行预测,二是如何将主动缓存机制与RocksDB存储结构衔接起来。针对这些挑战,基于预测分析技术,构建了由数据采集、系统交互、系统测试等部分组成的面向RocksDB键值系统的主动缓存框架,能够将热点数据缓存在LSM树的较低层级中;并对数据访问模式进行建模,设计并实现了基于增量学习的热点数据预测分析方法,能够有效减少存储介质的I/O访问次数。实验结果表明该机制能有效提升RocksDB在不同动态工作负载下的数据读取性能。     

基于Ceph存储系统的小文件存储优化方案

针对Ceph存储系统面对小文件存储时存在元数据服务器性能瓶颈、文件读取效率低等问题.本文从小文件之间固有的数据关联性出发,通过轻量级模式匹配算法,提取出关联特征并以此为依据对小文件进行合并,提高了合并文件之间的合理性,并在文件读取时将同一合并文件内的小文件存入客户端缓存来提高缓存读取命中率,经过实验验证本文的方案有效的提高了小文件的访问效率.     

基于NB-IoT的智能膜式燃气表系统设计与实现

针对目前机械式的膜式燃气表存在的抄表效率低、数据管理困难等问题,设计了一种基于NB-IoT数据传输方式的智能膜式燃气表远程抄表系统,该系统以STM32作为主控制器进行数据处理与指令控制,使用OV7670图像传感器采集燃气表刻度值,通过NB-IoT方式实现数据的传输,最后在物联网云端进行数据的集中分析与持久化存储,给出了远程抄表系统详细的软硬件设计方法;经实验测试表明,该系统可以准确地获取燃气表数据,稳定高效的运行,解决了传统膜式燃气表存在的问题,满足远程抄表应用场景的要求,具有良好的应用前景。     

基于HBase的遥感数据分布式存储与查询方法研究

遥感影像的存储与查询是地理信息处理中重要的内容,在海量遥感影像的实时处理中发挥着重要作用。针对传统的遥感影像处理中存在单节点故障、扩展性低和处理效率低等问题,提出了一种基于HBase的遥感数据分布式存储与查询方案。该方法首先采用均匀网格对遥感影像进行划分,并根据划分结果设计了一种基于网格ID和Hilbert曲线相结合的索引方案。然后,通过利用HBase的过滤机制设计了过滤列族,达到了在查询时筛选数据的目的。另外,采用MapReduce的并行处理方法对影像数据进行并行写入和查询。实验结果表明,与MySQL和MapFile相比,该方法可以有效地提高数据的写入和查询速度,且具有较好的可扩展性。     

基于帧频信号的图像存储时序控制方法

针对长时间服役光学设备图像存储系统性能退化和可靠性降低的问题,设计了新的图像存储系统结构。提出了一种基于帧频信号的时序控制方法,以帧频信号为基准驱动系统软硬件工作,结合秒信号、帧频信号与串口时间生成绝对时间,实现了四路独立数据流的同步采集,通过两级缓存机制保证数据采集-打包-存储之间的速率冗余匹配,对图像转移时间误差进行了修正。检测结果表明,系统时序得到了有效控制,长时间采集存储数据稳定可靠不丢帧,时间同步精度优于1ms。     

Hadoop平台下新型图像并行处理模型设计

Hadoop在处理海量小图像数据时，存在输入分片过多以及海量小图像存储问题。针对这些问题，不同于采用HIPI、SequenceFile等方法，提出了一个新型图像并行处理模型。利用Hadoop适合处理纯文本数据的特性，本模型使用存储了图像路径的文本文件替换图像数据作为输入，不需要设计图像数据类型。在Map阶段直接完成图像的读取、处理、存储过程。为了简化图像处理算法，将OpenCV和Map函数结合并设计了对应的存储方法，实现小图像文件的存储。实验表明，在Hadoop分布式系统平台下，模型不论在小数据量还是在大数据量的测试数据环境中，都具有良好的吞吐性能和稳定性。     

矿区分布式网络视频录像系统设计

针对传统集中式网络视频录像系统在多通道、大容量存储与多终端并发访问时,存在存储设备硬件处理能力不足和网络带宽局部拥塞现象,设计了一种分布式网络视频录像系统。该系统采用分布式IP架构,可实现视频数据的分布式物理存储和集中式逻辑管理;应用基于Socket的设备通信控制技术及基于应用层组播的回放控制技术,实现了设备管理和权限管理控制数据的交互及视频流的高效网络传输控制。测试结果表明,该系统较好地解决了矿区多通道、大容量的视频数据实时存储和远程回放问题。     

USB存储设备MTU值配置优化技术研究

传统优化技术在随机读、混合读和数据一致性方面性能差,为解决这一问题,提出USB存储设备MTU值配置优化技术研究。先采集USB存储设备行为数据,再利用纠删码技术,设置MTU值配置存储总容量。考虑到数据数量过大,设计层次式文件管理架构记录文件属性。在此基础上,为优化存储数据,采用扁平式存储结构,实现USB存储设备MTU值配置优化。由此,完成USB存储设备MTU值配置优化技术的研究。实验在release 5.5操作系统下完成,分别测试两种优化技术随机读、混合读和数据一致性的性能。实验结果表明,使用所提技术能够达到近似最优的性能,数据访问开销比例更少。     

多源定量遥感产品并行处理系统设计及实现*

针对遥感数据非结构化、有格式、单景数据量大、记录总量小、大部分处理过程后数据量不显著减少的特点和大规模遥感数据处理的迫切需求,基于已有硬件资源,设计和实现了集中式集群计算的多源定量遥感产品生产系统。系统为解决遥感科学工作者设计开发的算法进行并行计算的问题以及大规模数据管理的需求,设计了基于任务并行的处理系统和面向应用的并行文件系统。系统集成了遥感科学工作者开发的30多种原始数据的预处理算法和50多种多源定量遥感产品生产算法,解决了多源定量遥感产品规模化流程化按需生产的难题,并进行了产品生产,证明了系统在管理和处理大规模遥感数据时的可靠性和有效性。     

具有高速远程通信功能的工业ERT系统设计

针对多相流远距离可视化测试问题,提出一种具有高速远程通信功能的工业电阻层析成像（ ERT）系统。该系统采用现场单元和主控单元异地光纤高速通信方案,通过光纤收发电路与高速传输协议逻辑设计,实现系统高速远程通信功能。通过现场单元串行采集方案电路设计,使系统结构更加紧凑、可靠性更高。通过现场可编程门阵列（ FPGA）数字化信号处理和异步缓存逻辑设计,使系统远程数据采集更为精确完整。通过测试实验和图像重建,验证所建立系统的性能,系统光纤传输线速率达625 Mbps,误码率低于10－12,测量重复性和成像速率指标满足工业应用需求,系统具备远程可视化测量能力。