基于STR71x的记录存储系统的设计与实现

数据存储是数据采集终端必须解决的一个问题.本文分析了数据采集终端采集的数据的特点,有针对性地设计一个记录存储系统,用于存储采集的数据.阐述了该记录存储系统基于STR71x系列微控制器片上Flash的实现方法.     

负载感知的存储子系统调优研究

存储IO的性能远远低于CPU、内存的性能，而且它们之间的差距还在扩大。因此，对于越来越多的数据密集型应用系统来说，存储系统往往是系统瓶颈。存储的性能不仅与存储子系统体系结构以及子系统中各部件的性能相关，还与系统的工作负载和应用环境相关。负载感知的性能调优指存储子系统通过对负载特征的分析实现对应用环境的动态感知，并根据负载特征动态调整系统运行策略。负载感知的性能调优使得存储子系统能够更合理地调度存储系统资源，从而提高IO性能。     

异构存储系统性能监测技术研究

在对异构存储系统性能进行监测中,传统监测方法存在监测对象单一,数据采集粒度不够,对采集数据缺乏有效分析和难以低成本保存有效原始数据的问题。本文研究异构存储环境下性能监测的关键技术并且实现异构存储系统性能监测系统平台。经过监测结果分析,本文所提出的方法与系统能够很好地监测存储环境中服务器群的性能指标并且能够对进程级别性能进行很好的监测与分析。该系统为管理者分析决策提供支持,具有很大的实用价值和研究价值。     

网络化光盘库在海量存储系统中的应用研究

1.引言在存储容量需求不断增长的同时,由于越来越多的关键信息转变为数据,数据对个人和企业的价值也就越来越高,人们对存储系统的存取性能、7×24小时数据可用性、存储低成本、系统可扩展性、高可靠性和安全性等方面提出了迫切的存储需求。针对这些存储需求,设计具有高数据传输率、可靠数据存储和备份、智能数据组织和管理等特点的海量数据存储系统逐渐成为存储系统设计的热点问题。     

基于Kubernetes的云原生海量数据存储系统设计与实现

为应对云原生技术的日益发展与普及伴随的云上数据量的激增及该技术在性能与稳定性等方面所出现的瓶颈,提出了一种基于Haystack的存储系统。该存储系统在服务发现、自动容错与缓存方面进行了优化,更适用于云原生业务,以满足数据采集、存储与分析行业不断增长且频次较高的文件存储与读写需求。该存储系统使用对象存储模型来满足高频海量的文件存储,为使用该存储系统的业务提供简单而统一的应用程序接口,应用了文件缓存策略提升资源利用率,同时利用Kubernetes丰富的自动化工具链使该存储系统比其他存储系统更容易部署和扩展且更稳定。实验结果表明,该存储系统在读多于写的大规模碎片数据存储情境下相比目前主流的对象存储与文件系统均有一定的性能与稳定性提升。     

高能物理环境中混合存储系统的设计与优化

高能物理是典型的数据密集型计算环境,数据处理包括模拟计算、重建计算以及物理分析。其中大文件计算占据较大比重,并且高能物理文件访问模式以跳读为主,因此大文件的高速访问成为整个系统性能的重要影响因素。首先剖析传统高能物理计算环境的典型架构及其文件访问模式的特点,介绍混合存储模式在高能物理计算环境中的优势,总结其数据访问方式的特点,对其各种读写方式进行数据测试;然后提出针对该环境的混合存储系统的部署设计和优化,使该环境下的数据读写性能得到明显提高;同时将成本因素考虑到系统设计中,实现了一个低成本高性能的存储系统。测试表明,混合存储系统在高能物理等大数据存储系统中具有高效的I/O性能。文中全面分析了影响其性能的各种因素,实现了最优化配置的低成本高性能混合存储系统,并对该系统的未来发展趋势进行了分析和展望。     

一种基于iSCSI的网络RAID设计与实现

RAID是存储系统的基础和关键部件,它通过数据分布存储、并行访问以及信息冗余等技术,极大地扩大了存储容量、增强了I/O请求处理能力、提高了数据可靠性。论文将RAID的思想扩展到了分布的存储网络环境之中,设计了一种基于iSCSI的网络RAID系统,实现了系统原型,并对该系统进行了性能测试和分析。结果表明,该系统可以通过并行数据读写提高存取速度,通过奇偶校验技术提高数据的可靠性。     

SATA及ADMA控制器Linux操作系统驱动的设计与实现

信息时代，数据的存储及远程备份尤为重要。为了满足用户对存储系统产品的高性能及低费用的需求，设计和实现了一种新型存储外设的操作系统驱动，该存储系统采用SATA磁盘及ADMA控制器并基于Linux系统。着重于如何驱动SATA磁盘及ADM／,控制器并实现一些关键功能，以大幅提升数据存储性能。实验结果表明，性能已远超过采用IDE磁盘的存储系统，对于大批量数据存取，性能更为显著。     

基于CRS算法的高可靠性存储系统的设计

阐述了国际上典型的数据可靠性算法，分析了CRS算法在存储系统中的编、解码原理，基于CRS算法实现数据存储中间件，结合CRS算法和网格技术提出了高可靠性存储系统的整体架构，在理论上对系统的可靠性进行了证明，在局域网中对存储系统的性能进行了测试。结果表明，基于CRS算法实现的存储系统在保证数据存储可靠性的同时具有极高的存储性能。     

基于SSD SMR混合存储的LSM树键值存储系统的性能优化

大数据对存储系统的可扩展性、性能和成本等方面提出了更高的要求。瓦记录(Shingled Magnetic Recor-ding,SMR)硬盘由于存储密度高、价格便宜,正逐步被广泛应用于大数据存储系统。但是,SMR硬盘的随机写性能较差,与快速的基于闪存的固态硬盘(Solid State Drive,SSD)一起构成混合存储时可以显著提升性能。同时,基于写优化的日志结构合并(Log-Structured Merge,LSM)树的键值存储已被广泛应用于许多NoSQL系统,如BigTable,Cassandra和HBase等。因此,如何基于新型的SSD-SMR混合存储构建出高性能的LSM树键值存储系统是一个具有很大研究价值的问题。首先建立基于SSD-SMR混合存储的LSM树键值系统的性能模型,然后针对SSD和SMR的硬件特征以及LSM树键值存储的软件特点,设计了一套面向SSD-SMR混合存储进行性能优化的LSM树键值存储系统,并基于LevelDB实现了该系统。在仅仅使用0.4%～2%空间的SSD的情况下,所提方法可以使SSD-SMR混合存储方案比普通磁盘方案的随机写性能提高20%,随机读性能提高5倍。     

MP3音频解码在内存空间中的优化

MP3采用MPEG-1 LayerⅢ音频压缩编码标准,数据压缩率高、失真小,同时解码需要占用较大的内存空间。针对以上问题,在16 bit定点数字信号处理器芯片实现MP3解码算法时,对一些复杂算法进行优化,并且通过合理分配内部动态和静态存储空间,对动态存储器进行直接存储器存取操作,将动态数据临时存储在外存中,对静态存储器通过空间混用和压缩冗余数据等方法缩减内存占用空间。在解码速度提高的情况下,内存占用从大于40 KB降至15.9 KB。     

基于磁带分级存储的文件备份系统设计与实现

随着磁盘价格的不断下降,越来越多的容灾备份系统采用将本地数据经过网络传输到服务器磁盘进行备份,但是大数据时代的来,瞄,导致存储压力越来越大。然而在庞大的数据中,有很大一部分数据活跃率并不高。设计并实现了一种基于磁带分级存储的文件备份与恢复系统,采用索引的方式记录并组织备份文件,实现增量备份;该系统将服务器端拆分为两部分,首先将文件数据备份到服务器磁盘,再根据相关时间保留策略,将活跃率较低的数据归档到脏带中。保证了大数据时代服务器磁盘的高效利用。     

基于组件的电子报税系统的设计与实现

借鉴当前通过互联网进行申报的电子报税系统的优点，针对现存电子报税系统存在的问题，提出了一种基于组件的电子报税系统。该电子报税系统采用Client／Server结构，分为客户端和服务器端。客户端提供增值税专用发票存根联、抵扣联和各种申报表的手工输入或文本导入，并对用户填写的申报报表进行关系验证、压缩、加密、发送等。服务器端则提供软件和申报表下载、申报数据转发、信息反馈、数据暂存等功能。     

基于三层存储模型的RFID数据压缩存储方法

针对物联网技术中亟待解决的海量数据存储问题,提出了一种基于射频识别(RFID)的三层数据存储压缩模型。该模型将数据分为当前数据层、临时数据层和历史数据层,利用每一层中数据的特点分别设计了相应的数据汇总算法,最终实现RFID数据的压缩存储。在该模型的基础之上,提出了针对路径的编码算法,用于对路径进行压缩存储。实验结果表明,该三层存储模型可以有效地压缩存储RFID数据,同时数据汇总算法具有较低的时间复杂度与较高的数据压缩比。     

基于闪存的图像存储系统设计

针对硬盘存储图像速度慢、可靠性差的弊端,分析了以Flash作为存储介质的可行性,提出了一种基于闪存Flash的存储系统设计方案.利用并行与流水线技术相结合,有效提高了存储容量和操作速度.整个存储系统利用FPGA控制读、写、擦除以及坏块识别的逻辑时序,利用单片机管理无效块,建立有效块表.实现了对高速大容量图像数据的存储操作,满足了实际应用中高速相机的需求.     

高分辨率影像支持下的地块信息采集系统

利用空间信息技术获取野外地块信息是提高外业工作效率的重要途径。基于矢量耕地地块数据和现势高分辨率遥感影像数据,以个人数字助理为硬件平台,建立移动GIS环境下的地块信息采集系统。该系统采用嵌入式开发组件,实现定位、导航和信息采集等功能,解决高分辨率遥感影像压缩与切割问题。实践结果验证了该系统的可行性和高效性。     

基于NandFlash文件系统的优化设计

NandFlash具有存储密度高、容量大、价格低廉等优点,因而在嵌入式系统中广泛采用。本文介绍了一种基于NandFlash文件系统的优化设计。设计中综合考虑了NandFlash和嵌入式系统的特殊性,在ARM嵌入式系统中实现了对数据和存储空间的有效管理。     

基于MPEG-2的图像压缩系统设计

针对未压缩的视频图像信号的高传输码率,占用存储空间大进行了研究,提出了一种基于MPEG—2的图像压缩编码系统,实现数字图像的无线传输,并输出传输流。通过视频解码芯片SAA7114H和编码芯片SAA6752H构成压缩模块,分析原始视频图像,经D1格式采集压缩后,分别以不同的速率传输时,视频图像质量变化,表明压缩倍数越高,图像质量越差;由SAA6752芯片引脚采集数据,将采集到的视频流数据转换为十六进制,分析数据结构及排列规律符合传输流特性。该设计方法不仅能保证良好的图像质量,提高视频图像压缩率,且能正确提取传输流。     

嵌入式Linux下高速数据存储的实现

为解决高帧频、大面阵CCD数据实时存储的问题,介绍Linux下的块设备驱动架构,提出一种在嵌入式Linux操作系统基础上实现高速数据存储的技术。通过编写基于SCSI的驱动模块,实现将PCI总线上采集到的图像数据直接存储到SCSI硬盘的目的。分析影响数据存储速度的因素。该技术已经通过系统测试,数据存储速度可达到190 MB/s。     

Linkless Octree Using Multi‐Level Perfect Hashing

The standard C/C++ implementation of a spatial partitioning data structure, such as octree and quadtree, is often inefficient in terms of storage requirements particularly when the memory overhead for maintaining parent‐to‐child pointers is significant with respect to the amount of actual data in each tree node. In this work, we present a novel data structure that implements uniform spatial partitioning without storing explicit parent‐to‐child pointer links. Our linkless tree encodes the storage locations of subdivided nodes using perfect hashing while retaining important properties of uniform spatial partitioning trees, such as coarse‐to‐fine hierarchical representation, efficient storage usage, and efficient random accessibility. We demonstrate the performance of our linkless trees using image compression and path planning examples.