USB移动存储设备中异常病毒数据检测技术研究

对USB移动存储设备中的异常病毒数据进行检测,可以延长USB移动存储设备寿命,提高数据利用率,减少系统运行时间。当前方法利用轨迹点片段异常对USB移动存储设备中的异常病毒数据进行检测,将几个独立的USB移动存储设备中的异常病毒数据属性进行结合,针对现有的异常病毒数据点的异常轨迹进行检测,以病毒数据的位置、速度以及方向为检测对象。该方法对USB移动存储设备中的异常病毒数据检测效率低,不适用于大规模的USB移动存储设备中的异常病毒数据检测。为此,提出一种基于PATRICIA树的USB移动存储设备中异常病毒数据检测方法。该方法利用K-means算法将USB移动存储设备中的数据划分为K个类,并利用欧几里德距离对各个类间的相似度进行衡量,然后在独立分量分析的基础上加入遗忘因子,对USB移动存储设备中异常病毒数据检测时含噪进行测量估计,最后利用小波分析法,通过设置USB移动存储设备中异常病毒数据判定阈值,以及标准化以后的小波系数内绝对值,与判定阈值的比较完成病毒数据的检测。实验结果证明,所提的检测方法可以高精度地对USB移动存储设备中异常病毒数据进行检测,更加符合该领域发展实际意义。     

自动配置MTU值的USB设备设计与研究

在使用USB数据卡产品时,由于不同运营商的网关MTU值设置不同,使得用户无法达到理想的数据吞吐率,上网效果不理想.针对这一问题,设计了一种自动修改PC的MTU值的USB设备,大大提高了用户体验.     

基于随机森林的高能物理数据放置策略

随着LHAASO高海拔宇宙线等高能物理实验规模的不断扩大,每年需要存储PB级的海量物理数据。高能物理海量存储系统一般采用随机的数据放置策略,没有考虑数据访问场景和服务器节点、存储设备的差异性。针对以上问题,提出一种异构存储环境下基于随机森林算法的数据放置策略,根据存储设备性能差异划分快慢存储池,同时对后期文件的读写访问场景进行预测和识别,综合考虑当前设备负载为数据找到最佳的放置位置。使用真实物理实验数据验证了算法的有效性。     

网络存储系统中多协议数据共享一致性问题的研究

网络的开放性和数据存储服务功能的多样性,使得网络存储设备必须使用多套数据访问协议为不同系统平台的客户端提供多样化的存储服务。如何确保使用不同协议共享网络存储设备的各个客户端能协同工作,也即保证多协议数据共享的一致性成为存储领域的一项关键技术和学术热点。文章系统地分析了网络数据共享中的同步和一致性问题,并提出了一套可扩展的分层式锁管理(ExtensibleHierarchicLockManagement)的解决方案。     

Swift云存储环境下基于I/O负载均衡的读取策略

Swift是开源云计算平台OpenStack中云存储服务组件,为平台提供廉价、可靠、安全的云存储服务.针对Swift没有充分利用存储系统的备份数据来实现并行读取操作及负载均衡的这一问题,提出了基于I/O负载均衡的并发读策略.实验结果表明,该策略不仅能够充分利用备份数据来达到存储设备读操作的负载均衡,而且能够实现数据的并行读取,提高平台整体读性能.     

面向读密集型应用的事务内存云研究

对于读密集型的云计算应用,现有系统很难同时满足它们对性能、一致性与可用性的需求。因此提出了一种基于事务内存和云存储技术的编程与存储模型TMC,能为云应用提供可配置的事务特性与数据存储服务。TMC包括事务与存储两个组件,事务组件允许所有只读事务无需远程验证即可顺利提交,其他事务则采用2PC算法提交;存储组件负责实现系统的可扩展性与可用性。仿真实验结果表明,TMC具有较高的性能与可用性。系统若经进一步改进和优化,将具有应用于实际生产环境中的潜力,可为用户提供高质量的云计算服务。     

基于SSD SMR混合存储的LSM树键值存储系统的性能优化

大数据对存储系统的可扩展性、性能和成本等方面提出了更高的要求。瓦记录(Shingled Magnetic Recor-ding,SMR)硬盘由于存储密度高、价格便宜,正逐步被广泛应用于大数据存储系统。但是,SMR硬盘的随机写性能较差,与快速的基于闪存的固态硬盘(Solid State Drive,SSD)一起构成混合存储时可以显著提升性能。同时,基于写优化的日志结构合并(Log-Structured Merge,LSM)树的键值存储已被广泛应用于许多NoSQL系统,如BigTable,Cassandra和HBase等。因此,如何基于新型的SSD-SMR混合存储构建出高性能的LSM树键值存储系统是一个具有很大研究价值的问题。首先建立基于SSD-SMR混合存储的LSM树键值系统的性能模型,然后针对SSD和SMR的硬件特征以及LSM树键值存储的软件特点,设计了一套面向SSD-SMR混合存储进行性能优化的LSM树键值存储系统,并基于LevelDB实现了该系统。在仅仅使用0.4%～2%空间的SSD的情况下,所提方法可以使SSD-SMR混合存储方案比普通磁盘方案的随机写性能提高20%,随机读性能提高5倍。     

Hadoop应用测试实战

通过研究基于HBase的数据存储模式,开展基于Hadoop的数据应用研究,并探索Hadoop的集群配置、任务调度配置和优化技术。通过研究成果的应用,构建基于云计算技术的海量日志信息存储访问架构,改进监控数据存储与应用的关联度,极大地提升海量监控数据存储与访问的时效,为实时监视与业务分析人员提供更快捷、高效的访问体验,从而进一步提高对业务系统运行及性能的监视与评估能力。     

基于三方传送的存储管理系统设计与实现

存储系统已由NAS向SAN发展,如何融合NAS和SAN技术,提高存储系统的可管理性和性能,是目前存储领域研究的热点。提出了一种扩展文件共享的方法,采用三方传送机制来融合NAS和SAN,通过存储管理器和存储服务器的功能划分,由存储管理器负责存储设备的空间和文件的管理,存储服务器能共享SAN中的存储设备以及直接访问存储设备上的数据。该系统采用Lease协议来保证存储服务器端数据一致性,在此基础上分析了Lease协议模型。     

比较在线、近线和离线存储

传统存储数据的方式有两种：在线存储和离线存储。在线存储是指存储设备和所存储的数据时刻保持＂在线＂状态,可供用户随意读取,满足计算平台对数据访问的速度要求。就像PC机中常用的磁盘存储模式一样。一般在线存储设备为磁盘和磁盘阵列等存储设备,价格相对昂贵,但性能较好。     

基于海量数据存储系统多级存储介质的热点数据区分方法

海量数据的应用导致文件读写压力变大,必然需要考虑文件I/O带来的系统性能瓶颈.考虑到不同存储设备性能和成本不同,而且数据访问具有时间和空间局部性,因此需要进行分级存储.考虑到数据存在着周期性的变化规律,数据访问的热度是变化的,海量存储系统中相当大比例的数据静止不动,而且高性能存储设备有限,因此基于分级存储技术进行数据迁移,并且对常规价值评定模型进行改进后提出它所适用的基于文件级的数据迁移算法.针对并发访问读写压力变大之后对数据进行迁移的场景,用Web并发访问测试工具来对数据迁移之后的硬件读写进行评估,经过对Web服务器并发访问响应时间的测试验证,与常规迁移方法相比该算法的确改进了系统的性能.     

多模态医疗数据中海量小文件存储优化方法

Hadoop分布式文件系统(HDFS)通常用于大文件的存储和管理,当进行海量小文件的存储和计算时,会消耗大量的NameNode内存和访问时间,成为制约HDFS性能的一个重要因素.针对多模态医疗数据中海量小文件问题,提出一种基于双层哈希编码和HBase的海量小文件存储优化方法.在小文件合并时,使用可扩展哈希函数构建索引文件存储桶,使索引文件可以根据需要进行动态扩展,实现文件追加功能.在每个存储桶中,使用MWHC哈希函数存储每个文件索引信息在索引文件中的位置,当访问文件时,无须读取所有文件的索引信息,只需读取相应存储桶中的索引信息即可,从而能够在O(1)的时间复杂度内读取文件,提高文件查找效率.为了满足多模态医疗数据的存储需求,使用HBase存储文件索引信息,并设置标识列用于标识不同模态的医疗数据,便于对不同模态数据的存储管理,并提高文件的读取速度.为了进一步优化存储性能,建立了基于LRU的元数据预取机制,并采用LZ4压缩算法对合并文件进行压缩存储.通过对比文件存取性能、NameNode内存使用率,实验结果表明,所提出的算法与原始HDFS、HAR、MapFile、TypeStorage以及...     

国产化环境下的海量小文件数据分布式存储技术

为缓解单一存储设备存储海量小文件的压力,提出了一种国产化环境下的海量小文件数据分布式存储技术。利用聚类算法实现海量小文件合并。以达到最大均衡度为目标,在多项约束条件下利用人工鱼群算法求解分布式存储方案。按照分布式存储方案将海量小文件数据迁移到存储节点及其存储设备上,完成海量小文件数据分布式存储。结果表明：14个存储节点和28个存储设备的内存占用较为均衡,内存资源利用率较高。将小文件样本迁移并存储到节点的过程中,分布式存储均衡度整体波动均超过设定的阈值1.0,说明分布式存储均衡度较好,证明了所提存储技术的有效性。     

查询感知的关系-图数据库自适应存储技术研究

在大数据时代,针对不同场景下如何保持数据高效查询受到持续关注,但是对通过改进数据的存储管理技术来提高查询效率还有待进一步研究。因此,结合图数据结构类型多变、应用场景丰富、数据集价值高等优势,提出了一种利用关系-图数据模型协同存储数据的模式,并设计了用户查询感知的自适应存储优化技术来解决多数据模型的数据存储冗余优化问题。通过分析不同引擎处理不同的查询得出每种引擎对应的不同查询性能和多数据模型存储存在的数据冗余问题,提出用户查询感知的自适应存储技术。再结合用户历史查询及查询特点,利用基于启发式规则的优化算法完成多数据模型的数据存储优化。     

分级存储系统中一种数据自动迁移方法

分级存储系统通过将数据在不同性能设备间动态迁移以达到高性能.已有分级存储系统未能充分利用负载信息导致数据迁移严重影响应用性能.提出了一种分级存储系统中的数据自动迁移方法AutoMig,目标是提高前台应用的I?O性能.AutoMig综合文件访问历史、文件大小、设备利用情况等参数,对文件进行动态分级,并使用LRU队列维护快速存储设备中的文件状态;挖掘关联文件用于自动预取;针对不同文件迁移操作采取不同的速率控制策略.对降级操作,根据负载变化动态调整迁移速率,对回迁操作则采取尽力而为的策略.在分级存储系统中的应用表明,与已有方法相比,AutoMig有效缩短了前台I?O响应时间.     

海量样本数据集中小文件的存取优化研究

针对Hadoop分布式文件系统（Hadoop Distributed File System,HDFS）在海量样本数据集存储方面存在内存占用多、读取效率低的问题,以及分布式数据库HBase在存储文件名重复度和类似度高时产生访问热点的问题,结合样本数据集的特点、类型,提出一种面向样本数据集存取优化方案,优化样本数据集中小文件的写入、读取、添加、删除和替换策略。该方案根据硬件配置测得大、小文件的分界点,通过变尺度堆栈算法按样本数据集的目录结构将小文件合并存储至HDFS;结合行键优化策略将文件索引存储在HBase数据表中;搭建基于Ehcache缓存框架的预取机制。实验结果表明,该方案降低了主节点的内存消耗,提高了文件的读取效率,实现了对海量样本数据集中小文件的高效存取。     

轻量级的安全跨域去重方案

云存储为用户提供文件外包存储功能,然而随着数据外包数量的激增,数据去重复变得至关重要.目前数据压缩非常有效也是很常用的一个手段是去重,即识别数据中冗余的数据块,只存储其中的一份.以前的方案可以满足不同的用户将相同的文件加密为相同的密文,这样暴露了文件的一致性,随后的方案提出基于集中式服务器作为去重辅助的方案,随着用户的...     

基于Ceph存储系统的小文件存储优化方案

针对Ceph存储系统面对小文件存储时存在元数据服务器性能瓶颈、文件读取效率低等问题.本文从小文件之间固有的数据关联性出发,通过轻量级模式匹配算法,提取出关联特征并以此为依据对小文件进行合并,提高了合并文件之间的合理性,并在文件读取时将同一合并文件内的小文件存入客户端缓存来提高缓存读取命中率,经过实验验证本文的方案有效的提高了小文件的访问效率.     

基于FTP协议的数据服务解决方案

随着数据的不断积累,数据存储系统已经由单节点、小规模的文件系统演变成支持海量数据存储的分布式文件系统.分布式文件系统中的大规模数据如何能够面向用户提供简洁、高效和稳定的数据上传下载服务成为了广泛研究的问题.为此,本文提出了基于FTP协议的数据服务端的解决方案,该方案包括利用缓冲区、协程、多线程等技术优化传输模型和传输算法,使得数据流能进行高速传输.同时,配合Keepalived(开源的系统高可用解决方案)与LVS实现了高可用、高并发以及良好的拓展性,在FTP协议之上修改使得服务端支持动态验证、用户隔离并兼容多种编码格式.在实际的运行中,以中国科技云iHarbor存储系统为例,验证了本文提出方案的有效性、可靠性以及高性能的数据传输效果,可以充分满足用户的需求.     

一个网络文件存储系统TNS关键技术

基于多服务器架构、为多用户服务的网络文件存储系统普遍存在资源分配不均,重复文件多,存储空间浪费严重的问题。设计并实现了TNS网络文件存储系统,该系统基于多服务器存储架构,分别由用户服务器、索引服务器、数据服务器、共享服务器、管理服务器和登录服务器组成,为多用户服务,采用一致性Hash实现负载均衡,支持在客户端进行文件粒度的重复数据删除。经过实际生产环境运行测试,具有良好的负载均衡能力和重复数据删除功能,可以有效节省存储空间,提高存储设备利用率。