众核处理器中使用写掩码实现混合写回/写穿透策略

高速缓存采用写回策略,能极大地节省对片上网络和访存带宽的消耗,这对于片上众核(大于16核)的结构尤为重要.与通常多核系统中基于目录/总线的写无效或写更新协议不同,文中给出了片上实现域一致性存储模型和基于硬件锁的缓存一致性协议的方案并提出了在L1高速缓存保存写掩码的方法,用以记录本地更新缓存块的字节位置,解决了写回策略下伪共享带来的缓存一致性问题.文中还进一步提出两种优化掩码存储空间开销的新方法:通过设定程序中较少出现的、长度为1~3字节的写指令为写穿透,在L1中每4字节设置一位写掩码,将写掩码的芯片面积开销压缩到字节粒度的27.9%;设计项数为L1缓存块总数12.5%的多路写掩码缓存,在不损失性能的情况下,将面积开销压缩到字节粒度的17.7%.搭建的众核平台Godson-T采用域一致性存储模型,使用写掩码实现混合写回/写穿透缓存策略(临界区内写穿透,临界区外写回).实验使用splash2的3个程序和2个生物计算程序进行评估.结果表明,相对于完全写穿透,混合写回策略在32和64线程的配置下普遍获得24%以上的性能提升,性能略优于完全写回,并且采用两种优化空间开销的新方法后性能无损失.     

分类的缓存数据延迟写技术

根据缓存数据在缓冲区的活动性不同而设计和实现了一个分类的延迟写（Write behind）技术,通过将不同活动性的数据分类缓存，并延迟刷新到磁盘来减少、合并写磁盘的次数，从而改进文件系统的写性能．初步的实现结果表明，分类的缓存延迟写技术比LRU的缓存策略有更短的系统响应时间，写文件的反馈时间减少了11．3％，并且使用RWB策略的缓存命中率比使用LRU策略高．     

移动查询缓存处理的研究

客户缓存为提高客户／服务器数据库系统整体性能以及客户方数据可用性提供了有效途径。移动环境下网络资源的贫乏使客户缓存的作用更为重要，语义缓存是基于客户查询语义相关建立的一类缓存，提出一个基于语义缓存的客户缓存机制，给出缓存的内容组织，提出缓存项合并策略；然后讨论了基于语义缓存的查询处理策略；最后，模拟结果表明该客户缓存机制能够提高分布式、特别是移动环境下客户服务器数据库系统的性能。     

基于iSCSI的远程镜像系统设计与实现

远程镜像核心数据对于依赖于数字信息的企事业单位越来越重要．平衡数据可用性、存取性能以及构建和维护成本是设计远程镜像系统必须仔细考虑的．本文介绍了一种基于iSCSI的远程镜像系统整体结构，重点描述镜像日志和缓存的结构，在提高了性能的同时保证数据的可用性．最后测试了在不同网络环境下，远程镜像系统所能承担的最大负载情况.     

分布式NoSQL系统写操作性能优化设计与实现

分布式NoSQL系统已经成功地展现出巨大的潜力。不过在很多应用场景中,主流分布式NoSQL系统对写操作的处理效率依然不高。首先对其中存在的问题进行分析,然后提出两个优化批处理算法解决服务端批量处理的低效问题。原型系统基于典型的分布式NoSQL系统HBase实现。与官方发布的HBase系统相比,在不影响原系统一致性和持久性设计的前提下,原型系统能有效提升写操作的批量处理效率,获得10倍的吞吐量。     

一种网络多点备份系统的设计和实现

该文提出并实现了一种网络多点备份系统。通过在本地应用服务器的设备驱动层之上加入写监控驱动,所有写操作将被封装成备份记录并发往本地缓存网关暂存,然后由本地缓存网关异步地将备份记录发送到多个处于不同地域的远程备份网关,最后在远程备份网关上重建写操作。该系统实现了对本地数据的多点异地备份,能够适应多种网络状况,支持Linux下所有文件系统和物理存储设备     

NDMANET中基于内容优先级的缓存策略研究

多数NDMANET缓存策略研究未考虑内容的优先级,从而降低了重要内容在节点移动环境下的可用性。针对该问题,提出一种基于内容优先级的缓存替换策略PFC。根据节点内容对可用性的不同需求划分内容优先级,将其作为缓存替换的参考因子进行缓存替换决策,以提高重要内容的命中率和可用性。在ndnSIM仿真平台上的测试结果表明,相比LRU和FIFO策略,PFC策略在不影响全局命中率和响应时延的情况下,可以明显提高重要内容的缓存占比与可用性。     

Web合作缓存置换算法的改进与实现

在LRU算法的基础上,提出一种改进的Web合作缓存置换算法。该算法针对不同大小的文档采取不同的存储策略,如增加小文档在缓存组中的存储数量,以提高其本地缓存的命中率,减少大文档在缓存组中存储的数量,以节约整个缓存组的空间。仿真实验结果表明该算法能够获得较好的性能。     

面向高并发在线考试系统的性能优化

在线考试是线上教育的重要组成部分,随着线上教育的迅速发展,加之考试本身的特殊性,在线考试系统往往会面临高并发场景。本文分析在线考试系统中出现的高并发场景,在传统的系统架构之上,加入基于Redis的缓存层,并提出两个优化方法：缓存预热和延迟写入,分别用于改善在线考试开始时高并发读和在线考试期间高并发写的性能。实验结果表明,这两种方法能有效提高单机处理请求的吞吐量,降低请求的平均响应时间,因而能在机器数量保持不变的情况下,提高整个在线考试系统的并发量。此外,为了避免缓存层不可用时,整个系统无法正常提供服务,本文提出一种容错机制,将系统与缓存层进行解耦,从而提高系统的可用性。目前,这些优化方法已经被用于华东师范大学研发的“水杉在线”学习平台,有效提高了用户的体验感。     

利用页面重构与数据温度识别的闪存缓存算法

基于闪存的固态盘(SSD)具有比磁盘更加优越的性能,并且在桌面系统中逐渐替代磁盘.但是,尽管在SSD中嵌入了DRAM作为缓存,闪存在不断写入的过程中也可能产生不稳定的写性能,主要是因为逻辑页写入时会频繁引发非覆盖写和垃圾回收操作.针对此问题,提出了一种叫作PRLRU的新型闪存缓存管理方法,通过页面重构机制以及数据温度识...     

基于内存的HBase二级索引设计

在大数据时代,具有海量数据存储能力的HBase已被广泛应用。HBase只对行键进行了索引优化,对非行键的列未建立索引,这严重影响了复杂条件查询的效率。针对此问题,提出了基于内存的HBase二级索引方案。该方案对需要查询的列建立了映射到行键的索引,并将索引存储在Spark搭建的内存环境中,在查询时先通过索引获取行键,然后利用行键在HBase中快速查找对应的记录。由于列的基数大小和是否涉及范围查询决定了建立索引的类型,故针对三种不同情况构建了不同类型的索引,并利用Spark内存计算、并行化的特点来提高索引的查询效率。实验结果表明,该二级索引具有较好的查询性能,查询时间小于基于Solr的二级索引,可以解决HBase中因非行键的列缺乏索引导致查询效率较低的问题,提高基于HBase存储的大数据分析的查询效率。     

构建新型高性能与高可用的键值数据库系统

近年来,写密集型应用程序越来越普遍.如何有效地处理这种工作负载,是数据库系统领域深入研究的方向之一.写操作开销主要由以下两个方面的因素构成：（1）硬件级别,即写操作引起的I/O,目前无法在短时间内消除这种开销;（2）软件开销,即修改内存数据拷贝以及构造日志记录造成的多次写操作.日志即数据（log-as-database,称其为单拷贝系统）的架构能够减少写操作引起的I/O,同时降低软件方面的开销.目前,业界对单拷贝系统展现出浓厚的兴趣.现有的单拷贝系统大部分建立在特殊的基础设施之上,例如infiniband或NVRam（非易失性随机存取存储器）,这种基础设施尚未达到广泛可用或者是依托他系统（例如Dynamo）构建,这种方法缺乏灵活性与普适性.在商用机器环境中,自底向上构建了一个称为LogStore的键值数据库系统,采用log-as-database设计理念,以充分利用单拷贝系统的优点,在提升写操作性能的同时,有效缩短主备数据之间的差距.在系统中内嵌复制协议达到高可用性而不是依赖其他系统,使得系统灵活可控.系统新颖的查询执行模型将执行线程与特定分片绑定,结合多版本并发控制技术,以无锁的方式消除读写冲突、写写冲突以及上下文切换开销.用YCSB对系统性能进行了详细的评估,对比主流的键值系统HBase以及单拷贝系统实现LogBase,LogStore在写密集型工作负载上性能要优4倍左右.在崩溃恢复方面,LogStore可在1分钟之内完成TB级别数据规模的恢复,比LogBase要快1个数量级以上.     

基于流数据的大对象数据缓冲机制

通过对关系数据库管理系统Postgre SQL的大对象数据缓冲机制的分析,提出了基于流数据的大对象数据缓冲机制。该机制针对传统大对象数据缓冲所使用的页存储机制存在的性能缺陷,以流数据模型来取代一般的块页读取机制,并根据流数据的存储特点构建基于流数据管道的大对象数据缓冲器结构。该结构在内存中维护一个远小于大对象数据规模的可常驻内存的概要数据结构,从而可以迅速得到用户想要的数据,避免了冗余的磁盘I/O。     

Periodic early detection for improved TCP performance and energy efficiency

Reducing the size of packet buffers in network equipment is a straightforward method for improving the network performance experienced by user applications and also the energy efficiency of system designs. Smaller buffers imply lower queueing delays, with faster delivery of data to receivers and shorter round-trip times for better controlling the size of TCP congestion windows. If small enough, downsized buffers can even fit in the same chips where packets are processed and scheduled, avoiding the energy cost of external memory chips and of the interfaces that drive them. On-chip buffer memories also abate packet access latencies, further contributing to system scalability and bandwidth density. Unfortunately, despite more than two decades of intense research activity on buffer management, current-day system designs still rely on the conventional bandwidth-delay product rule to set the size of their buffers. Instead of decreasing, buffer sizes keep on growing linearly with link capacities.We draw from the limitations of the buffer management schemes that are commonly available in commercial network equipment to define Periodic Early Detection (PED), a new active queue management scheme that achieves important buffer size reductions (more than 95%) while retaining TCP throughput and fairness. We show that PED enables on-chip buffer implementations for link rates up to 100 Gbps while relieving end users from network performance disruptions of common occurrence.     

面向海量交通数据的HBase时空索引

针对HBase无法直接建立时空索引所带来的交通数据查询性能问题,基于HBase行键设计了面向海量交通数据的HBase时空索引。首先利用Geohash降维方法将二维空间位置数据转化为一维编码,再与时间维度进行组合;然后根据组合顺序的不同,提出了四种结构模型,分别讨论了模型的具体构成以及交通数据查询中的适应面;最后提出了相应的时空索引管理算法及基于Hbase时空索引的交通数据查询方法。通过实验验证了提出的HBase时空索引结构能有效提升海量交通数据的区域查询性能,并比较了四种时空索引结构在不同数据规模、不同查询半径以及不同时间范围的查询性能,量化验证了不同索引结构在交通数据查询中的适应场景。     

Study of the performance impact of a cache buffer in solid-state disks

An SSD generally has a small memory, called cache buffer, to increase its performance and the frequently accessed data are maintained in this cache buffer. These cached data must periodically write back to the NAND Flash memory to prevent the data loss due to sudden power-off, and it should immediately flush all dirty data items into a non-volatile storage media (i.e., NAND Flash memory), when receiving a flush command, while the flush command is supported in Serial ATA (SATA) and Serial Attached SCSI (SAS). Thus, a flush command is an important factor to give significant impact on SSD performance.In this paper, we have investigated the impact of a flush command on SSD performance and have conducted in-depth experiments with versatile workloads, using the modified FlashSim simulator. Our performance measurements using PC and server workloads provide several interesting conclusions. First, a cache buffer without a flush command could improve SSD performance as a cache buffer size increases, since more requested data could be handled in the cache buffer. Second, our experiments have revealed that a flush command might give a negative impact on SSD performance. The average response time per request with a flush command is getting worse compared to not supporting the flush command, as cache buffer size increases. Finally, we have proposed the backend flushing scheme to nullify the negative performance impact of the flush command. The backend flushing scheme first writes the requested data into a cache buffer and sends the acknowledgment of the request completion to a host system. Then, it writes back the data in the cache buffer to NAND Flash memory. Thus, the proposed scheme could improve SSD performance since it might reduce the number of the dirty data items in a cache buffer to write back to NAND Flash memory.All these results suggest that a flush command could give a negative impact on SSD performance and our proposed backend flushing scheme could improve the SSD performance while supporting a flush command.     

基于Flink的海量医学图像检索系统设计与实现

医学图像检索是有效利用医学资源的基础，而医学图像的海量性和增量性为图像检索带来了新的挑战和要求。为了提高医学图像检索过程的效率，设计并实现一种基于Flink的海量医学图像检索系统。首先，系统通过Web应用作为用户操作入口，在后端搭建数据平台和业务集群；其次，系统通过HBase对医学图像数据进行分布式存储，利用深度卷积神经网络模型提取医学图像特征；然后，将所提取的医学图像特征数据进行乘积量化编码，并通过HBase进行存储；最后，通过基于Flink的内存计算对接Kafka进行实时图像检索，以及对批量导入图像的特征索引编码。系统在4个节点的服务器上部署分布式集群，使用真实医学图像数据集进行测试，通过在MapReduce和Spark两种不同技术模块下的对比实验表明本系统具有更好的检索效率表现。     

基于Hadoop平台的数据迁移方法研究实现

随着计算机科学的发展和大数据时代的到来,应用系统已经出现了数据海量化、用户访问高量化的局面,使得企业应用系统的原有关系型数据库(RDBMS)面临承担更大负荷的压力,系统的高性能要求得不到有效满足,对于关系型数据库所面临的问题,Hadoop平台中的HBase数据库可有效解决。以关系型数据库中MySQL数据库及Hadoop平台中分布式数据库HBase数据库为研究基础,应对企业应用数据海量化增长,提出从关系型数据库(MySQL数据库)向分布式数据库(HBase数据库)进行数据迁移的方法,并通过研究HBase数据库存储原理提出从MySQL到HBase的表模式转换原则实现高效数据查询性能的数据迁移方法。最后,将该方法与同类数据迁移工具Sqoop进行比较,证明该方法进行数据迁移的便捷性和在迁移后数据库中进行连接查询的高效性。     

基于写数据页聚簇的固态硬盘缓冲算法

针对Flash写前需擦除,读写I／O开销不均衡等固有缺陷,研究面向闪存缓冲区管理,对提高基于Flash的固态硬盘（SolidState Disk,SSD）访问性能具有重要理论意义和应用价值．通过分析SSD关键技术及现有缓冲区管理算法,实现了一种适用于SSD的基于写数据页聚簇缓冲算法．文章中详细介绍了该算法关键技术及原理,并通过FlashSim仿真平台实现SSD写缓冲．基于仿真结果与传统缓冲算法性能比对,分析得出该缓冲算法可降低SSD随机写次数和SSD数据存储分散性,并提升SSD响应速度．