基于同步机制的虚拟机磁盘在线迁移策略

提出一种带冗余检测的磁盘在线迁移策略。采用周期同步方式保持虚拟机在源、目的节点上磁盘的数据一致性,在非同步期内,利用位图标记源节点上被写的数据块(脏块)位置,在同步期内,检测脏块与目的节点相应块的Hash值,仅将不匹配的脏块同步至目的节 点,在磁盘数据一致后,启动虚拟机在线迁移。实验结果表明,该策略能减少磁盘迁移的数据量,降低磁盘迁移对高带宽的要求,虚拟机迁移时间与共享存储方式接近。     

数据库管理系统多缓冲池的配置及其多次划分自调优算法

本文针对数据库管理系统中缓冲区的特殊重要地位,介绍了多缓冲池的配置及自调优的概念。将缓冲区分为数个独立的缓冲池,为不同性质的数据库对象分别建立独立的缓冲池 ,也为不同的负载提供最佳的配置方式,能够减少不同负载下的i/os时间,提高吞吐率。本文介绍了多缓冲池配置的模型,并基于此模型提出了多缓冲池的多次划分自调优算法。     

基于DBP的TOp-k高效用项集挖掘算法

针对Top-k高效用项集挖掘算法在挖掘过程中忽略内存管理的问题,提出基于DBP的Top-k高效用项集挖掘算法TKBPH(Top-k buffer pool high utility itemsets mining),采用数据缓冲池(DBP)结构存储效用链表,并由索引链表记录效用链表在DBP的位置.数据缓冲池根据挖掘过程情况在数据缓冲池尾部动态插入和删除效用链表,通过索引链表直接读取效用链表避免项集搜索时频繁的比较操作,有效减少内存空间和运行时间消耗.不同类型数据集上的实验结果表明,TKBPH算法在挖掘过程中执行速度更快、内存消耗更少.     

一种基于闪存固态硬盘的辅助缓冲池设计

基于磁盘数据库系统的瓶颈主要在磁盘I／O,通常采用缓冲池的设计,将读到的数据页先放入到内存缓冲池后再进行操作。因此,缓存池的大小直接决定了数据库的性能。通过研究基于闪存固态硬盘的特性,提出了一种基于闪存固态硬盘的辅助缓冲池设计。最后,通过修改开源数据库MySQL InnoDB存储引擎,并通过TPC-C实验对比分析了启用辅助缓冲池后数据库的性能可有100％-320％的提高。     

用多FIFO输入缓冲队列消除HOL阻塞

对于输入端口具有单输入FIFO（先入先出）队列的输入缓冲信元交换机（如ATM）,影响交换吞吐率的主要因素是信头阻塞（HOL）。本文分析了在单FIFO队列情况下的信元阻塞的原因及解决办法,给出了输入端口具有多FIFO队列在信元交换结构,描述了基于N-FIFO输入缓冲的排队策略和迭代匹配算法,并对它们的性能进行了分析。     

基于编码Hash同态性的数据持有性证明方案

为了保证用户在云存储服务器中数据的完整性,在分析已有数据持有性证明方案的基础上,提出了一种基于编码Hash同态性的数据持有性证明方案。通过将伪随机数与数据块进行“捆绑”作为标签来固定数据块位置,同时引进一种基于编码的Hash,并利用同态性来完成数据持有性验证。该方案的安全性依赖于译码的NP完全问题,可抵抗量子攻击,较传统的基于Hash同态性的数据持有性证明方案更难被攻破,同时通过理论分析,算法时间开销比以往方案更快,更有效。     

支持优先级的高速交换开关缓冲队列分析与设计

缓冲队列在交换开关中起着重要的作用。为了使交换开关的调度更加灵活有效,可以采用硬件方法实现缓冲排队。为了支持QOS,还有必要设计一种支持优先级的排队机制。该文在研究已有的缓冲排队方案基础上,提出一种支持优先级FIFO排队的硬件体系结构PFQ(PriorityFIFOQueue)。PFQ借鉴了移位寄存器的基本思想,按链表形式组织每个FIFO队列,通过设置高速局部总线,有效解决了头信元阻塞问题。使得采用PFQ的交换开关可以实现更加灵活的调度算法。模拟结果表明PFQ具有灵活、高效、硬件代价较低并且实现简单的优点。     

基于Internet动力监控系统中的实时数据处理

介绍了基于Internet动力监控系统的物理拓扑结构和设计目标。给出了基于层次的监控点实时数据的表示方法，对基于Hash实时数据在内存缓冲池中的数据存取算法进行了详细分析。运用对象协作模型对实时数据与相关对象的相互协作关系进行了描述，介绍了实时数据在系统中的业务处理流程。     

基于负载感知的数据流动态负载均衡策略

针对大数据流式计算平台中存在节点间负载不均衡、节点性能评估不全面的问题,提出基于负载感知算法的动态负载均衡策略,并将算法应用于Flink数据流计算平台中。首先通过有向无环图的深度优先搜索算法获取节点的计算延迟时间作为评估节点性能的依据,并制定负载均衡策略;然后基于数据分块管理策略实现流式数据的节点间负载迁移技术,通过反馈实现全局和局部的负载调优;最后通过实验评估时空代价论证算法的可行性,并讨论重要参数对算法执行效果的影响。经实验验证算法通过优化流式计算任务的负载分配提高了任务的执行效率,与采用Flink平台现有的负载均衡策略相比,任务执行时间平均缩短6.51%。     

数据依赖约束下的任务调度资源选择算法

大数据环境下的计算任务往往具有一定数据依赖性关系(如MapReduce),现有的分布式存储系统任务资源选择策略选择离请求者最近的数据块响应服务,忽略了对数据块所在服务器CPU、磁盘I/O与网络等资源负载状态的考虑。在分析研究系统集群结构、文件分块、数据块存储机制的基础上,定义了集群节点矩阵、CPU负载矩阵、磁盘I/O负载矩阵、网络负载矩阵、文件分块矩阵、数据块存储矩阵与数据块存储节点状态矩阵,为任务与数据之间的依赖性构建了基础数据模型,提出了一种数据依赖约束下的最优资源选择算法(ORS2DC)。任务调度节点负责维护基础数据,MapReduce任务与数据块读取任务由于依赖资源不同而采取不同的选择策略。实验结果表明：所提算法能够为任务选择质量更高的资源,提高任务完成质量的同时减轻了NameNode负担,减小了单点故障发生的概率。     

嵌入式实时数据库的安全缓冲区管理器的设计

分析嵌入式实时数据库安全缓冲管理算法SABRE,将其引入到开源数据库Berkeley DB的缓冲中,设计实时安全缓冲区管理器.一般实时数据库的缓冲区管理都基于优先级,在设计中将安全级别与优先级结合,构成综合优先级,可以根据系统的安全要求和实时特征动态调整权值以适应不同的要求,既满足实时也满足安全.主要有两种数据结构:安全级别队列数组和优先级队列数组.     

Recovery analysis of data sharing systems under deferred dirty pagepropagation policies

In a multinode data sharing environment, different buffer coherency control schemes based on various lock retention mechanisms can be designed to exploit the concept of deferring the propagation or writing of dirty pages to disk to improve normal performance. Two types of deferred write policies are considered. One policy only propagates dirty pages to disk at the times when dirty pages are flushed out of the buffer under LRU buffer replacement. The other policy also performs writes at the times when dirty pages are transferred across nodes. The dirty page propagation policy can have significant implications on the database recovery time. In this paper, we provide an analytical modeling framework for the analysis of the recovery times under the two deferred write policies. We demonstrate how these policies can be mapped onto a unified analytic modeling framework. The main challenge in the analysis is to obtain the pending update count distribution which can be used to determine the average numbers of log records and data I/Os needed to be applied during recovery. The analysis goes beyond previous work on modeling buffer hit probability in a data sharing system where only the average buffer composition, not the distribution, needs to be estimated, and recovery analysis in a single node environment where the complexities on tracking the propagation of dirty pages across nodes and the buffer invalidation effect do not appear     

基于FPGA的高速采样缓存系统的设计与实现

为了提高高速数据采集系统的实时性,提出一种基于FPGA+DSP的嵌入式通用硬件结构。在该结构中,利用FPGA设计一种新型的高速采样缓存器作为高速A/D和高性能DSP之间数据通道,实现高速数据流的分流和降速。高速采样缓存器采用QuartusⅡ9.0 软件提供的软核双时钟FIFO构成乒乓操作结构,在DSP的外部存储器接口(EMIFA)接口的控制下,完成高速A/D的数据流的写入和读出。测试结果表明：在读写时钟相差较大的情况下,高速采样缓存器可以节省读取A/D采样数据时间,为DSP提供充足的信号处理时间,提高了整个系统的实时性能。     

数据缓冲区自适应优化算法的模拟研究

为决定数据库在复杂负载下运行时,数据缓冲区自适应优化所要求的大小与方向,提出了基于模拟仿真的自适应优化算法,通过建立模拟数据缓冲区(simulated buffer pool,SBP)来决定调整的方向。应用缓冲错失公式(buffer miss equation,BME)结合基于模拟仿真自适应优化算法监测数据库运行状态时所获得的一系列关键数据,来确定优化调整的具体方案。实验结果表明,该算法提升了数据库整体性能,并在长时间内保持性能高效稳定。     

增强Linux内核实时任务调度性能的研究

分析基本Linux内核的调度策略,指出其应用于实时系统时存在的不足,提出了一种增强Linux内核调度性能的实时任务调度策略和调度算法。结合任务的关键性、截止期和执行时间三要素,该调度策略通过三运行队列代替原Linux内核的单运行队列,分别对应系统的硬实时、软实时和非实时任务,保证了硬实时任务的实时性;不同于简单的FIFO调度算法,该调度算法根据任务的最小松弛时间和重要性来确定其在当前运行队列中的优先级,仿真结果表明此算法提高了实时调度性能。     

Performance and reliability improvement by using asynchronous algorithms in disk buffer cache memory

This paper proposes performance and reliability improvement by using new algorithms for asynchronous operations in disk buffer cache memory. These algorithms allow for writing the files into the buffer cache by the processes and consider the number of active processes in the system and the length of the queue to the disk buffer cache. Writing the contents of the buffer cache to the disk depends on the system load and the write activity. Performance and reliability measures including the elapsed time of writing a file into the buffer cache, the waiting time to start writing a file, and the mean number of blocks written to the disk between system failures are used to show performance and reliability improvement by using the algorithms. Sensitivity analysis is used to influence the algorithms' design. Examples of real systems are used to show the numerical results of performance and reliability improvement in different systems with various disk cache parameters and file sizes.     

网络中常用的队列管理方法比较

本文主要介绍了网络中常用的两种队列管理方法:先进先出(FIFO)和随机提前检测(RED),并且通过实验比较了这两种队列管理方法在解决网络拥塞控制方面的表现,体现了研究主动式队列管理方法的重要意义。     

缓冲区结构效率分析

I/O设备与CPU的速度不匹配,制约了计算机系统性能的进一步提高。为此,根据计算机体系结构,对缓冲区结构的效率进行分析,使用EDA计算机辅助设计软件QuartusII设计异步双时钟FIFO缓冲区,并对其进行仿真验证及数据记录,通过对数据的分析,证明系统整体效率与FIFO效率密切相关,只有实现FIFO效率的最大化,才能使系统整体效率最大化,同时FIFO效率最大化也只能在完成系统效率最大化的过程中得以实现。     

风电场数据中心Hadoop云平台作业调度算法研究

风电场数据中心包含状态监测、数据采集等实时类作业和非实时类作业,采用C/S结构存在资源利用率不平衡、管理与维护成本高等缺点。设计了一种基于Hadoop云平台的数据中心架构;针对开源Hadoop平台现有FIFO调度器不能满足实时监测系统要求,在原有FIFO调度器的基础上,设计了一种双队列的作业调度器,综合考虑作业的截止时间和优先级来进行作业调度决策,实验结果表明,与FIFO调度器相比,双队列的作业调度器在集群负载较大时能够表现出较好的性能,保证实时类作业能够优先执行,为风电机组的安全运行提供保障。