存储系统的层次性与进程数据存储模型

计算机系统的各种存储部件,包括寄存器、cache、内存、外存,被组织成一个层次性的存储结构,传统操作系统分别在内存和外存这两个层次上为用户构造了两种数据存储模型：进程逻辑空间和文件。应该在存储层次最外层--外存直接为用户构造进程数据存储模型--文件,把全部内存作为进程访问外存的缓冲,取消了进程逻辑空间的概念,实现指令对文件的直接寻址,使进程直接在文件上运行,基于以上思想,提出了一个操作系统模型,介绍了该模型的结构及其一个实现原形,并对其性能进行了测试和评价,最后讨论了该操作系统具有的优点及其存在的问题。     

基于内存云的大块数据对象并行存取策略

由于内存云(RAMCloud)只支持最大1 MB的小块数据对象存储,因此当大于1 MB的对象需要存储在内存云集群中就会受到对象大小的限制,无法在集群中进行存储。为了解决内存云存储限制的问题,提出了基于内存云的大块数据对象并行存取策略。该存储策略首先将大块数据对象分割成若干个1 MB的小块数据对象,然后在客户端生成数据摘要,最后使用并行存储算法将客户端分割成的小块数据对象存储在内存云集群中。读取时首先读取数据摘要,然后根据数据摘要从内存云集群中并行读取小块数据对象,并将小块数据对象合并生成大块数据对象。实验结果表明:大块数据对象的并行存取策略在不破坏内存云集群体系结构的前提下存储时间为16~18 μs,读取时间为6~7 μs。在InfiniBand网络架构下,所提并行算法的加速比呈现类似线性的增长,它使大块数据对象也能够像小块数据对象一样在微秒级别下快速、高效地进行存取。     

飞行器半实物仿真中实时数据管理方案

针对抢先式多任务的Windows系统在飞行器分布式半实物仿真系统中难以实现"大容量高速率"数据实时接收、存储以及显示的问题,提出了一种基于多缓冲循环读写技术的实时数据管理方案;采用VMIPCI-5565反射内存的硬件中断机制提高了Windows的实时性,采用多缓冲循环读写技术以及"先入先出"消息队列机制有效解决了实时数据与计算机硬盘存储速度不匹配带来的存储丢帧和数据丢帧问题,采用多线程技术实现了数据的实时采集、实时存储与实时显示的同步运行;测试表明,半实物仿真系统数据管理节点的实时性能达5ms,数据存储丢帧率不大于0.002%,具有良好的工程应用价值。     

基于二叉排序树的缓冲机制在污染源监控系统中的研究

针对污染源在线自动监控系统，提出了二叉排序树的数据缓冲机制的方案，设计树形存储结构，将其进行平衡化处理，完成结构化缓冲存储，实现了基于二叉排序树的数据缓冲机制的污染源在线自动监控系统。该机制不仅避免了数据直接存放于数据库服务器的时间延迟，提高了数据检索效率，而且降低了时间复杂度。通过实验测试发现该方法对污染源在线自动监控系统的整体性能有明显的改善作用。     

内存环技术在实时仿真测试中的应用研究

采用基于WINDOWS系统的内存缓冲环技术，结合多线程处理机制，将数据实时记录和非实时转存有效结合，在某仿真测试系统中实现了大容量仿真数据的实时存储。在大量节省内存资源的同时，优化了系统存取时间，有效保证了系统的实时性。     

一种面向实时数据库存储引擎的设计与实现

卫星地面设备监控中,需研究实时数据库技术来管理大量的分布式环境下的实时数据.为此文章设计了一种实时数据存储引擎.该引擎借助内存文件映射机制实现内存表,以LRU算法和页面缓冲池实现了磁盘表,通过位图方法管理数据库表的文件空间,以影子页面法实现了事务的提交与回滚,并设计了数据库表的逻辑结构.通过使内存表和磁盘表结构保持一致,确保了数据库运行时内存表和磁盘表的灵活转换,影子页面法确保了数据库具有实时的故障恢复速度.结果表明,该引擎适用于存储卫星地面设备监控中的大量实时数据.     

基于写数据页聚簇的固态硬盘缓冲算法

针对Flash写前需擦除,读写I／O开销不均衡等固有缺陷,研究面向闪存缓冲区管理,对提高基于Flash的固态硬盘（SolidState Disk,SSD）访问性能具有重要理论意义和应用价值．通过分析SSD关键技术及现有缓冲区管理算法,实现了一种适用于SSD的基于写数据页聚簇缓冲算法．文章中详细介绍了该算法关键技术及原理,并通过FlashSim仿真平台实现SSD写缓冲．基于仿真结果与传统缓冲算法性能比对,分析得出该缓冲算法可降低SSD随机写次数和SSD数据存储分散性,并提升SSD响应速度．     

基于TTA体系结构的嵌入式协处理器的设计与实现

本文基于TTA结构提出了一种嵌入式协处理器体系结构,并完成了其VLSI设计与实现.该协处理器具有双Cluster的运算内核,能够高效地支持多媒体应用中的数据密集型计算.为了充分发挥协处理器工作效率,本文还设计了具有流缓冲代理特征的流存储子系统,通过实现数据流存储访问机制以及计算资源与片外存储之间的低耦合结构,提高访存带宽.最后,基于该嵌入式协处理器,本文在0.18μm CMOS工艺下实现了一款多核SoC芯片,其工作主频为300MHz,实测功耗为910mW.     

管理数据空间 利用新的选项存放LOB和分区数据

SQL Server 2000只有两个对象：数据表和索引占用磁盘空间；只存在三类页：索引页、数据页和存放LOB数据的第三类页用于存储用户数据。SQL Server 2005中增强的存储模型扩展了占用空间的对象的数量和类型，并赋予用户存储变长LOB数据的更灵活的选择，还增加了将分区数据存放到不同位置的功能。本文详细介绍了SQL Server 2000的基本存储模型，以及SQL Server 2005如何管理数据的磁盘空间。[编者按]     

StreamQCTree:一种流数据方压缩结构

数据流管理系统计算聚集查询结果保存在内存中形成流数据方(StreamCube),提供快速、精确的在线OLAP查询。有限的内存空间需要一种有效的存储方法来存储更大时间窗口的流数据方。提出一种基于QC-Tree结构的流数据方StreamQCTree生成、裁剪及查询方法。将QC-Tree结构中上界集划分为基本上界类和附加上界类;并分析附加上界类的成本计算模型;根据该模型在固定存储空间下,采用动态选择物化结点的方案选择物化部分附加上界类,使对StreamQCTree的平均查询响应时间最小。实验表明,StreamQCTree能够有效地访问数据方且获得较好的压缩效果。     

数据流中基于矩阵的频繁项集挖掘

挖掘频繁项集是挖掘数据流的基本任务。许多近似算法能够有效地对数据流进行频繁项挖掘,但不能有效地控制内存资源消耗和挖掘运行时间。为了提高数据流频繁项集挖掘的时空效率,通过引入矩阵作为概要数据结构,提出了一种新的数据流频繁项集挖掘算法。最后通过实验证明了该算法的有效性。     

流数据分析与管理综述

有关流数据分析与管理的研究是目前国际数据库研究领域的一个热点.在过去30多年中,尽管传统数据库技术发展迅速且得到了广泛应用,但是它不能够处理在诸如网络路由、传感器网络、股票分析等应用中所生成的一种新型数据,即流数据.流数据的特点是数据持续到达,且速度快、规模宏大;其研究核心是设计高效的单遍数据集扫描算法,在一个远小于数据规模的内存空间里不断更新一个代表数据集的结构--概要数据结构,使得在任何时候都能够根据这个结构迅速获得近似查询结果.综述国际上关于流数据的概要数据结构生成与维护的研究成果,并通过列举解决流数据上两个重要问题的各种方案来比较各种算法的特点以及优劣.     

数据流挖掘方法研究

由于数据流不同于传统静态数据的特点,对其进行有效的分析和挖掘遇到了极大的挑战。本文对近年来数据流挖掘方面的进展进行了综述,介绍数据流的基本概念、数据流模型和对数据流的概要描述,总结数据流挖掘中常用的算法,最后结合其在不同领域中的应用对数据流挖掘的意义进行分析。     

数据流中基于事务链表组的频繁闭项集挖掘

挖掘频繁项集是挖掘数据流的基本任务.许多近似算法能够对数据流进行频繁项集的挖掘,但不能有效控制内存资源消耗和挖掘运行时间.为了提高数据流挖掘的效率,通过挖掘数据流中的频繁闭项集来减少挖掘结果项集的数量,并借鉴Relim算法和Manku算法,引入事务链表组作为概要数据结构,提出了一种新的数据流频繁闭项集的挖掘算法.最后通过实验,证明了该算法的有效性.     

数据流上具有数据遗忘特性的小波概要

动态地维护数据流的概要结构是数据流查询和挖掘等处理工作的基础.在许多数据流应用场合,数据的影响随时间衰减,流中数据被逐步遗忘,称为数据流的遗忘特性.在数据流概要的构造中,应体现这种特性.离散小波变换是一种应用得较多的数据流概要构造方法.将数据流的遗忘特性引入小波概要的构造中,提出了一种能反映数据流遗忘特性的小波概要结构:基于小波的分层遗忘概要,分别讨论了误差平方和及最大绝对误差两种误差度量标准下这种概要的构造方法.所进行的实验验证了该概要的有效性.     

一种基于四叉树的空间数据缓存策略

提出了以四叉树作为缓存数据结构,结合广泛应用的LRU和LFU算法,给出了一种高效的缓存策略—基于四叉树的空间数据缓存策略,并详细描述了缓存框架和缓存策略。提出的缓存策略充分考虑了空间数据访问所具有的时间局部性和空间局部性,兼有LRU和LFU算法的优点。最后设计了空间数据请求模型,通过实验对算法的有效性进行了验证。     

一种改进的加权随机抽样算法

为了构建传感器网络流数据的概要数据,给出一种改进的加权随机抽样算法：IWRS算法。该算法根据流数据变化的快慢程度,动态的对流数据加权,将权值做为数据项的键值,根据键值大小、skipping因子、退避因子对流数据进行抽样,解决了现有的抽样算法生成的概要数据与原始数据偏离大小不确定以及数据稳定度低的时候生成概要数据效率不高问题。并将该算法应用到深海平台监测系统中,与其他抽样算法相比,该算法在数据变化稳定的情况下能快速的生成概要数据,当监测到数据变化剧烈时,动态改变抽样方式,抽取的概要数据精确性高。     

流数据聚类模型变化检测策略.

流数据是动态的、不断发生变化的,如果能够及时发现流数据聚类模型的变化,并报告给用户发生了哪些变化,可以帮助用户制定出更好的策略。针对该需求,本文提出一种流数据变化检测策略,该策略充分利用簇统计信息CFT检测变化,比较变化后新聚类模型与原模型之间的差异,分别报告出每一个簇的具体变化,其时间复杂度为O（K2）,实验证明该机制能够较为直观报告出变化的结果。     

经验模态分解在数据流概要生成中的应用

由于流数据无限增长的特点,系统无法在内存中保存所有扫描过的流数据,因此数据流处理的关键是建立流数据的概要结构,以便随时能根据该结构提供数据流的近似处理结果,将重点讨论数据流的概要生成技术。先利用经验模态分解方法提取流数据的趋势,滤除数据中的噪声,再利用精确抽样方法实现概要的生成。利用提出的概要生成方法,内存中只需保存滑动窗口中多个段的概要信息。由于该方法中概要是基于趋势序列生成的,趋势序列较原序列平滑,序列中具有相同数值的元素增加,可以进一步节省存储空间。     

一种面向流数据频繁项挖掘的降载策略*

流数据产生速率具有不可预见性,当其速率超过系统处理能力时,部分数据元素不能被实时处理。降载技术是处理此问题的关键技术之一。分析了目前降载技术的不足,提出了一种面向挖掘流数据频繁项集的降载策略。该策略采用了基于元组出现频率的语义删除策略,优先删除出现频率相对较低的元组,从而有效解决了在挖掘流数据中的频繁项所遇到系统超载时所出现的问题,同时采用了根据流数据产生速率自动地控制是否启动降载策略,有效地解决了降载的适应性问题。最后,通过实验和分析,证明了该策略在流数据频繁项挖掘中有效性。