面向轨迹流数据的索引构建与存储方法研究

移动社交网络等基于定位服务应用的快速发展导致时空数据流规模呈爆炸式增长,要求底层数据存储系统支持高吞吐量轨迹数据的插入以及空间和时间约束下的低延迟查询,而现有HBase等数据存储方案因索引更新开销过高无法满足该需求。针对时空数据流的应用特性,提出一种数据流内存索引及存储方法。根据键值和时间范围对历史与增量数据元组进行物理分区,将其以模板B+树的形式写入内存并构建索引以增强快速写入和查询能力,同时对数据进行压缩存储提升索引效率。在此基础上,采用多级索引根据数据分区将复杂查询分解为可独立处理的子查询。实验结果表明,与传统HBase、WaterWheel等方法相比,该方法在不同数据插入和查询条件下的数据存储性能与查询效率更优。     

MongoDB在呼叫中心系统中的应用

MongoDB是一个可扩展,高性能,无模式,基于文档存储的非关系型数据管理系统。它的面向文档存储的特点使得MongoDB可以支持松散结构数据的存储;弱一致性特点使得MongoDB可以保证更快速的用户访问速度;高性能特点使得MongoDB可以更好的支持大数据量的处理。呼叫中心的不断发展对数据存储系统提出了新要求:大数据量+松散数据结构+高访问速度,因此引入非关系数据库MongoDB作为呼叫中心部分应用数据的存储系统十分合适。本文首先对MongoDB进行了简要介绍,然后详细展示了MongoDB的实施部署方法,最后给出了MongoDB在呼叫中心系统中应用的一个设计思想。     

基于负载均衡的多源流数据实时存储系统

物联网感知流数据多以时序数据为主,具有数据量大、连续到达、多来源等特点。现有的基于HBase的交通流数据存储系统在数据写入并发量大时,仍然存在存储效率低与系统可用性不高的问题。针对该问题,设计并实现了基于负载均衡的多源流数据实时存储系统。该系统将数据代理扩展为集群架构,提出了一种基于负载均衡的任务调度算法,实现了任务与数据代理之间的按序匹配,使数据代理集群负载均衡地处理任务,实现数据并行存储到HBase数据库中。实验对比结果表明:该系统使各数据代理的数据分配比例维持在0.3~0.4,同时以约1.5倍于单数据代理的速度将数据写入HBase数据库。     

高速数据采集系统中的存储瓶颈问题及其解决

高速数据采集系统中的实时数据存储是一个技术瓶颈。本文介绍了一种基于PLX PCI9656的PCI高速数据连续实时采集存储系统，连续不间断采集存储速率达130MB／s以上，并能将连续的数据流实时写入硬盘。本系统使用工控服务器作为计算机平台，采用SCSI硬盘组成RAID0磁盘阵列，实现简单，工作稳定可靠。     

大数据云存储的技术优化的仿真分析北大核心CSCD

在对大数据云存储的关键技术优化的研究过程中,云数据数量呈现几何指数增长,数据的多样性引起存储过程存储率下降。当前的存储过程以云端随机存储为主,没有考虑海量随机数据存储与后期访问的关联性。导致传统的存储过程在后期访问时,效率低。提出改进随机游走算法的大数据云存储的方法,把存储过程融合于定向随机游走规则,将云存储系统抽象为一个二维随机图,并将系统中的各节点表述为图中的各个顶点,促使汇聚节点收集到的源数据包传递至云存储系统中的部分节点上,将云存储数据流中的历史大数据依据时间的先后排列为时间戳序列,并对历史大数据进行多层递阶抽样存储,通过设置不同的大数据抽样比例保证了大数据存储新样本的随机性,有效地完成了大数据云存储的关键技术优化。仿真结果证明,改进随机游走算法使大数据云存储访问效率增加。     

基于HBase的工业时序大数据分布式存储性能优化策略

在自动化的工业场景中，大量工业设备产生的时序性日志数据量呈爆炸式增长，业务场景对时序数据的访问需求进一步提升。虽然目前基于分布式列族的数据库HBase能够存储工业时序大数据，但由于未考虑特定业务场景中数据与访问行为特征的关联，现有策略无法较好地满足工业时序数据的特定访问需求。针对上述问题，基于分布式存储系统HBase，利用工业场景中数据与访问行为特征的关联性，提出面向海量工业时序数据的分布式存储性能优化策略。针对工业时序数据特点引发的负载倾斜问题，提出基于冷热数据分区及访问行为分类的负载均衡优化策略。使用逻辑回归模型（LR）对数据进行冷热分类，并将热数据分散存储在不同节点；同时，为进一步降低存储集群中跨节点的通信开销，以提升工业时序数据高维索引的查询效率，提出索引主数据同Region化策略，设计索引RowKey字段及拼接规则，将索引存放到与它对应的主数据相同的Region中。在真实工业时序数据上的实验结果表明，引入优化策略后的数据负载分布倾斜度降低28.5%，查询效率提升27.7%，验证了所提优化策略能够有效地挖掘特定时序数据的访问模式，合理地分配负载，降低数据访问开销，有能力满足对特...     

面向科研领域的分布式对象存储系统

随着科研工作的推进, 科研数据出现了海量的增长, PB级科研数据需要高效、稳定的存储系统. 传统的数据存储方案存在资源利用率差、集群扩展性能低以及用户界面操作不友好等问题, 严重限制了数据在科研场景下的有效利用. 依托中科院地球科学大数据专项, 本文设计并实现高效的存储系统i-Harbor. 该系统以对象存储系统为核心架构, 以开源的Ceph分布式存储系统和MongoDB数据库作为对象数据和元数据的存储载体, 设计通用的基于HTTP和FTP协议的数据接口, 同时利用多副本和纠删码技术消除单点故障, 配合Zabbix集群监控系统, 实时定位平台参数以及故障, 提高平台容灾性和安全性. 此外, 基于底层分布式结构的特点, 集群可以随意添加存储节点, 提高了平台的扩展性.     

新型自动分布存储系统在LTE空口数据采集上的应用研究

对基站为维持基础的网络覆盖可能导致的能量资源浪费,评测新型自动分布存储系统在LTE空口数据采集上应用效果。在以太交换机内随机挑选LTE空口数据,通过一元线性回归法预测采样点数据并评测,明确LTE空口数据特性并依变化差异大小动态调整采样点间的间隔时间,依采集结果拟定出需要使用的间接参数与直接参数设定传感器节点与存储数据包,判定传感器节点内的采集数据存储为数据包的距离评测数据大小,实现采集数据在存储系统中应用。实验证明,新型自动分布存储系统,能够在LTE空口数据偏小时进行高并发存储和访问,以期有效解决资源问题。     

面向云存储的非结构化数据存取

非结构化数据呈爆炸态势增长,现有存储技术在I/O吞吐能力、可扩展性及易管理性等方面亟待改进。存储系统以云存储和可靠性理论为基础,建立了非结构化数据的分布式存储模型,并设计了可靠度函数。采用分布式关系数据库管理系统(RDBMS)作为存储底层,将非结构化数据直接存储于数据表中,实现了非结构化数据和元数据的分离式存储和统一管理,进而提升了存储系统性能。相对于集中式存储,新系统具有较高的可用性。仿真结果显示,存储系统可靠度高且易于扩展。该分布式存储系统可应用于动态开放计算环境,提供效能较高的云存储服务。     

基于千兆以太网的高速智能存储系统设计

为了准确、完整地记录导弹在发射与飞行过程中的各种状态参数，并且对存储数据进行高速回收处理，设计了一种基于千兆以太网的高速智能存储系统。该系统以FPGA为控制中心，将PCM数据码流接收后经过编码解析存入Flash,最后通过千兆以太网、RS422多模式接口将数据快速回传至上位机显示。经试验验证，该智能存储系统具有传输速率高、抗干扰能力强、可靠性高等特点，能够满足弹载数据存储测试的要求，目前已成功应用于某弹射试验弹弹载数据测试中。     

基于PCI和LVDS的高速数据存储系统的设计

针对某系统图像数据量大、传输速率快的特点,提出了采用PCI总线协议完成PC与高速数据存储系统之间的通信,利用LVDS总线协议传输数据并进行混合编帧的解决方案。为提高数据存储速率,使用Flash交叉双平面页编程技术,将写入速度提高到30 MB/s,有效地满足了图像高速存储的要求。针对数据的码率匹配,通过构建片内FIFO缓存来实现。测试结果表明,所设计的数据存储系统能够稳定地接收并存储图像数据,而且具有很高的可靠性。     

大容量数据采集存储系统设计与实现

为解决现有数字示波器和数据存储记录仪对复杂系统覆盖性和可靠性测试不适用问题,设计了基于PCIe总线架构的大容量数据采集存储系统,保证多路高速测量时完整保留测试数据便于后续分析和回顾。给出了基于主控单元片上系统的硬件框架和PCIe总线存储架构设计,多种数据存储方式满足不同数据量的需求。设计了系统通信协议,HPS与FPGA之间的控制指令和交互方式。对数据存储流程中HPS获取采样数据过程,HPS将采样数据写入磁盘过程,以及数据写入磁盘的数据格式进行了设计。测试结果表明,系统硬件、软件设计方案可行,运行稳定,在相同采样速率和分辨率下能存储记录数据量远优于现有数字示波器和数据存储记录仪,目前已投入多款产品的研制和生产过程,取得良好测试效果。     

数据高速实时存储系统技术

介绍了一种采用高速实时存储技术的数据存储系统,给出了该数据存储系统的主要组成及工作原理,并且详细论述了实现高速存储系统的高速处理通道的设计,主要包括硬件架构的搭建和软件流程的描述。在实际的工程应用中,该系统通过高速处理通道完成了对数据的高速存储和数据回放等功能,实际的数据存储速率达到了设计的要求,并且较好地降低了整个系统的资源占有率。最后,给出了基于 PCI 和 PCI-X 总线通道的实验结果。     

管道流量泄漏监测的网络数据流分段存储模型的实现

针对管道流量泄漏及网络数据流存储面临的瓶颈问题,将网络数据流分段存储设计应用于管道流量泄漏监测中,提出同时保持时序性和属主性的网络数据流分段存储模型.模型在内存中采用基于弱时序性的高速缓存数据结构,提高网络数据流实时存储的效率;在磁盘中采用基于多级索引结构的数据流生成树结构,提高基于时序性和属主性的检索效率.仿真结果表明,模型显著提高网络数据流的实时存储能力,有效降低索引数据的信息量.     

基于存储结构重配置的分布式存储系统节能算法

作为云计算底层核心基础设施,分布式数据存储系统是各种云计算服务的基础,是云计算重要的组成部分.然而随着系统规模的不断扩大以及设计时对能耗因素的忽略使其暴露出高能耗问题.由于存在数据可用性要求,使其并不能简单采用已有节能技术解决能耗问题,保证数据可用性成为设计分布式存储系统节能算法的前提.对系统与数据的可用性进行了建模,并通过对存储结构与机制、节点状态与数据块可用性之间的关系的研究提出构造数据块可用性度量矩阵解决数据可用性完全覆盖问题.定义了分布式存储系统的节能模型,将RACK划分为Active-Zone与Sleep-Zone两个存储区域,根据不同数据的访问频率与规律计算活动因子以配置数据的存储区域,通过数据中心负载规律适时对Sleep-Zone区域中的服务器进行休眠处理以达到节能的目的.实验结果表明:算法在适应数据访问规律与可用性保证前提下,能够提高分布式存储系统的能耗利用率,并且当系统负载与数据平均活动因子越低时算法节能效率越高.     

基于对象分组的集群存储系统可靠性分析模型

可靠性问题是研究大规模集群存储系统的一个重要方面。借鉴RAID的方法,提出基于对象分组在算法一级实现数据冗余分布的高可靠数据对象布局算法。在数据对象和存储节点失效时,利用冗余数据重构数据对象和存储节点,有效保证存储系统的高可用性。采用马尔可夫激励模型对存储系统进行定量的可用性分析,计算结果表明该方法是有效的。     

基于纠删码技术的云存储数据块部署方案

针对云存储系统中因忽视集群中存储节点之间的差异而引起的存储代价过高、可靠性较低、节点负载能力不足等问题,提出了段排序交换算法（FSSA）.首先对数据块部署问题进行数学建模;然后根据各个节点的负载情况进行分段,并在各个分段中依据数据可靠性的需求对节点进行初步选择;最后根据数学模型中对目标函数的分析在分段选择的结果中选取适当的节点进行数据部署.仿真结果表明,采用FSSA算法可以在保证数据存储可靠性的基础之上,降低数据存储代价、增强系统负载均衡能力.     

基于ZYNQ的eMMC雷达数据存储系统设计

为了满足机载雷达数据存储系统对数据存储器大容量、读写速度快的需求,提出一种基于ZYNQ的eMMC雷达数据存储系统设计方案。该系统以ZYNQ-7000系列芯片为主控芯片,通过PL端对接收的雷达数据和GPS数据进行解析和组帧,将乒乓缓存技术与AXI4总线结合后把组帧后的数据传输到PS端的DDR中缓存,然后写入eMMC存储单元,存储完成后进行回读验证数据。实验结果表明,存储数据速度可达到60 MB/s,系统运行稳定,存储数据完整。相比于其他雷达数据存储系统,该系统具有高容量、集成度高、存储速度快的优点。     

无线传感器网络节点的数据存储管理系统

设计一种无线传感器网络节点本地数据存储系统,通过建立合理的逻辑结构,对存储资源进行分区划分,使之达到最大化利用。给出数据分组存储的方法,在存储过程中进行快速的址定位,有效地减少对存储介质的访问频率和访问存储介质带来的能量损耗,增加安全性检测机制,保障数据的一致性。     

回归的能源有效网络大数据流汇聚算法研究

为了降低传感器网络数据流汇聚时的能源消耗,提出了一种基于回归的能源有效数据流汇聚算法;首先,将传感器节点分为活跃节点和能源有效节点;然后,以活跃节点为中心点将所有节点进行聚类,并应用回归方法通过活跃节点的数据流对能源有效节点的数据进行预测;接下来,通过节点预测值的累积误差不断修正活跃节点集;最后,应用活跃节点的数据流信息对能源有效节点的数据进行预测;实验表明,提出的算法与其它相关算法相比具有更好的预测准确性。