基于HBase的交通流数据实时存储系统

交通流数据具有多来源、高速率、体量大等特征,传统数据存储方法和系统暴露出扩展性弱和存储实时性低等问题.针对上述问题,设计并实现了一套基于HBase交通流数据实时存储系统.该系统采用分布式存储架构,通过前端的预处理操作对数据进行规范化整理,利用多源缓冲区结构对不同类型的流数据进行队列划分,并结合一致性哈希算法、多线程技术、行键优化设计等策略将数据并行存储到HBase集群服务器中.实验结果表明:该系统与基于Oracle的实时存储系统相比,其存储性能提升了3~5倍;与原生的HBase方法相比,其存储性能提升了2~3倍,并且具有良好的扩展性能.     

高速海量数据的接收和存储系统的设计与实现

介绍了一种海量数据实时高速接收与存储系统的软硬件平台设计方案,详细论述了多线程技术和双缓冲区理论在数据实时接收存储数据领域的实现方法.实践证明,该方案可以有效地提高计算机系统接收与存储数据的效率、降低数据的丢失率,成功解决快速准确地实时接收与存储海量数据这一难题.     

云存储环境下的用户数据安全机制研究

0前言当大数据和云计算逐渐深入到生活的方方面面,对于云存储我们也不再陌生。由于云存储系统的方便性和存储数据的空间较大,因此越来越多的用户开始广泛应用云存储系统进行数据的保存。但是,云存储系统因为其系统是基于合约的服务模式、以及服务器的可信度存疑等原因,在云上进行保存的用户数据就会遇到如何保障数据安全的重要问题。提供良好云存储服务的前提就是保障用户数据的安全性,并能够确保用户数据不会出现丢失现象,进而能够实现最终的安全共享,这是当前需要进行深入研究     

利用ADPCM进行网络环境下实时多点语音通信

目前网络语音通信应用逐步增多,但效果还不甚理想。该文阐述了应用音频处理API函数、ADPCM编码调制技术和UDP协议进行网络环境下实时多点语音通信的方法,并给出其实现过程。实现机制为发送端利用低层音频服务的回调机制对音频数据块进行动态循环处理,防止了由于系统在写满语音输入缓冲区后,新、旧缓冲区交换时有一定的间隙而产生的输入数据泄漏。在传输之前采用ADPCM编码,有效地利用了现有带宽,传输后经缓冲解码再进行播放,尽可能地恢复原始语音信号。由于采用ADPCM编解码技术,实现了在各种网络环境下进行实时多点语音通信,效果较为理想。     

基于USB主机结构的数字录音技术研究

介绍了一种基于USB主机结构的数字录音系统,提出了一种将大容量数据存储技术应用于数字录音系统的新方法,重点介绍了语音PCM编码电路和USB-HOST接口电路的硬件设计、由底向上的USB主机软件设计框架以及实时语音文件的存储。     

HPC海量存储系统Pass-Through访问策略研究

为了解决海量信息处理中实时访问中的"I/O墙"的问题,提高海量信息分布式存储系统的性能,提出了一种基于高性能计算(high performance computing,HPC)的存储部件新型访问策略.首先,分析传统访问模型存在的问题;其次,研究存储部件直通路模式的工作机理,建立存储系统分解为多层次、分布式的模型,根据不同的层次和映射策略实现存储空间物理地址、缓存地址、存储系统逻辑空间地址的连续映射;第三,分析直通路访问模式下的存储路径时间开销;第四,在模拟环境下存储部件访问的性能测试,在实际采用该策略的应用系统中进行验证.通过验证测试结果表明,该方法能有效提高存储系统的性能,能够不断满足海量信息处理实时需要.     

基于无线和光纤的冲击波超压遥测存储系统

针对大威力常规武器的特殊爆炸环境和普通测试冲击波系统安装布置难和无法实时获得数据等问题,提出了一种遥测存储的方法,遥测存储系统包括上位机、无线／光纤模块和智能探测头三部分。智能探测头测得数据后存储起来,同时上位机也可以控制探测头把测得的数据实时传递出去。实验表明：这种遥测系统实验时可以很好地完成数据存储和实时传输的功能,并有抗干扰能力强、误码率低、操作方便、布设简单、灵活性高、数据可靠性高等优点,对以后;中击波的多点测试研究     

基于USB海量存储的机车轴温监测装置设计

本文针对传统机车轴温监测装置的数据存储容量、数据记录、数据转储等问题,设计了一种新型的基于USB海量存储的轴温监测装置。系统以STM32F103VET处理器、18B20温度采集电路和USB储存电路为核心,在传统轴温监测装置基础上增加了485通讯电路和语音报警电路,实现了对机车轴温的实时监测、记录和报警功能。     

基于CH378嵌入式存储系统设计

随着军事工业飞速发展,高速数据存储设备成为导弹测试领域不可或缺的一部分。通过对导弹测试领域中现有数据存储设备研究发现当今存储系统存在传输速度低、存储容量小、可靠性差、数据易丢失、严重依赖PC机等缺点,首次提出以U盘作为存储介质用于某型号导弹参数测试领域,以最新的USB串口芯片CH378来设计读写U盘,并独特运用FPGA读写大容量的FLASH构成存储系统的数据缓存部分这一设计理念,最终以STM32F103VE单片机控制CH378将缓存数据写入U盘的设计方案;文中详细介绍了基于CH378的嵌入式存储系统软硬件设计,最后通过软件测试U盘存储速度并用信号发生器模拟传感器信号输出,对比U盘和FLASH中数据并对数据解码分析,验证系统达到高速可靠存储等设计要求。     

分布式存储系统中自适应纠删码的研究综述

随着海量存储系统的发展和在复杂环境中的应用,存储系统所面临数据丢失的风险也不断提升,因此存储系统中数据的可靠性受到了严重的挑战,成为了当前学术界和工业界关注的一大热点。为了解决该问题,海量数据存储系统通常使用具有低存储成本的纠删码技术。海量数据存储系统需要满足海量用户复杂多变的存储需求,以及提供高可用的存储服务,而这给海量数据存储系统中纠删码技术带来了关键性科学问题,即,纠删码的存储扩展性能较低与频繁变化的存储扩展需求之间的矛盾。为此,针对基于纠删码的海量数据存储系统,围绕存储扩展和数据修复的性能开展了一个综述性的研究。首先介绍了当前典型和常见的具有自适应特性的纠删码技术的发展现状,然后从评价纠删码性能的各项重要指标的角度详细地对比和分析了现有的纠删码技术,最后指出了现有自适应纠删码的不足和可能的改进见解。