基于水车模型的时序大数据快速存储

近年来,随着物联网的高速发展,传感器部署的规模日益壮大。大规模的传感器每秒都会产生大量数据流,并且数据的价值会随着时间的流逝逐渐降低。因此,存储系统不仅需要能承受高速到达的数据流带来的写入压力,还需要以最快的速度将数据持久化,以供后续的查询和分析。这对存储系统的写入性能提出了更高的要求。基于水车模型的快速存储系统可以满足大数据应用场景下的高速时序数据流快速存储需求。该系统部署在高速时序数据流和底层存储节点之间,利用多个数据桶构建一个逻辑上轮转的存储模型(类似于中国古代的水车),并且通过控制每个数据桶的状态来协调数据的写入和落盘。水车模型将数据桶分配给不同的底层存储节点,从而将瞬时写入压力均摊到多个底层存储节点上,并借助多节点的并行写入提高写吞吐。水车模型被部署在单机版MongoDB上,并和分布式MongoDB进行了实验对比。实验结果表明,水车模型可以有效提升系统的写吞吐,降低写入延迟,并且具有良好的横向可扩展性。     

基于Kubernetes舵手集群系统的设计及实现

为了打破运维和开发之间的边界,彻底解决DevOps中交付和部署环节的困境,基于Kubernetes的舵手集群系统应需而生.系统采用Kubernetes容器编排、EFK日志收集、Prometheus监控告警、Ceph后端存储和基于Jenkins/Gitlab的CICD技术,设计并实现了具有源码一键部署日志实时收集...     

基于HBase的工业时序大数据分布式存储性能优化策略

在自动化的工业场景中,大量工业设备产生的时序性日志数据量呈爆炸式增长,业务场景对时序数据的访问需求进一步提升。虽然目前基于分布式列族的数据库HBase能够存储工业时序大数据,但由于未考虑特定业务场景中数据与访问行为特征的关联,现有策略无法较好地满足工业时序数据的特定访问需求。针对上述问题,基于分布式存储系统HBase,利用工业场景中数据与访问行为特征的关联性,提出面向海量工业时序数据的分布式存储性能优化策略。针对工业时序数据特点引发的负载倾斜问题,提出基于冷热数据分区及访问行为分类的负载均衡优化策略。使用逻辑回归模型（LR）对数据进行冷热分类,并将热数据分散存储在不同节点;同时,为进一步降低存储集群中跨节点的通信开销,以提升工业时序数据高维索引的查询效率,提出索引主数据同Region化策略,设计索引RowKey字段及拼接规则,将索引存放到与它对应的主数据相同的Region中。在真实工业时序数据上的实验结果表明,引入优化策略后的数据负载分布倾斜度降低28.5%,查询效率提升27.7%,验证了所提优化策略能够有效地挖掘特定时序数据的访问模式,合理地分配负载,降低数据访问开销,有能力满足对特...     

基于时序片段评价的数据分配算法

数据分配是研究数据如何分布到多个物理节点的NP-Complete问题.给出数据分配算法的数学模型,提出基于时序片段评价的数据分配算法--DATE.该算法利用数据在短时域访问量分布不均的特点,将多目标优化问题转化为单一目标求解,采用蜜蜂算法(collective Honey bee behavior)调整参数并反馈算法结果,以实现系统负载均衡.随机实验结果表明,DATE相比于同类Random,round-robin,Bubba算法在系统总时段均衡ET、系统时段内均衡值ES、系统最大波峰值EM 3个指标中表现更优.     

一种用于实现任意基数值时序逻辑的阈值存储电路

本文基于多值时序电路的次态方程和输出方程最小项展开式,提出了一种具有任意值输入、双轨二值输出的阈值存储电路设计方案,它和多值与或门配合,运用Disjoint代数能够设计出任意基数值时序电路.文中通过三值九进制计数器的设计,阐明了任意基数值时序电路的设计方法.     

时序数据库关键技术综述

随着工业物联网（industrial Internet of things,IIoT）的不断发展,越来越多的设备和传感器开始连接到网络中,产生了大量的时间序列数据（简称“时序数据”）,时序数据爆炸式的增长给数据库管理系统带来了新的挑战：持续高吞吐量数据摄取、低延迟多维度数据查询、高性能时间序列索引以及低成本数据存储.近年来时序数据库技术已经成为一个研究热点,一些学者对时序数据库技术进行了深入的研究,同时出现了一些专门用于管理时序数据的时序数据库,并且已经被应用在多个领域,成为工业物联网中不可缺少的关键组成.现有的时序数据库相关综述侧重于时序数据库的功能和性能比较,以及在特定领域中对时序数据库的选择建议,缺少对时序数据库持久化存储、查询、计算和索引等关键技术的研究,同时这些综述工作出现的时间较早,缺少对现代时序数据库关键技术的研究.对学术界时序数据存储研究和工业界时序数据库进行了全面的调查和研究,凝练了时序数据库的4类关键技术：1）时间序列索引优化技术;2）内存数据组织技术;3）高吞吐量数据摄取和低延迟数据查询技术;4）海量历史数据低成本存储技术.同时分析总结了时序数据库评测基准.最后,...     

XML数据查询的存储实现

XML正在迅速成为WWW上采用的信息交换、表示和存储手段之一，首先，本文基于OEM数据模型提出了离散的XML数据模式概念，并在此思想上发展出基于模式匹配的数据查询概念；接着探讨了保证高效查询的XML数据的存储方法；最后，给出了实验分析。本文的内容是我们的基于离散模式的XML数据库系(DISXDBS)的研发工作的查询存储部分。     

基于Kubernetes云平台的弹性伸缩方案设计与实现

容器技术可为多个业务需求及其依赖组件提供独立的应用资源,在现实生产环境中由于容器中的业务需求不断变化,使得与其对应的应用资源在线负载处于动态变化中,面临固定资源容量规划不能满足在线负载变化的困境。为解决该问题,设计一种基于Kubernetes云平台的弹性伸缩方案。该方案通过集成Prometheus监控系统来自定义指标与采集业务指标,并结合HPA、VPA等组件,实现包括自定义指标和不同维度伸缩方法相结合的最佳弹性伸缩方法。通过集成Grafana页面显示和报警等组件,实现实时查看弹性伸缩状态变化以及伸缩预警功能,以实时观测集群健康状态,使得集群操作更加友好、便于维护。实验结果表明,在不同压力测量测试下,该弹性伸缩方案具有随负载增加扩大集群规模的作用,能够增强应用集群的高可用能力。     

大数据存储平台必须具有弹性

目前,对于大数据的讨论很多,公认的看法是将大数据的系列问题归纳为:海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value),以及我们的对策。但实际上,大数据首先要考虑的应该是大——海量的数据规模。     

基于Kubernetes的云原生海量数据存储系统设计与实现

为应对云原生技术的日益发展与普及伴随的云上数据量的激增及该技术在性能与稳定性等方面所出现的瓶颈,提出了一种基于Haystack的存储系统。该存储系统在服务发现、自动容错与缓存方面进行了优化,更适用于云原生业务,以满足数据采集、存储与分析行业不断增长且频次较高的文件存储与读写需求。该存储系统使用对象存储模型来满足高频海量的文件存储,为使用该存储系统的业务提供简单而统一的应用程序接口,应用了文件缓存策略提升资源利用率,同时利用Kubernetes丰富的自动化工具链使该存储系统比其他存储系统更容易部署和扩展且更稳定。实验结果表明,该存储系统在读多于写的大规模碎片数据存储情境下相比目前主流的对象存储与文件系统均有一定的性能与稳定性提升。     

基于机载时序数据库的数据管理方案

随着航空机载产品复杂化、集成化、智能化的发展,机载数据急剧增加,对机载数据管理与应用带来巨大挑战。针对当前航空机载数据日益增长的管理与应用需求,提出了一种基于机载时序数据库的数据管理方案,构建机载数据统一存储模型,使机载各类设备与传感器产生的孤立数据更有层次、有组织地关联起来;同时,完善机载数据管控机制,基于机载数据库技术,对数据进行实时解析,从而降低机载数据地面处理耗时,进一步提升机载数据的分析与应用效能。     

基于Kubernetes应用的弹性伸缩策略

弹性伸缩是云计算的关键特征,它可以根据应用程序工作负载及时扩展计算资源以实现在高并发请求下应用的负载均衡.基于容器的微服务更应具有弹性伸缩功能从而在不同的工作负载条件下稳定运行.目前广泛使用的容器编排工具Kubernetes的弹性伸缩算法灵活性差,应对突发流量Pod会频繁进行扩展,并且扩展程度不能满足当前负载要求,会造成系统不稳定.针对这一问题,本文提出了一种自动缩放机制,将响应式扩展与弹性伸缩容忍度相结合,确保了系统的可靠性,大大提高了系统的灵活性,并具有很强的应用负载能力.实验测试表明,当系统面临大流量、高并发请求时,通过本文的方法实施弹性伸缩以后,失败请求率下降97.83%,保证了系统稳定性,能够很好的实现应用的负载均衡.     

数据存储 举足轻重

对于企业信息系统来说,数据是非常重要的。目前,企业需要存储的数据量越来越大,同时随着技术的发展,存储数据的手段越来越多。然而,企业对于数据存储有没有得到足够的重视呢？     

C#中实现链式动态存储的方法

对C#中实现链式动态存储的方法进行了研究，给出了一个链式动态存储的应用实例。对象变量引用本质上就是一种动态存储方法，在此基础上便能实现链式动态存储。链式动态存储能提高数据的操作效率，并能有效地管理内存和系统资源。     

一种改进的Kubernetes弹性伸缩策略

Kubernetes是目前主流的容器云编排和管理系统,其内置的伸缩策略是通过监测衡量指标并与阈值比较计算,从而实现伸缩的功能.该策略主要存在单一衡量指标和响应延迟问题:单一指标在衡量多种资源消耗的复杂应用时存在明显缺陷;响应延迟问题会造成应用在一段时间内的服务质量无法得到保障.针对上述问题,提出了一种改进的Kuber?...     

Kubernetes资源调度算法的改进与实现

Kubernetes是Google主导的容器编排引擎,其资源调度算法分为预选和优选两个过程.针对预选过程要遍历所有节点比较耗时的问题,改进的资源调度算法提出在选出满足条件的节点数量时直接进行优选而无需遍历所有节点,从而提高资源调度效率;针对优选过程只考虑了pod自身申请的CPU和内存使用情况,并且未考虑节点本身的资源利用率的问题,改进的资源调度算法综合考虑CPU、内存、网络、IO指标,通过实验验证了改进算法能适应更加复杂的互联网应用环境,进而提高集群的负载均衡效率.     

云存储服务端数据存储加密机制的设计和实现

云存储是一种新型的网络存储形式。随着云存储的广泛使用,云存储中的数据安全问题,如数据泄漏、数据篡改,也成了用户广泛关注的问题。云存储可以分为访问层、应用接口层、基础管理层和存储层,云存储安全可以分为访问层安全、应用接口层安全、基础层安全和存储层安全。为保证云存储中服务端数据存储的机密性,文章设计了数据存储加密机制,在基于云桌面的办公系统个人存储的应用环境中,实现了基础管理层和存储层加密机制。基于JAVA、JSP等技术,实现了基础管理层;基于Bash脚本等技术,实现了基础管理层与存储层的接口;基于开源项目TGT实现了存储层数据加密机制,保证服务端存储数据的机密性。     

数据存储的浅析

本文阐述了数据存储的定义、形式,分析了分级存储的优点和实现的难点,最后介绍了目前流行的存储平台构架和行业应用。     

基于帧频信号的图像存储时序控制方法

针对长时间服役光学设备图像存储系统性能退化和可靠性降低的问题,设计了新的图像存储系统结构。提出了一种基于帧频信号的时序控制方法,以帧频信号为基准驱动系统软硬件工作,结合秒信号、帧频信号与串口时间生成绝对时间,实现了四路独立数据流的同步采集,通过两级缓存机制保证数据采集-打包-存储之间的速率冗余匹配,对图像转移时间误差进行了修正。检测结果表明,系统时序得到了有效控制,长时间采集存储数据稳定可靠不丢帧,时间同步精度优于1ms。     

XML的生物信息数据的存储与实现

生物信息数据文件数量非常庞大,并且数据格式不统一。XML作为信息交换的格式可以方便地转换为其他格式,且XML文件中的数据可以方便地存储在数据库中。使用XML作为生物信息数据的存储格式,不仅充分利用了XML在格式转换方面的优势,更方便了对生物信息数据的存储管理和查询,为有效数据信息的提取和进行数据挖掘提供了前提。