工业实时数据库过程数据存储的研究与应用

过程数据是一种丰富的信息资源,过程数据存储的主要目的是为了满足某些应用软件（如趋势图软件）对实时数据的需求以及用户对历史数据的查询。在福大自动化公司开发的实时数据库软件基础上,主要介绍以内存数据库和磁盘历史数据库来存储实时历史数据,重点研究过程数据的存储设计和存储结构。最后,由工程实例给出了存储系统的功能应用。     

一种磁盘历史数据库模型研究

为解决流程工业中过程历史数据的存储以及大量数据的快速查询问题,提出一种基于关系数据库的磁盘历史数据库模型。在数据存储方案设计中,将关于位号和数据采集接口的静态信息存储在关系数据库中,历史数据以文件形式存放,采用三重二级缓存机制避免频繁访问磁盘,并使用经典的SDT算法对实时数据进行压缩存储,降低存储成本。数据查询方案采用三级索引文件结构,即总索引文件、二级索引文件和位号索引文件,提高查询效率。该磁盘历史数据库的第一版已经成功实现,应用结果表明,数据存储方案和查询方案的设计是合理的,100个位号的查询时间约为500 ms。     

面向电气设备在线监测的无线传感器网络即时通信系统

在无线传感器网络应用于电气设备在线检测中,监测网络对数据的实时查询和管理是实现电气设备运行状况及故障实时监测和诊断的关键问题。本文给出了基于VisualC++的即时通信系统的设计和基于VisualC++数据库编程技术的系统数据库设计。实验结果表明该即时通信系统实现了传感器数据的实时采集和动态显示,以及数据的实时存储和历史数据的查询。     

实时数据库主动计算的设计与实现

针对工业生产过程的优化控制和历史数据查询中的计算需求,结合实时数据库数据采集和数据存储,设计并实现了实时数据库的主动计算。在实时数据库中使用主动计算,既可以实时获取计算结果值进行实时的优化控制,也可以在后续条件查询中直接获取计算结果,从而大大提高查询效率。     

传感数据存储结构设计与应用优化

对车联网环境下车载终端传感数据存储结构设计与优化问题进行了研究。借助于MySQL数据库插件式存储引擎体系结构的特点,在进行实时数据库、历史数据库、归档历史数据库设计时分别采用不同的存储引擎的方法,力求使得实时数据响应时间和历史数据存储空间均达到比较理想的效果。经过在同等条件下对MyISAM、Archive存储引擎的实验、比较、分析和测试,表明在设计传感数据存储结构时正确选择数据库引擎,是满足系统响应时间和存储空间要求的前提和基础。对于实时传感数据采用Memory存储引擎可保证系统的实时性要求;对大量历史传感数据采用Archive存储引擎不但可以大量压缩存储空间而且可获得较理想的响应时间,结合项目实践总结出在多数据库引擎融合情况下应用优化的原则。     

用VC实现PHD的历史数据存储

针对石化企业MES系统中的历史数据库部分,介绍了用VC实现从PHD实时数据库到ORECLE的历史数据存储;在石油炼油与化工运行系统(MES)的实施中,PHD实时数据库是系统的一个模块,通过自带的RDI(实时数据接1:2)连接DCS和PLC等数据采集设备,并通过PHD—PHD的数据采集方式实现了对大量重要的实时生产数据的采集、加工和处理以及对大量的历史数据的长期存储,并能提供多种访问PHD服务器数据的方式。论述了PHD实时数据库的数据采集方式、数据存储和数据处理。介绍了PHD Server访问数据的主要方法,并提出了应注意的几点问题。     

一种实时数据库数据存储结构的研究

为了适应国产化指挥显示控制系统中对大批量过程数据的实时快速存储管理的需求,结合实时系统技术和数据库技术,在自主研究设计的力数实时数据库系统的基础上,研究设计了适合当前背景的内存数据的存储结构、磁盘历史数据的存储结构及数据模型,它能够更好地满足当前指挥显示系统的实际需求。     

HBase在自动站历史数据存储中的研究与应用

自动站观测数据在气象业务和科研工作中具有重要的价值,经过多年的发展,气象部门积累了大量的自动站观测数据,现有的传统关系型数据库无法满足对历史自动站数据的快速查询与分析.基于对HBase分布式数据库的研究,建立了自动站数据在HBase数据库中的表结构,完成了自动站历史数据的批量入库,实现了历史数据的快速查询和导出功能,满足了科研人员的业务需求.     

组态软件中的历史数据处理过程

实时数据库中历史数据是系统定时从实时数据库中采样,保存到历史数据库中的数据,用户需要时可随时从历史数据库中访问历史数据。历史数据库包含内存历史数据库和磁盘历史数据库。内存历史数据库关注的是测点近期数据的组织方式;磁盘历史数据库管理的对象是历史数据文件和管理信息文件。本文描述了磁盘历史数据库的文件结构、缓冲区进行了描述,并阐述了磁盘历史数据库的实现技术。     

基于Neo4j不确定性数据处理技术的研究

不确定性是数据的本质特征,对不确定性数据的研究得到了越来越多领域的关注。在总结当前处理历史数据不确定性方法的基础上,针对缺乏处理不确定性历史数据的语义框架问题,基于Neo4j图数据库建立用于处理不确定性历史数据的通用数学模型。该模型以双时态模型、概率模型等为依托,整合了历史数据的时间、不确定性与世系三个方面。并基于Python语言实现了具有CRUD基本操作的存储系统,可动态增加节点之间的关系、存储和检索历史数据、实现了不确定性数据的筛选查询和模糊查询。通过关系型数据库与图数据库中数据的存储方式及存储系统的查询效率对比实验表明,所提出的数学模型扩展性更强,实现系统查询效率更高,在处理大规模不确定性数据的存储和检索方面优势更加明显。     

基于国产化的煤矿安全监控系统联网平台设计

现有的煤矿安全监控系统联网平台主要基于国外公司软硬件设备构建,对该平台进行国产适配,以响应国家信息安全自主可控的战略目标号召,设计了基于国产芯片、国产操作系统、国产数据库和国产中间件的煤矿安全监控系统联网平台。该平台的软硬件均适配国产化软硬件环境,同时搭配少量Java生态圈的开源框架。服务器和终端机CPU均采用飞腾处理器,打印机采用立思辰打印机;服务器操作系统采用银河麒麟,终端机操作系统采用统信;数据库采用开源内存数据库Redis、国产关系数据库达梦和开源列式存储数据库HBase;中间件采用东方通的TongLINK/Q和TongWeb;办公套件采用金山WPS,浏览器采用Firefox。利用内存数据库Redis建立实时数据缓存区,实现热点数据高效访问;基于达梦数据库性能指标,通过数据库表分区等模式进行存储结构设计;基于列式存储数据库Hbase设计历史数据存储系统,实现历史数据回溯性分析。现场测试结果表明,该平台数据传输延时小于10s,实时数据查询耗时为240～300ms,支持历史采样数据秒级回溯,能够满足煤矿监管监察国产化的应用需求。     

寿险核心业务系统保单版本的数据存储模型

本文主要就保险核心业务系统保单的数据库存储问题作一些分析,提出了一个比较合理的数据库存储结构来满足千万保单包括其历史数据的存储以及历史数据的查询。     

基于融合数据库的海量传感器信息存储架构

在物联网、工业监控等系统中,庞大规模的传感器每时每刻都在产生大量的数据。实时数据库在处理高时效性数据方面具有较强的优势,但是在处理大规模传感器数据方面存在着存储量低、不便于扩展的弊端。而HBase在处理海量数据方面具有高读写性能、高扩展性、高可靠性和高存储量的优势。通过将实时数据库与HBase相结合,设计并实现了基于融合数据库的传感器信息存储架构。该架构采用多租户机制,对HBase写入进行了优化,将原来分散的传感器数据集中式存储,并把传感器元数据与历史数据分离存储,同时维持了实时数据库原有的查询、数据组织结构的特点。经过实验验证,该架构具有较高的读写性能以及良好的可扩展性,有效避免了Region写入热点,实现了集群负载均衡。     

基于BD结构的历史数据流存储与查询

实际应用中,人们往往不仅需要近期数据流,还需要结合大量历史数据流来共同解决问题。研究表明,处理大量历史数据流时,传统数据库索引技术(如B+树)不能提供高的存储利用率和查询效率。针对任意时间段历史数据流的存储查询问题,提出一种基于BD结构的存储与查询方法。该方法将BDTree和BDHash相结合,能有效降低BDTree的高度,减小索引项的规模,同时可以避免数据结点规模过大。在此基础上,研究了部分扩充策略以解决数据插入失败问题。理论分析和实验结果表明,该方法能提高存储空间利用率和查询效率,可以有效应用于历史数据流的存储和查询。     

智能超市中在线与离线RFID数据仓库技术研究

本文通过分析超市环境RFID数据管理的特点,提出了在线数据处理与离线数据存储相结合的数据仓库模型,实现智能超市中的RFID数据管理。使用内存数据库管理物品的最新信息,使频繁的状态更新在内存中完成,提高了实时查询的速度。利用磁盘数据库的大容量存储历史数据,支持对离线数据的查询。     

一种工业分布式实时数据库系统的设计与实现

为了满足企业中大型联合控制系统(如千万吨炼油和百万吨乙烯ODS系统、大型SCADA系统核心数据库、大型电力信息系统SIS等大型应用)对实时数据和历史数据查询的点数规模需求,设计了一种分布式实时数据库系统。该系统通过分布式通讯平台,确保了多台实时数据服务器可以分布式部署在各种复杂的网络环境;基于哈希表的数据点分配,确保了实时数据库运行时能快速转换数据点的逻辑位置到物理位置;分布式文件存储系统确保了实时数据库系统可以连续保存多年的工艺数据,而不必担心数据存储的可靠性、存储空间耗尽等问题。     

文件映射在DCS实时历史数据库中的应用

该文通过文件映射机制提出了集散控制系统的实时历史数据库查询历史数据的文件处理方案,利用文件映射机制在大型文件处理和频繁读写文件中的优势[4],提高了DCS实时历史数据库对历史数据文件的处理效率,缩短了查询历史数据的时间。     

基于OPC UA的历史数据存取

论文以OPCUA技术为基础,设计了一种文件结构作为历史数据存储器。同时,在符合OPCUA规范定义的条件下,通过存储过程、存储方式和查询过程三部分给出一种历史数据的存取机制,以便客户高效地处理历史数据。最后,通过实验用程序实现数据存取模拟,并对存储和查询性能进行了测试。     

一种基于环保大数据的存储模式及数据导入设计与实现

为实现生态环境综合决策科学化,利用大数据技术及传统数据库的结合,设计一种混合存储结构。既利用Hbase在大规模环境质量监测数据的高可拓展性、高可靠性的数据存储能力,又利用关系型数据库My SQL提供的强大SQL查询语言以及数据多维分析能力,实时统计分析与多维展示最近一段时间内环境质量监测数据。实验结果表明,所用方法与传统的手工记录查询方式及单一数据库查询方式相比,有效提高了数据存储规模及数据查询速度。     

海量气象数据实时解析与存储系统的设计与实现

气象数据是一种典型的非结构化数据,在实际应用中其日增量达数十TB,基于关系数据库和传统文件系统的解析、存储与访问模式已成为制约天气预报系统信息化发展的瓶颈之一。为满足全国天气预报平台MICAPS用户对实时数据的及时、快速查询,介绍了能够7*24小时稳定工作、支撑数十TB/天的数据实时解析系统。根据气象数据的多维模型和用户行为,采用非关系型分布式Key-Value数据库,设计实现了高性能海量数据存储系统。实践证明,数据实时解析系统和基于分布式非关系型KeyValue数据库的存储系统能有效满足海量实时气象数据存储、查询和应用需求。该系统已成为中国天气预报业务流程中的核心系统,体现了优异的功能和性能。