历史数据实时压缩方法研究

在开发实时数据库中,对历史数据的存储和管理非常重要,由于大量的数据存储,需要高效的历史数据压缩算法。文章基于均方误差的设计思想,提出了一种新的历史数据压缩算法、给出其详细步骤,并和OSI软件公司开发的旋转门算法进行比较。仿真结果表明,该文提出的新压缩算法具有更高的数据压缩率,降低了测量误差对数据压缩影响。     

一种基于双历史站的数据库存储结构的设计与实现

在DCS系统中,历史站承担着历史数据的收集、存储以及查询功能,而实时和历史数据库存储结构的设计则是组态软件的核心技术。设计了一种基于双历史站的实时和历史数据库存储结构的设计和实现方法,分别介绍了系统体系设计、数据采集、实时数据数据库设计、历史数据库设计、数据同步策略、历史数据库对外接口等。该系统实时性高、存储空间节约、查询速度快,已经广泛应用于多个领域的工业控制系统。     

传感数据存储结构设计与应用优化

对车联网环境下车载终端传感数据存储结构设计与优化问题进行了研究。借助于MySQL数据库插件式存储引擎体系结构的特点,在进行实时数据库、历史数据库、归档历史数据库设计时分别采用不同的存储引擎的方法,力求使得实时数据响应时间和历史数据存储空间均达到比较理想的效果。经过在同等条件下对MyISAM、Archive存储引擎的实验、比较、分析和测试,表明在设计传感数据存储结构时正确选择数据库引擎,是满足系统响应时间和存储空间要求的前提和基础。对于实时传感数据采用Memory存储引擎可保证系统的实时性要求;对大量历史传感数据采用Archive存储引擎不但可以大量压缩存储空间而且可获得较理想的响应时间,结合项目实践总结出在多数据库引擎融合情况下应用优化的原则。     

基于工控组态软件的过程数据抽去方法

讨论了工业控制计算机系统中的过程数据抽取技术,利用工控组态软件内置的脚本程序,实现将过程数据同步或分批保存至远程数据库,提出了基于组态软件的实时数据抽取和历史数据抽取方法,以及独立抽取方法.     

用VC实现PHD的历史数据存储

针对石化企业MES系统中的历史数据库部分,介绍了用VC实现从PHD实时数据库到ORECLE的历史数据存储;在石油炼油与化工运行系统(MES)的实施中,PHD实时数据库是系统的一个模块,通过自带的RDI(实时数据接1:2)连接DCS和PLC等数据采集设备,并通过PHD—PHD的数据采集方式实现了对大量重要的实时生产数据的采集、加工和处理以及对大量的历史数据的长期存储,并能提供多种访问PHD服务器数据的方式。论述了PHD实时数据库的数据采集方式、数据存储和数据处理。介绍了PHD Server访问数据的主要方法,并提出了应注意的几点问题。     

一种磁盘历史数据库模型研究

为解决流程工业中过程历史数据的存储以及大量数据的快速查询问题,提出一种基于关系数据库的磁盘历史数据库模型。在数据存储方案设计中,将关于位号和数据采集接口的静态信息存储在关系数据库中,历史数据以文件形式存放,采用三重二级缓存机制避免频繁访问磁盘,并使用经典的SDT算法对实时数据进行压缩存储,降低存储成本。数据查询方案采用三级索引文件结构,即总索引文件、二级索引文件和位号索引文件,提高查询效率。该磁盘历史数据库的第一版已经成功实现,应用结果表明,数据存储方案和查询方案的设计是合理的,100个位号的查询时间约为500 ms。     

基于SQL数据库的过程数据压缩方法

利用SQL Server数据库存储过程历史数据,提出一种增量型的SDT压缩算法,有效地实现了过程历史数据的实时存储。对于通过OPC方式从化工过程底层读取的实时数据,利用增量型的SDT算法进行实时压缩存储,利用LZW算法对存储的值进行二次无损压缩。实验测试表明,该方法能够实时处理大量的过程数据,同时尽最大可能对过程数据进行压缩,降低存储成本。在容差为1%、测点为 1 000个时,该算法使平均压缩率达到约85%。     

面向工业4.0的多表架构与NoSQL大数据集成的数据存储策略研究

工业4.0环境下,生产现场的监测数据除了需要实时显示与分析外,还需要作为历史记录进行保存。面对海量的生产数据,现有的数据库技术已经很难满足该要求。提出了一种基于传统数据库多表架构与NoSQL大数据库相结合的新型数据存储方案。该方案基于传统数据库的多表架构实现实时数据的分布式存储,同时将历史数据迁移至NoSQL大数据库,解决了工业4.0下的海量数据存储问题。最后给出了某企业基于SQLServer和MongoDB的实际应用,验证了本文方法的正确性和有效性。     

基于RS232C通信和以太网通信的称重管理系统设计

称重是工业生产中常用的一个环节,随着企业生产管理水平的提高,迫切需要对称重数据进行实时采集与存储,以便对称重过程监控与追溯。本文设计了基于RS232C通信和以太网通信的称重管理系统,实现多台称重仪表与上位机的通信,完成对生产过程中称重数据的传输和存储,满足了企业生产管理需求,方便日后对历史数据的查看,提高追溯的效率。1台托利多仪表与上位机通过以太网进行TCP/IP通信,其余7台托利多仪表与上位机通过RS232C进行串口通信,并将数据存储在数据库中。系统投入使用后一直平稳运行,完全满足企业的实际需求,为企业的生产过程监控和历史数据追溯提供了便利。     

实时数据库主动计算的设计与实现

针对工业生产过程的优化控制和历史数据查询中的计算需求,结合实时数据库数据采集和数据存储,设计并实现了实时数据库的主动计算。在实时数据库中使用主动计算,既可以实时获取计算结果值进行实时的优化控制,也可以在后续条件查询中直接获取计算结果,从而大大提高查询效率。     

基于AES 与HASH 的软件数据保护

从数据存储与用户身份识别两方面提出了软件数据保护的方案。利用对称加密算法AES实现数据库敏感信息的加密存储;利用SHA512结合注册表实现软件的身份识别,并在VB2008中给出了实现过程,从而实现软件数据的双重保护。     

主动实时内存数据库系统的数据交换策略及实现

实时数据库系统的高性能要求以内存数据库(MMDB)做底层支持。内存数据库事务在运行过程中没有内外存I/O,这就要求在对事务进行预处理(知识提取)的基础上合理地进行内外存交换。该文针对一个自主开发的主动实时内存数据库系统(ART-Ⅱ),介绍了其内外存数据交换的策略及实现。     

基于云计算的大数据自动分类处理系统设计

随着现代网络技术不断进步,系统数据量也在逐渐增多;传统的大数据自动分类处理系统已经无法满足现阶段用户需求,其软件与硬件的设计都比较单一,存在能源消耗大、分类速度慢、处理时间长、内存占用率高等问题,为此,提出基于云计算的大数据自动分类处理系统的设计;首先设计系统硬件结构,主要包括数据采集器、数据处理器以及数据自动存储模块,并详细的介绍了各硬件结构;然后利用时域特征提取数据的算法对频域特征数据进行提取,从而实现数据自动分类处理系统的软件设计;最后对两种系统性能进行对比实验;实验结果证明,基于云计算的大数据自动分类处理系统的资源不仅占用率低,内存消耗小,而且数据库内存较大;该系统不但可以提高数据自动分类精准度,还能加快数据分类速度,从而使系统拥有更好的分类性能。     

SZF波浪浮标双通信数据接收回放系统

该系统目的是作为SZF波浪浮标的上位机接收软件,采用Microsoft Visual Studio 2005作为软件平台,利用Visual C＋＋开发语言编写。上位机采用串口通信的方式分别通过GSM模块和数据接收机与浮标进行通信,实时接收浮标传送过来的数据,并且利用ADO数据库开发技术访问Access2007,实现对数据的保存。在实现波浪浮标数据实时显示与数据库存储同步进行的基础上添加了数据回放功能,可以主动索取存储在接收机上的波浪数据,并将其进行处理与转换。目前该数据通信软件已成功应用于有关的海洋工程部门单位,运行可靠。     

基于非关系型数据库的水文大数据存储方法研究

针对现有的技术架构和主流软件工具存储水文大数据存在的问题,分析非关系型数据库存储水文大数据的优势和技术特点,提出非关系型数据库TRIP存储水文大数据的方法。TRIP数据库管理系统部署在PC机上,水文结构化和非结构化数据存储在与PC机数据连接的磁盘存储装置的数据库文件中,根据水文数据的规模,增加磁盘存储装置的数量和容量。研究结果证明,TRIP数据库能够存储多种类型、格式的水文结构化和非结构化数据,可为水文行业存储水文大数据提供新的技术途径。     

面向对象的数据模型设计方法的研究与实现

应用程序处理的数据大部分来源于数据库,数据库中的数据与应用程序交互的数据模型接口存在差异,如何利用更适合应用的＂概念模型＂来处理数据库中的数据,简化应用程序的设计和调用,是软件设计师和数据架构师必须合作解决的问题。利用概念模型的方法将数据在存储和调用过程中的复杂问题简易化,从而为大型应用程序的数据处理提供一种方法。     

组态软件内存实时数据库性能测试

介绍了内存实时数据库在工业控制DCS组态软件中的应用及其在数据采集过程中的重要性;针对组态软件内存实时数据库的特点,测试了在不同的数据组织形式、内存置换页面大小以及缓存大小下数据库的性能,通过测试,得出了不同的配置组合对内存实时数据库性能的影响,从而为下一步的研究工作打下了基础。     

基于ACM/ICPC在线测评系统的设计

针对ACM国际大学生程序设计竞赛培训教学中程序评测的需求,开发程序在线测评系统。系统基于Apache服务器,采用PHP和MYSQL数据库技术运行于Windows Sever 2003平台。采用软件工程黑盒测试的思想对用户提交的程序进行测评,系统主要分为三个部分：网站部分,数据库部分及测评部分。数据库部分对系统提供数据存储支持;网站部分则是系统与用户的交互接口;测评部分则是对用户提交程序运行的主要控制部分,它将控制提交程序的运行时间以及内存,并对运行程序的结果进行判断。     

谈.NET平台下的ORM的现状

对象-关系映射(Object/Relation Mapping,简称ORM),是随着面向对象的软件开发方法发展而产生的。面向对象的开发方法是当今企业级应用开发环境中的主流开发方法,关系数据库是企业级应用环境中永久存放数据的主流数据存储系统。对象和关系数据是业务实体的两种表现形式,业务实体在内存中表现为对象,在数据库中表现为关系数据。内存中的对象之间存在关联和继承关系,而在数据库中,关系数据无法直接表达多对多关联和继承关系。因此,对象-关系映射(ORM)系统一般以中间件的形式存在,主要实现程序对象到关系数据库数据的映射。