流程工业CIMS中的实时数据库技术

流程工业存在着大量的实时数据处理、存储和集成问题,仅靠采用集散式控制系统（ＤＣＳ）和关系数据库技术并不能完全解决。开放结构的分布式实时数据库系统能够提供高速的实时数据服务,能够有效地集成异构控制系统,它和关系数据库一起构成了流程企业的数据平台,对流程工业的生产信息集成起着极其重要的作用,是流程工业ＣＩＭＳ实施中的关键技术。该文针对流程工业ＣＩＭＳ的特点,介绍了在流程工业ＣＩＭＳ中实时数据库的功能．系统结构及其采用的关键技术。     

一种磁盘历史数据库模型研究

为解决流程工业中过程历史数据的存储以及大量数据的快速查询问题,提出一种基于关系数据库的磁盘历史数据库模型。在数据存储方案设计中,将关于位号和数据采集接口的静态信息存储在关系数据库中,历史数据以文件形式存放,采用三重二级缓存机制避免频繁访问磁盘,并使用经典的SDT算法对实时数据进行压缩存储,降低存储成本。数据查询方案采用三级索引文件结构,即总索引文件、二级索引文件和位号索引文件,提高查询效率。该磁盘历史数据库的第一版已经成功实现,应用结果表明,数据存储方案和查询方案的设计是合理的,100个位号的查询时间约为500 ms。     

基于FPGA和小波变换的稳态电网数据实时压缩

针对连续录波中的大量稳态实时数据,提出简化的小波压缩算法,在FPGA中实现了实时的小波压缩和解压缩,解决了海量数据的传输和存储问题。     

无压缩视频数据实时存储和传输技术

论文分析了无压缩视频数据实时存储和传输过程中数据通道速率要求，并讨论了数据通道中的瓶颈，及通过并发线程和硬盘直接I／O提高性能的方法。     

基于SQL数据库的过程数据压缩方法

利用SQL Server数据库存储过程历史数据,提出一种增量型的SDT压缩算法,有效地实现了过程历史数据的实时存储。对于通过OPC方式从化工过程底层读取的实时数据,利用增量型的SDT算法进行实时压缩存储,利用LZW算法对存储的值进行二次无损压缩。实验测试表明,该方法能够实时处理大量的过程数据,同时尽最大可能对过程数据进行压缩,降低存储成本。在容差为1%、测点为 1 000个时,该算法使平均压缩率达到约85%。     

基于关系数据库的实时数据压缩探讨

基于关系数据库,探讨实时数据在关系表中的压缩存储和访问技术.采用Oracle数据库内部语言,对给出的压缩方法加以实现.程序运行结果表明,针对大量的实时数据具有良好的压缩效果,压缩后数据量急剧减少,在数据时间间隔频率不高和采集点数较少时,给出的方法可作为实时数据库的替代方案.     

一种机载高分辨率图像实时压缩系统的设计

为解决机载高分辨率图像的实时压缩问题,提出了一个基于FPGA+PowerPC的高分辨率图像实时压缩系统的设计方案。本系统主控采用PowerPC处理器,压缩芯片采用ADV202,用FPGA实现图像数据流程中各个环节控制,最终输出数据为高性能的静止图像压缩标准JPEG2000格式。     

基于S95标准的流程工业制造执行系统的设计与实现

制造执行系统(MES)是流程工业综合自动化系统的关键环节,在整个流程工业综合自动化系统中起承上启下的作用,是企业生产活动与管理活动的信息集成桥梁.文章首先基于S95标准,提出了流程工业MES体系结构,该结构采用基于COM/DCOM的Windows DNA体系结构,分为表示层、应用逻辑层和数据存取层3个独立的单元.其次参照MES国际联合会提出的MES功能组件和集成模型要求,设计了流程工业MES系统的11个功能模块.最后提出了1种基于实时数据库和远程访问技术的流程工业MES的设计方案,该方案以pSpace实时数据库为开发平台,采用VC++编程语占开发了pSpace Server的接口程序,实现了对流程工业现场DCS数据的采集和存储,同时采用康海NC601B单串口服务器,工作于TCP/UDP Socket方式,进行系统数据的发布,实现了安全高效的远程访问功能.该系统具有可扩展性、可重构性等特点,对流程工业企业制造执行系统的开发具有一定的参考价值.     

基于矩阵压缩的图像压缩算法研究

用数据结构的表示方法导出了基于矩阵压缩的图像压缩算法，分析了其压缩存储效率，在“通用题库”应用中显示了较好的压缩效果，是对大量分段重复数据进行处理的有效存储结构。     

多传感器信号数据采集实时压缩算法

针对多传感器测试系统采样数据信息量大、不便于存储和实时传输的问题,提出了一种基于改进的二叉树算法对原始采样数据进行实时压缩.根据多传感器系统信息冗余量大的特点,充分利用多传感器信号之间相关性和采样点之间相关性,对采样数据在二维方向上做去冗余处理,从而达到节省数据存储空间、提高数据传输效率的目的.该算法编程简单、计算量较小、易于硬件实现,并在动态称重压力传感器信号的压缩实验中取得了较好的压缩效果.     

CFP-tree: A compact disk-based structure for storing and querying frequent itemsets

Frequent itemset mining is an important problem in the data mining area with a wide range of applications. Many decision support systems need to support online interactive frequent itemset mining, which is a challenging task because frequent itemset mining is a computation intensive repetitive process. One solution is to precompute frequent itemsets. In this paper, we propose a compact disk-based data structure—CFP-tree to store precomputed frequent itemsets on a disk to support online mining requests. The CFP-tree structure effectively utilizes the redundancy in frequent itemsets to save space. The compressing ratio of a CFP-tree can be as high as several thousands or even higher. Efficient algorithms for retrieving frequent itemsets from a CFP-tree, as well as efficient algorithms to construct and maintain a CFP-tree, are developed. Our performance study demonstrates that with a CFP-tree, frequent itemset mining requests can be responded to promptly.     

基于Agent与数据挖掘的分布式入侵检测系统

针对目前计算机入侵检测系统中存在的不足．文中构建了一个基于Agent和数据挖掘技术的分布式入侵检测系统。这个系统引入移动Agent使入侵检测较好地适应了分布式的环境，采用数据挖掘技术使检测系统能够更加快速有效地发现入侵行为，明显地提高了检测系统的实时性。它还把误用检测和异常检测溶为一体，把基于主机和基于网络的入侵检测进行有机结合，具有良好的可扩展性、灵活性、鲁棒性、安全性、实时性、自适应性和检测的准确性。     

一种支持在线数据挖掘的存储结构

数据挖掘是一个庞大的计算过程,频繁项集挖掘是教据挖掘中很重要的一部分。本文提出一种基于数据挖掘的存储频繁项集结构——BFp-tree,对频繁项集进行预处理,并将其存储在磁盘上,以支持在线挖掘要求。BFp-tree利用共享前缀和后缀的特点节省存储空间,对稠密的数据集压缩效率较高。     

基于JPEG-LS框架的无损压缩技术研究

近无损图象压缩是近年来发展较为迅速的一门技术 ,由于其压缩效率较低 ,通常的压缩方法难以实现实时性。采用 JPEG LS框架结构 ,对系统软件进行了研究 ,通过实际测试 ,该方法平均压缩率可达原图象的35 % ,并且能够实时处理     

基于自组织映射模型的数据挖掘算法在对二甲苯吸附分离过程中的应用

以PX吸附分离过程为研究对象，运用基于SOM模型的数据挖掘算法对其进行分析研究．SOM模型在整个挖掘过程中起了关键性的作用．一方面，SOM模型作为探索性数据分析的有效工具，为进一步的挖掘提供了依据．另一方面，SOM模型为聚类算法提供参数指导和数据支持．最终，通过数据挖掘实现了两个目标，得到了在不同负荷情况下操作参数的稳态优化区域；建立了可用于指导操作员改进操作的可视化实时评估模型．     

面向对象概念格的压缩

概念格理论是知识处理与分析的一种有力工具,在知识发现和数据挖掘等众多领域有着重要的应用。引入了概念相似度新的计算方法,由对象和属性共同确定概念之间的相似程度,进而产生概念邻域,并根据概念间相似程度来控制概念邻域的大小,删除不必要的节点,从而控制面向对象概念格中节点的个数,实现面向对象概念格的压缩和知识库简化。示例表明,当参数的值较小时,压缩效果明显。     

A novel hash-based approach for mining frequent itemsets over data streams requiring less memory space

In recent times, data are generated as a form of continuous data streams in many applications. Since handling data streams is necessary and discovering knowledge behind data streams can often yield substantial benefits, mining over data streams has become one of the most important issues. Many approaches for mining frequent itemsets over data streams have been proposed. These approaches often consist of two procedures including continuously maintaining synopses for data streams and finding frequent itemsets from the synopses. However, most of the approaches assume that the synopses of data streams can be saved in memory and ignore the fact that the information of the non-frequent itemsets kept in the synopses may cause memory utilization to be significantly degraded. In this paper, we consider compressing the information of all the itemsets into a structure with a fixed size using a hash-based technique. This hash-based approach skillfully summarizes the information of the whole data stream by using a hash table, provides a novel technique to estimate the support counts of the non-frequent itemsets, and keeps only the frequent itemsets for speeding up the mining process. Therefore, the goal of optimizing memory space utilization can be achieved. The correctness guarantee, error analysis, and parameter setting of this approach are presented and a series of experiments is performed to show the effectiveness and the efficiency of this approach.     

Apriori算法的改进

在数据挖掘中关联规则中是一个重要的研究方向。Apriori算法是关联规则中最著名的算法。，本文分析了Apriori算法存在的不足，与可以改进的方向。并提出了一种基于压缩事务项的改进方法，以提高Apriori算法的效率，     

网络入侵检测中序列模式挖掘技术研究

面向入侵检测的数据挖掘是目前国际上网络安全和数据库、信息决策领域的最前沿的研究方向之一。入侵检测中进行序列模式挖掘时，由于频繁网络模式和频繁系统活动模式只能在网络或操作系统的单个审计数据流中获得，因而传统从事件流数据中获取单序列模式的算法，以及从不同多数据序列中获取多个序列模式的算法都不再适用。本文研究了入侵数据的特性，提出了网络入侵检测中序列模式挖掘框架和实时序列模式挖掘模型，并设计了一种新的面向入侵检测．基于轴属性、参考属性、相关支持度的序列模式挖掘算法SPM—ID(Sequential Patterns Mining for Intrusion Detection)。最后在KDD Cup99数据集的基础上实现算法及分析算法的性能。     

H.264视频编码器在DSP上的实现与优化

在DM642EVM平台上实现了H.264视频编码器,并从内存分配、Cache优化、代码优化以及汇编程序级优化等几个方面对编码器进行了优化。实验结果表明,优化后的编码器能保持较高的图象质量和压缩效率,并具有较好的实时性能。