Treatment of missing values in process data analysis

Process data suffer from many different types of imperfections. For example, bad data due to sensor problems, multi‐rate sampling, outliers, compressed data etc. Since most modelling and data analysis methods are developed to analyze regularly sampled and well conditioned data sets there is a need for pre‐treatment of data. Traditionally data conditioning or pre‐treatment has been done without taking into account the end use of the data, for example, univariate methods have been used to interpolate bad data even when the intended end use of data is for multivariate analysis. In this paper we consider the pre‐treatment and data analysis as a collective problem and propose data conditioning methods in a multivariate framework. We first review classical process data analysis methods and acclaimed missing data handling techniques used in statistical surveys and biostatistics. The applications of these acclaimed missing data techniques are demonstrated in three different instances: (i) principal components analysis (PCA) is extended in data augmentation (DA) framework for dealing with missing values, (ii) iterative missing data technique is used to synchronize uneven length batch process data, and (iii) PCA based iterative missing data technique is used to restore the correlation structure of compressed data.     

流程工业数据采集中的流量控制

数据采集系统对数据库服务器需要进行非常频繁地读写,因此要考虑进行流量控制,尽可能地减少通信流量。提出一种group机制,按照已定义的数据点顺序直接发送其数据值序列,而不再重复传输数据点编号信息。通过优化传统数据传输方式中位号点信息（如节点编号）的传送来大幅减少数据流量,从而提高数据传输速度,更突出实时性。研究中使用DTD对数据请求和应答进行规范化定义,并使用xm l文档进行数据传递示例说明。group方式最适用于在数据点数目比较多,所属数据点变化不是很频繁的情况下,它能减少至少一半的网络流量。     

基于中心损失的条件生成式对抗网络的冷水机组故障诊断

针对冷水机组产生的故障数据不足,数据集中正常数据和故障数据数量不平衡,进而导致故障诊断精度下降的问题,提出一种基于中心损失的条件生成式对抗网络(central loss conditional generative adversarial network,CLCGAN)和支持向量机(support vector machine,SVM)的故障诊断方法。首先,CLCGAN利用少量真实故障数据生成新的故障数据;然后,将生成的故障数据与初始数据集混合,使正常数据与故障数据的数量达到平衡;最后,利用平衡数据集构建SVM模型进行故障诊断。在GAN生成冷水机组故障数据时,构建动态中心损失项并加入到目标函数中,利用动态的中心损失减少冷水机组生成的各种故障数据的类内距离,从而降低各个故障生成数据之间的重叠程度,增加生成数据的可靠性。在生成故障数据之前配置相应的故障标签,并输入到CLCGAN中指导数据生成过程,使生成的故障数据可以均衡地分布于各个故障类别。在ASHRAE 1043-RP数据集上对所提方法进行了验证,结果表明,相较于其他解决数据不平衡问题的故障诊断方法,所提方法具有更高的故障诊断准确率。     

基于TGNPE算法的间歇过程故障诊断

间歇过程数据是由批次、变量和时间构成的三维数据,数据内包含了丰富的对过程监控有用的全局和局部结构信息,如何充分提取间歇过程的特征信息是故障诊断的关键。传统方法处理三维数据都是将其展开成二维数据,展开过程必然会导致数据内在结构破坏,并且通常只考虑了数据的全局信息或者只考虑了数据的局部信息,这就不能充分提取过程的有用信息导致诊断效果欠佳。针对以上问题,提出了张量全局-局部邻域保持嵌入(TGNPE)算法,首先用张量分解的方法直接对三维数据进行建模,而不对数据进行展开,这就有效地保存了数据的内部结构,再用邻域保持嵌入算法充分提取数据局部结构信息的同时兼顾数据的全局信息,这就实现了对数据特征信息更加充分地提取,用TGNPE算法检测到故障后用贡献图法诊断出故障变量。通过青霉素发酵过程验证了本文提出的算法对间歇过程数据信息提取更加充分,更利于故障诊断。     

基于小波变换的通用大数据量压缩算法

针对制造业企业信息化系统数据存储量大、存储形式复杂、存储内容多样,从而造成数据存储代价大、难以管理检索这一问题,采用小波变换多层分解的形式,对大数据量下的数据存储问题提出一种通用数据压缩算法,该算法通过对数据流的多层分解、空间多层分解、参数多层分解后,形成按时间为线索的数据压缩流,保存数据;通过多层还原的形式还原数据流,从而达到应用数据的目的。通过实验表明,该算法在有限的空间内分解结果良好,能对大数据量的数据流进行有效地压缩存储及通过时间序列的有效检索。     

流程工业多尺度数据可视化系统的设计与应用

现代流程工业产生了海量多尺度数据,如何分析这些数据变得相当困难。数据可视化提供一种处理数据,查找趋势与联系的方法,有助于发现重要的信息。然而,用户对多尺度数据可视化的需求存在着差异,数据也往往来自于不同的数据源。为了实现这些需求,我们建立了多尺度数据可视化模型框架,并设计开发了一个面向流程工业多尺度数据的可视化系统。在炼化企业的实际应用证明了系统的有效性和可用性。     

Data mining: data analysis on a grand scale?

Modern data mining has evolved largely as a result of efforts by computer scientists to address the needs of 'data owners' in extracting useful information from massive observational data sets. Because of this historical context, data mining to date has largely focused on computational and algorithmic issues rather than the more traditional statistical aspects of data analysis. This paper provides a brief review of the origins of data mining as well as discussing some of the primary themes in current research in data mining, including scalable algorithms for massive data sets, discovering novel patterns in data, and analysis of text, web, and related multimedia data sets.     

基于多平台的油田业务管理系统关键技术研究

应用多数据源融合技术实现了油田各专业数据的分析与关联,为油田管理中数据查询和数据分析做好了准备。采用基于数据挖掘的辅助决策技术实现了对重点数据的智能分析,解决了以往分析数据靠人工经验的问题;利用基于Android平台的移动终端推送技术实现了数据的专业化定制,能够随时随地掌握数据的变化情况。通过应用这几种技术整合了油田业务管理的数据信息,实现了各个部门的业务集成,提高了工作效率。     

Energy Efficiency Evaluation Based on Data Envelopment Analysis Integrated Analytic Hierarchy Process in Ethylene Production

Energy efficiency data from ethylene production equipment are of high dimension, dynamic and time sequential, so their evaluation is affected by many factors. Abnormal data from ethylene production are eliminated through consistency test, making the data consumption uniform to improve the comparability of data. Due to the limit of input and output data of decision making unit in data envelopment analysis (DEA), the energy efficiency data from the same technology in a certain year are disposed monthly using DEA. The DEA data of energy efficiency from the same technology are weighted and fused using analytic hierarchy process. The energy efficiency data from different technologies are evaluated by their relative effectiveness to find the direction of energy saving and consumption reduction.     

物流管理数据仓库模型

阐述了数据仓库在物流发展中的重要作用,并且分析比较了数据库和数据仓库在使用过程中的不同作用。根据物流决策分析的要求和数据仓库模型的设计步骤,分别对物流管理数据仓库的主题选择,数据模型、数据粒度进行了详细分析,并且提出物流管理仓库的体系结构及实现。     

基于有偏估计的数据融合提高双传感器测量可靠性

为了提高测量数据可靠性,过程控制领域广泛采用双冗余传感器测量生产状态信息,而目前处理双传感器测量数据常用的方法为线性无偏估计融合理论。通过估计理论得到的测量数据同时涉及方差和偏差两个统计特性。由于无偏测量数据具有无偏性的优良性质,所以测量方差能够全面地描述无偏测量数据的可靠性,然而不能由此认为无偏测量数据一定具有高可靠性。为了进一步提高双传感器测量数据的可靠性,提出有偏估计数据融合方法。首先,证明了有偏测量能够改善单传感器测量数据的可靠性;其次,采用凸组合方法推导了双传感器有偏估计融合表达式;最后,证明了有偏估计融合的均方误差小于任意单传感器的均方误差。仿真分析与实例应用均表明有偏估计数据融合可以有效地提高双传感器测量数据的可靠性。     

电镀生产流程无线数据采集系统的设计

目前电镀生产领域应用的控制系统普遍依靠有线传感器采集数据,并通过串口方式传输数据。有线采集串口传输的方式存在布线困难、无法接入服务器等缺陷,难以满足电镀行业发展对数据采集、传输和监控不断提升的要求。设计了一种无线数据采集系统,依靠无线传感器采集数据,并通过WiFi将无线传感器数据和控制器数据传输至服务器中,实现电镀生产流程所涉及的数据无线采集、无线网络化传输和远程监控。     

基于重构的半监督ELM及其在故障诊断中的应用

工业过程中获取带标签的故障数据困难,而无标签故障数据却大量存在,如何有效地利用数据信息进行故障诊断是故障诊断领域的重要内容。为更充分地挖掘和利用数据信息,提出一种新的半监督学习方法：基于重构的半监督极限学习机（RSELM）。相比于传统的半监督极限学习机（ELM）方法,RSELM采用自动编码ELM（ELM-AE）获得的输出权重替代随机的隐含层输入权重,能更有效地提取数据特征;考虑到数据均可由其近邻数据来线性重构,故可构建近邻数自适应选择的重构图,并同时利用数据的标签信息优化连接权重,以更优地反映数据结构信息;通过建立新的含局部保持的目标函数,可有效地训练分类器。标准数据集和TE过程上的仿真实验验证了所提算法的有效性。     

EDF调度方法在交换式工业以太网中的实现

针对工业以太网的数据特点 ,通过在以太网数据帧中引入IEEE80 2 .1Q优先级字段来区分周期性实时数据和非实时数据 ,并对前者优先进行传送。同时还在周期性数据帧中引入截止期限字段来区分其不同的紧急程度 ,并对其采用非中断的EDF调度方法来改善周期性数据帧的端到端延迟。最后通过仿真试验验证了该方法的可行性。     

基于ENC28J60的网络型数据采集器设计

设计了全新的数据采集器。利用基于ENC28J60的网络型数据采集器,采用INTERNET和RS485相结合的技术,利用RSA485总线采集温度、压力、电力仪表的数据,然后通过Internet所相关数据传输到上位机,实现了对企业内容各类仪表数据的集中监控管理。     

基于云监测平台的实时数据监测

针对传统实时数据监测方式的不足,提出一种基于云监测平台远程处理实时数据的新型监测方法。将数据实时传送至Storm数据处理平台,采用实时数据跟踪算法来确保数据的完整性。在数据库中采用发布/订阅的数据存储方案,将My SQL和Redis数据库相结合,实现了数据的快速存取。最后,依据客户端的Highcharts图形可视化技术让用户通过终端浏览器进行实时监测,获取各种结果。实验表明:该方法比传统监测方法的时间消耗低,实时性明显较强。     

和成煤矿三维地震勘探的研究

基于和成煤矿地区的地震地质条件复杂的情况,为了取得较好的地震资料,施工过程中针对勘探区内地形复杂、浅层条件多变等不利因素,采取了相应的技术措施。资料处理过程中认真详细地测试了各种模块及参数,制定出了适合该矿的资料处理方案,同时采取边处理边解释的手段,指导资料处理,获得了较理想的三维数据体资料。     

A data set for color research

We present an extensive data set for color research that has been made available online ( www.cs. sfu.ca/～colour/data) . The data are especially germane to research into computational color constancy, but we have also aimed to make the data as general as possible, and we anticipate a wide range of benefits to research into computational color science and computer vision. Because data are useful only in context, we provide the details of the collection process, including the camera characterization, and the data used to determine that characterization. The most significant part of the data is 743 images of scenes taken under a carefully chosen set of 11 illuminants. The data set also has several standardized sets of spectra for synthetic data experiments, including some data for fluorescent surfaces. © 2002 Wiley Periodicals, Inc. Col Res Appl, 27, 147–151, 2002; Published online in Wiley InterScience (www.interscience.wiley.com). DOI 10.1002/col.10049     

海洋资料多次波衰减技术综述

海洋资料由于海上鸣震、海底反射、水底反射等原因导致资料多次波现象很严重,因此海洋资料的多次波去除就成为资料处理的主要内容。本文总结了海洋资料多次波的产生、类型及主要的去除方法。     

基于MKECA的非高斯性和非线性共存的间歇过程监测

多向核独立成分分析（multiway kernel independent component analysis,MKICA）在监测间歇过程非高斯性和非线性方面取得了广泛应用,其仅仅是将线性独立成分分析（independent component analysis,ICA）方法利用核主成分分析（kernel principal component analysis,KPCA）白化扩展到非线性领域,但数据经KPCA白化后只考虑数据信息最大化未考虑数据簇结构信息的不足,为解决此问题,采用核熵成分分析（kernel entropy component analysis,KECA）代替KPCA白化的过程监测方法。该方法首先利用AT展开方法将过程三维数据变为二维数据;其次用KECA进行白化处理的同时解决数据的非线性;然后建立ICA监测模型用于非高斯生产过程监测;最后将该方法应用到青霉素发酵仿真和实际的工业过程并与MKICA方法进行对比,验证该方法的有效性。