基于GMM的多模态过程模态识别与过程监测

多模态复杂过程的多变量、多工序、变量时变性以及模态转换时间不确定等多种原因, 导致面向多模态生产过程的监测问题十分复杂. 对此, 基于高斯混合模型的监测方法, 结合定性知识和定量知识, 解决了多模态过程监测中离线数据模态划分、稳定模态和过渡模态的监测模型建立以及在线数据的模态识别等关键问题, 最终实现了对多模态过程的监测.     

基于差分分段PCA的多模态过程故障监测

多模态的故障监测是一个复杂的问题, 既需要考虑稳定模态下的故障监测, 也需要考虑不同模态间的过渡故障监测. 不同稳定模态下的数据具有不同的相关关系, 对每个稳定模态需要建立不同的稳定模态模型. 当稳定生产模态发生改变时, 生产过程进入过渡模态, 需要考虑过渡变量相关关系的变化. 本文通过对过渡数据差分, 得到变量相对变化信息. 利用主成分分析(Principal component analysis, PCA)分段对差分变量的相关特性进行分析, 提取相对变化的特征. 最后以实际连续退火机组生产线为背景, 用基于差分分段PCA的多模态方法对多模态过程进行故障监测, 发现算法很好地反映了实际过渡过程机理, 验证了算法的有效性.     

关联模态补偿的视频动作识别算法

随着深度摄像机的发展,不同模态的视频数据更易获得.基于多模态数据的视频动作识别也受到越来越广泛的关注.不同模态的数据能够从多个角度对视频动作进行描述,如何有效地利用多模态数据并形成优势互补是视频动作识别中的重要方向.提出了一种基于关联模态补偿的视频动作识别算法.该方法以RGB和光流场视频数据为源模态,以3D骨架数据为辅助模态,利用源模态和辅助模态高层特征空间的关联性,补偿源模态的特征提取.该算法基于卷积神经网络和长短期记忆网络,对源模态数据和辅助模态数据进行时空域特征建模.在此基础上,提出了基于残差子网络的模态适应模块,通过统一源模态特征和辅助模态特征的数据分布,实现辅助模态对源模态的特征补偿.考虑到源模态数据和辅助模态数据在动作类别或动作样本等方面存在不同程度的对齐情况,设计了多层次模态适应算法,以适应不同的训练数据.所提算法仅在训练过程中需要辅助模态的帮助,在测试过程中可以仅根据源模态数据进行动作的识别,极大地拓展了该算法的实用性.在通用公共数据集上的实验结果表明,相比于现有动作识别算法,该算法取得了更加优越的性能.     

基于偏最小二乘的质量相关多模态故障检测技术

偏最小二乘(PLS)算法通常适用于稳定工况下的工业过程故障检测.在日趋复杂的工业过程中,过程数据通常不满足正态分布,存在非线性、动态、多模态等问题.针对多模态问题,已有大量模态区分方法可用,但这些方法都未考虑质量相关因素,因此并不适用于质量相关类算法.为此,针对质量相关类算法提出新的质量相关模态区分规则,该规则通过核模糊聚类对添加线性递增时间变量的数据在时间方向上进行初步的聚类,再通过质量相关指标进一步准确划分模态;同时,过程复杂化导致静态控制限不能满足故障检测的需求,现存的动态控制限适用范围具有一定的局限性,可通过改进动态控制限将其推广为广义动态综合控制限.实验中,先是基于两种非线性偏最小二乘模型将新方法应用于青霉素发酵过程故障检测中,极大减少了漏报率和误报率.最后,通过数值仿真实验验证了添加线性递增时间变量的合理性.     

支持多模态医学数据融合的并行加载算法

由于多模态数据中的数据分属多种模态且相互之间存在互补关系,所以利用传统单模态数据的分析和处理方法无法有效地融合不同模态的数据并表示和处理不同模态数据之间的相互关系。为了解决多模态数据的建模、表示和存储问题,使得更好地融合不同模态的数据及更有效地表示数据之间的相互关系,本文提出了一种新的数据模型,即模态结构图,用于多模态医学数据的建模。该模型利用图结构对多模态数据中的模态及模态间的关系进行建模和表示。基于此模型,本文提出了一种并行的数据加载技术,用于抽取出多模态医学数据中分属不同模态和模态间关系的数据并存储到图数据库中。通过使用批量医学数据文件进行实验,验证了该提取加载技术能够获得较好的数据处理效率。     

基于时段及过渡区域的KICA间歇过程监测方法

针对间歇过程时段的切换存在过渡区域,同时,间歇过程数据有着强非线性的特点,提出一种基于时段及过渡区域的KICA间歇过程监测方法。该方法基于MPCA及k-means聚类算法对间歇过程进行子时段划分,并基于第一主元贡献率差值识别时段间的过渡区域,在此基础上,对稳定时段建立统一KICA监测模型,而过渡区域针对各时刻滑动窗口进行KICA建模监测。将该方法应用于青霉素发酵过程在线监测,实验结果表明,相比sub..PCA监测方法,本文基于时段及过渡区域的KICA监测方法能更及时、准确的检测到过渡区域的异常。     

基于morlet小波与模态分析的突发型声发射源定位研究

在建立基于声发射技术的裂纹产生与拓展检测系统的基础上.以薄钢板为实验对象,研究了Lamb波在薄板中传播的频散及多模态特性,并结合morlet小波时频联合分析方法,提出了一种针对声发射信号在薄板中传播时产生的不同模态进行识别的方法.通过提取不同模态波到达同一传感器的时间差并依据不同模态波对应的波速实现对出现裂纹的位置进行定位.经过实验研究表明,运用该方法不仅能准确地识别A0、S0模态波并实现对声发射源进行精确定位.     

多模态深度学习综述

在多模态深度学习发展前期总结当前多模态深度学习,发现在不同多模态组合和学习目标下,多模态深度学习实现过程中的共有问题,并对共有问题进行分类,叙述解决各类问题的方法。具体来说,从涉及自然语言、视觉、听觉的多模态学习中考虑了语言翻译、事件探测、信息描述、情绪识别、声音识别和合成以及多媒体检索等方面研究,将多模态深度学习实现过程中的共有问题分为模态表示、模态传译、模态融合和模态对齐四类,并对各类问题进行子分类和论述,同时列举了为解决各类问题产生的神经网络模型。最后论述了实际多模态系统、多模态深度学习研究中常用的数据集和评判标准,并展望了多模态深度学习的发展趋势。     

双端可共享网络的多模态行人重识别方法

针对多模态行人重识别中存在较大的类内差异和模态差异的问题,提出了一种使用双端共享网络的多模态行人重识别方法。通过裁剪和填充对不同模态的图片进行数据处理;将Resnet50的后4个卷积层中嵌入非局部注意力块,使用改进的Resnet50作为骨干网络分别对不同模态的图片进行特征提取,再将不同的特征输入共享网络;最后使用基于类内距离和模态差异的聚类损失对模型进行训练。实验结果表明,使用非局部注意力块和聚类损失的模型准确率有所提升,且模型更具有鲁棒性。     

多模态的情感分析技术综述

情感分析是指利用计算机自动分析确定人们所要表达的情感,其在人机交互和刑侦破案等领域都能发挥重大作用.深度学习和传统特征提取算法的进步为利用多种模态进行情感分析提供了条件.结合多种模态进行情感分析可以弥补单模态情感分析的不稳定性以及局限性等缺点,能够有效提高准确度.近年来,研究者多用面部表情信息、文本信息以及语音信息三种模态进行情感分析.主要从这三种模态对多模态情感分析技术进行综述:首先对多模态情感分析的基本概念以及研究现状进行简要介绍;其次总结了常用的多模态情感分析数据集;然后分别对现有的基于面部表情信息、文本信息和语音信息的单模态情感分析技术进行简要叙述;接下来详细介绍了模态融合技术,并依据不同的模态融合方式对多模态情感分析技术的现有成果进行重点描述;最后讨论了多模态情感分析存在的问题以及未来的发展方向.     

An adaptive multimode process monitoring strategy based on mode clustering and mode unfolding

A comprehensive monitoring framework is proposed for multimode processes in which mode clustering and mode unfolding are integrated within an adaptive strategy. To start, an aggregated k-means algorithm produces an optimal ensemble clustering solution for a multimode process dataset. Next, a mode unfolding (MU) scheme enables the development of a single principal component analysis (PCA) model for processes operating under multiple desired steady-states (modes). Finally, adaptive strategies for online mode identification and model updating are presented to address the challenges in fault detection in the presence of multiple operating modes. The validity and usefulness of the adaptive MU-PCA based monitoring framework is demonstrated through a study of the Tennessee Eastman benchmark process.     

基于人工蜂群优化的数据流聚类算法

在传统分段式数据流聚类算法中,在线部分中的微簇阈值半径T取值不精确以及离线部分对微聚类的处理相对简单,导致了聚类质量不高.针对这一缺点,在现有动态滑动窗口模型基础上,提出了一种针对离线部分处理的基于人工蜂群优化的数据流聚类算法.该算法包括两部分:(1)在线部分根据数据在窗口内停留的时间长短来动态调整窗口的大小和改进微簇阈值半径T的取值,逐步得到微簇集.(2)离线部分利用改进的蜂群算法不断动态调整来求出最优聚类结果.实验结果证明,本文算法不但有较高的聚类质量,而且有较好的延展性和稳定性.     

基于聚类的电网暂态稳定裕度估算方法

本文融合了传统的因果分析方法和数据核心思维方法,提出一种基于因果分析结果构建样本库,基于聚类进行稳定裕度快速估算的方法.首先从海量的历史量化分析或模拟仿真计算结果中,按故障提取暂态稳定模式,将所有故障的稳定模式取并集作为关键特征量.其次对各故障按特征量进行方式聚类,生成电网安全运行知识库.最后基于知识库对当前方式下多重故障进行自动匹配和稳定裕度快速估算.该方法提升分析计算的速度,为电网安全稳定快速决策提供依据,为电力系统暂态稳定分析评估提供了新思路.     

基于GMM和贝叶斯推理的多模态过程运行状态评价

为使综合经济效益最大化,生产过程应保持在最优运行状态等级.针对多模态过程运行状态等级优劣判断问题,提出一种运行状态等级评价方法.该方法对同一运行状态等级的多模态数据建立一个高斯混合模型(Gaussian mixture model,GMM),确保特征提取的准确性,避免模态划分问题.至于在线评价策略,本文采用贝叶斯推理,确定当前运行状态属于各等级的后验概率.并引入滑动窗口,判定当前运行状态等级,有效解决多模态过程运行状态在线评价问题.针对"非优"运行状态,本文提出一种基于变量偏导数的贡献计算方法,对导致过程运行状态等级"非优"的原因变量进行追溯.最后,通过田纳西–伊斯曼(Tennessee–Eastman,TE)过程验证所提方法的有效性.     

Simultaneous Target Flying Mode Identification and Altitude Estimation in Bistatic T/R‐R HFSWR

High frequency surface wave radar (HFSWR) cannot detect target altitude directly and is unable to identify flight mode. Assuming that the estimation and identification processes are mutually dependent, an integrated method called simultaneous identification and estimation (SIE) is proposed by applying a two‐level multiple model approach to the flight mode probability mass function (pmf) and state probability density function (pdf) simultaneously. The SIE involves two altitude estimation mode‐conditioned model sets, which are established utilizing the variation property of the propagation attenuation at different flight modes. The multiple model approach incorporated in SIE is different from the traditional interacting multiple model (IMM). It is applied at two levels: within each mode‐conditioned estimation model set and across all the mode‐conditioned estimation model sets. Simulations and real trials demonstrate the performance of the proposed SIE method.     

Key principal components with recursive local outlier factor for multimode chemical process monitoring

Owing to various manufacturing strategies and demands of markets, chemical processes often involve multiple operating modes. How to identify mode from multimode process data collected under both stable and transitional modes is an important issue. This paper proposes a novel mode identification algorithm-recursive local outlier factor (RLOF) based on the sequential information in the time scale and the density information in the spatial scale. In this algorithm, not only the number of modes does not need to be determined in advance, but also details of mode switching can be acquired. In addition, the principal components (PCs) chosen by the variance of overall dataset in principal component analysis (PCA) cannot guarantee that all variables express information as completely as possible. Using the defined cumulative percent expression (CPE), this study chooses key PCs (KPCs) according to each variable. Moreover, fault diagnosis is realized via the contribution of every variable to key PCs. Finally, the monitoring performance is evaluated under the Tennessee Eastman (TE) benchmark and the continuous stirred tank reactor (CSTR) process.     

A clustering-based approach for the identification of a class of temporally switched linear systems

The behaviours of hybrid dynamic systems (HDS) are determined by combining continuous variables with discrete switching logic. The identification of a HDS aims to find an accurate model of the system’s dynamics based on its past inputs and outputs. In pattern recognition (PR) methods, each mode is represented by a set of similar patterns that form restricted regions in the feature space. These sets of patterns are called classes. A pattern is a vector built from past inputs and outputs. HDS identification is a challenging problem since it involves the estimation of different sets of parameters without knowing in advance which sections of the measured data correspond to the different modes of the system. Therefore, HDS identification can be achieved by combining two steps: clustering and parameter estimation. In the clustering step, the number of discrete modes (i.e., the classes that input-output data points belong) is estimated. The parameter estimation step finds the parameters of the models that govern the continuous dynamics in each mode. In this paper, an unsupervised PR method is proposed to achieve the clustering step of the identification of temporally switched linear HDS. The determination of the number of modes does not require prior information about the modes or their number.     

基于低秩模型的电力能源大数据异常修正方法研究

传统的电力能源大数据异常修正方法存在搜索次数过多问题.会造成异常数据辨识结果异常、修正结果不准确。为此,引入低秩模型.改善以上问题。采用低秩模型处理电力能源数据样本.去除样本数据噪声;在离线模式下,通过训练支持向量机对数据样本进行聚类;在联机模式下,利用滑动窗口辨识异常数据;针对单个或多个不相关的异常数据.依据基尔霍夫电流定律完成修正。试验结果表明,与以往的大数据修正方法相比,设计的基于低秩模型的电力能源大数据异常修正方法残差值更低,并且电力负荷修正后.与实际负荷相符。