多模态过程的全自动离线模态识别方法

多模态是复杂工业生产过程的普遍特性.不同模态具有不同的过程特性,需要建立不同的模型,因此离线建模数据的模态划分与识别是整个多模态过程建模的关键问题之一.目前,常用的聚类算法需要对其结果进行人工分析和后续处理,无法真正实现多模态过程的全自动模态识别.因此,本文提出一种全自动的多模态过程离线模态识别方法.首先通过宽度为H的大切割窗口对数据进行切割,利用改进的K-means聚类算法对窗口单元进行聚类;根据聚类结果,对稳定模态淹没现象进行处理,得到模态的初步划分结果;最终,利用小滑动窗口L,对稳定模态及过渡模态交接区域进行细划分,准确定位稳定模态与过渡模态的分割点.算法实现了多模态过程的全自动离线识别,并给出合理有效的识别结果.仿真分析表明此方法能够实现模态的自动识别,且识别结果准确.     

基于差分分段PCA的多模态过程故障监测

多模态的故障监测是一个复杂的问题, 既需要考虑稳定模态下的故障监测, 也需要考虑不同模态间的过渡故障监测. 不同稳定模态下的数据具有不同的相关关系, 对每个稳定模态需要建立不同的稳定模态模型. 当稳定生产模态发生改变时, 生产过程进入过渡模态, 需要考虑过渡变量相关关系的变化. 本文通过对过渡数据差分, 得到变量相对变化信息. 利用主成分分析(Principal component analysis, PCA)分段对差分变量的相关特性进行分析, 提取相对变化的特征. 最后以实际连续退火机组生产线为背景, 用基于差分分段PCA的多模态方法对多模态过程进行故障监测, 发现算法很好地反映了实际过渡过程机理, 验证了算法的有效性.     

基于多模态视频分类任务的模态融合策略研究

尽管过往人工智能相关技术在众多领域取得了成功,但是通常只是模拟了人类的某一种感知能力,也就意味着被限制在处理单个模态的信息之中。从多个模态信息中提取特征并进行有效融合对于从弱/限制领域人工智能向强/通用人工智能的发展迈进具有重要意义。本研究基于编码器-解码器结构,在视频分类任务上对多模态信息的特征编码进行早期特征融合、对各模态信息的预测结果进行后期决策融合以及对两者相结合的不同多模态信息融合策略进行了对比研究;同时对音频模态信息参与模态融合的两种方式进行了对比,即直接将音频进行特征编码进而参与模态融合或音频通过语音转文本进而以文本的形式参与模态融合。实验结果表明,将文本和音频模态单独的预测结果与另外两种模态的融合特征的预测结果进行决策融合能够进一步提高分类预测准确率;此外,通过语音识别将语音转换成文本模态信息,能够更加充分利用其中包含的语义信息。     

多模态过程中新模态过程建模方法

多模态过程中新出现的模态过程短期内无法获得充足的建模数据,且传统统计控制方法无法有效地估计过程特性.鉴于此,提出一种基于历史模型数据相关特性建立初步模型的方法,充分利用已有多模态历史数据的相关特性,从历史数据中寻找与当前数据特征相似的数据进行补充,建立初始模型,并利用新积累的数据迭代初步模型,逐步实现准确描述过程特性的算法.通过在田纳西-伊斯曼过程中的大量仿真,表明了所提出方法的可行性和有效性.     

基于深度情感唤醒网络的多模态情感分析与情绪识别

随着网络平台上各类图像、视频数据的快速增长,多模态情感分析与情绪识别已成为一个日益热门的研究领域.相比于单模态情感分析,多模态情感分析中的模态融合是一个亟待解决的关键问题.受到认知科学中情感唤起模型的启发,提出一种能够模拟人类处理多通道输入信息机制的深度情感唤醒网络(DEAN),该网络可实现多模态信息的有机融合,既能处理情绪的连贯性,又能避免融合机制的选择不当而带来的问题.DEAN网络主要由以下3部分组成:跨模态Transformer模块,用以模拟人类知觉分析系统的功能;多模态BiLSTM系统,用以模拟认知比较器;多模态门控模块,用以模拟情感唤起模型中的激活结构.在多模态情感分析与情绪识别的3个经典数据集上进行的比较实验结果表明,DEAN模型在各数据集上的性能均超越了目前最先进的情感分析模型.     

基于跨模态联合编码的多模态情感分析

如何提高多模态融合特征的有效性是多模态情感分析领域的热点问题之一.以往的研究大多通过设计复杂的融合策略获取融合特征表示,这些方法往往忽略了模态间复杂的关联关系,同时存在着由于模态信息不一致所导致的融合特征有效性降低问题,进而影响模型的性能.针对上述问题,提出一种基于跨模态联合编码的多模态情感分析模型.在特征提取方面,利用预训练模型BERT和Facet模型分别提取文本和视觉特征,经过一维卷积操作获取相同维度的单模态特征表示.特征融合方面,利用跨模态注意力模块获得两模态的联合特征,使用联合特征分别调整单模态特征的权重,将两者拼接后获得多模态融合特征,最终输入到全连接层中进行情感识别.在公开数据集CMU-MOSI上的广泛实验表明,该模型的情感分析结果优于大多数现有先进的多模态情感分析方法,能够有效提升情感分析的性能.     

基于注意力机制的多模态幽默识别

近年来,幽默识别逐渐成为自然语言处理领域的热点研究之一。已有的研究多聚焦于文本上的幽默识别,在多模态数据上开展此任务的研究相对较少,现有方法在学习模态间交互信息上存在不足。该文提出了基于注意力机制的模态融合模型,首先对单模态上下文进行独立编码,得到单一模态的特征向量;然后将注意力机制作用于两种模态的特征序列,使用层级注意力结构捕获多模态信息在段落上下文中的关联与交互。该文在UR-FUNNY公开数据集上进行了实验,相比之前最优结果在精确率上提升了1.37%。实验表明,该文提出的模型能很好地对多模态上下文进行建模,引入多模态交互信息和段落上下文信息可提高幽默识别的性能。     

基于深度学习的多模态时空动作识别

针对视频理解中的时序难点以及传统方法计算量大的困难,提出了一种带有时空模块的方法用于动作识别.该方法采用残差网络作为框架,加入时空模块提取图像以及时序信息,并且加入RGB差值信息增强数据,采用NetVLAD方法聚合所有的特征信息,最后实现行为动作的分类.实验结果表明,基于时空模块的多模态方法具有较好的识别精度.     

基于跨模态门控机制和改进融合方法的多模态情感分析

如何有效挖掘单模态表征并实现多模态信息的充分融合是多模态情感分析研究的重点之一。针对多模态情感分析中的模态间噪声和多模态特征融合不充分等问题,提出一种基于跨模态门控机制和改进融合方法的多模态情感分析模型。首先,利用跨模态门控机制去除模态间噪声,提取互补信息以增强模态表示。然后,利用权重和相似约束分别关注不同模态情感贡献的差异性和情感表达的一致性。最后,结合模态的多层次表示获得情感分析的结果。在三个公开数据集上的实验结果表明,所提模型是有效的,相比已有一些模型取得了更好的性能。     

多模态数据的行为识别综述

行为识别是当前计算机视觉方向中视频理解领域的重要研究课题。从视频中准确提取人体动作的特征并识别动作,能为医疗、安防等领域提供重要的信息,是一个十分具有前景的方向。本文从数据驱动的角度出发,全面介绍了行为识别技术的研究发展,对具有代表性的行为识别方法或模型进行了系统阐述。行为识别的数据分为RGB模态数据、深度模态数据、骨骼模态数据以及融合模态数据。首先介绍了行为识别的主要过程和人类行为识别领域不同数据模态的公开数据集;然后根据数据模态分类,回顾了RGB模态、深度模态和骨骼模态下基于传统手工特征和深度学习的行为识别方法,以及多模态融合分类下RGB模态与深度模态融合的方法和其他模态融合的方法。传统手工特征法包括基于时空体积和时空兴趣点的方法（RGB模态）、基于运动变化和外观的方法（深度模态）以及基于骨骼特征的方法（骨骼模态）等;深度学习方法主要涉及卷积网络、图卷积网络和混合网络,重点介绍了其改进点、特点以及模型的创新点。基于不同模态的数据集分类进行不同行为识别技术的对比分析。通过类别内部和类别之间两个角度对比分析后,得出不同模态的优缺点与适用场景、手工特征法与深度学习法的区别和融合多模态的优势。最后,总结了行为识别技术当前面临的问题和挑战,并基于数据模态的角度提出了未来可行的研究方向和研究重点。     

一种基于多工况识别的过程在线监测方法

在包含多个工况的工业生产过程中,各个稳态工况之间存在着一定的过渡过程,虽然过渡时间较短,但其复杂的动态特性使得传统的过程监测方法难以获得满意的效果,为此提出一种基于多工况识别的过程监测方法.首先,通过窗口切割对基本稳态工况进行识别;然后,采用滑动窗技术确定过渡过程的起始和结束时间,并进一步基于差分分段技术对过渡过程的子阶段进行分类,考虑到各阶段数据的不同分布特性,利用独立成分分析和主元分析分别提取各阶段数据的非高斯和高斯信息;最后根据贝叶斯推断将3个统计量进行重构, 实现多工况过程的在线监测.通过TE过程的仿真研究,验证了所提出方法的可行性和有效性.     

基于平均轨迹的连续退火过程带钢硬度预测方法

连续退火工艺使带钢内部晶粒重新转变为均匀等轴晶粒,同时消除加工硬化和残留内应力,带钢的组织和性能恢复到冷变形前状态,是改善带钢的力学性能的关键过程。但实际生产过程中,连续退火过程机理复杂,各种外部操作参数对带钢的性能都能产生影响,彼此间互相耦合,并且对带钢硬度的检测有很大的时间滞后,这对改善带钢硬度指标带来了很大的障碍。选用偏最小二乘方法构建带钢硬度与过程变量平均轨迹之间的关系,可以及时实现带钢硬度预报和过程监测。通过对现场实际数据的仿真分析证明了所提出方法的可行性和有效性。     

连续退火炉加热段过程静态模型的建立

连续退火炉是生产高质量深冲汽车板生产线上重要的生产设备之一。针对其作为一个非线性、时变、多变量强耦合、大时滞的控制对象,难以建立精确的数学模型的问题,在某一连续退火炉加热段已得的静态模型基础上,运用最小二乘法,对模型参数进行辨识,完善模型结构;介绍了最小二乘静态模型算法的编程思想,并通过对大量数据进行模型辨识及Matlab仿真,证明了该算法的有效性。该技术提高了模型精度,对提高工业生产的产品质量及产量具有重要意义。     

考虑安全约束的连退生产过程多目标操作优化

针对连退生产过程中经常出现的薄料带钢跑偏问题,建立考虑安全约束的连退生产过程多目标操作优化模型,并针对问题特点提出一种基于分类和多种群竞争协调的多目标进化算法(MOEA-CMCC).在算法中引入具有不同进化策略的多个种群以增强搜索的多样性,并在多种群之间引入竞争机制和信息共享的协调机制以提高算法的鲁棒性;通过对外部档案集中的解进行分类并在类内进行局部搜索,以保证外部档案集的分散性和算法的收敛速度.基于Benchmark问题的实验结果表明,所提出的算法具有较好的收敛性和分散性;对连退操作优化问题的实验结果表明,所提出的算法能够有效求解该问题.     

非线性系统的多模态ARMAX模型及其参数辨识

本文利用非线性系统多个工作点上的线性化模型,建立了一类参数内插型多模态ＡＲＭＡＸ模型。与传统的线性化模型相比较,在更大的范围内有较高的精度,本文并给出了如何辨识多模态模型参数的方法,仿真例子表明了多模态模型及其参数辨识算法的有效性。     

过程控制常用连续模型的直接辨识法及应用

针对工业过程中最常用的一阶加滞后、二阶加滞后、二阶加零点、二阶加零点及滞后、积分惯性加滞后等环节,给出了基于阶跃响应的连续模型参数直接辨识算法。由传递函数的拉普拉斯逆变换式和对象阶跃响应的采样数据构成模型参数回归表达式,用最小二乘法或辅助变量法直接辨识对象的连续时间传递函数模型参数。仿真与实际应用结果表明,该算法提高了模型辨识精度,减小了对过程的扰动,并且对输出测量噪声不敏感,鲁棒性强,容易编程实现,可提高实际PID控制器参数整定质量。     

CAS-300光亮连续退火模拟实验机的研究与开发

介绍一台由东北大学轧制技术及连轧自动化国家重点实验室成功研制出的一种用于不锈钢冷轧后进行模拟光亮连续退火的实验机,应用德国SIEMENS公司的step7软件编程,能满足光亮连续退火实验机所要求的快速响应及控制功能。该实验设备在国内属于首创,其控制精度不低于国际先进的同类设备,文中阐述了光亮连续退火模拟实验机的特点和用途、设计功能、设备构成、人机界面、控制系统及主要性能指标。     

多元统计过程监控与安全生产

统计过程控制是一种改善产品质量及保证安全生产的有力工具。针对现有多元统计监控技术大多假定所考察的生产过程本身仅存在一个标准运行条件,导致实际应用时往往引发大量的连续报警的问题,本文基于主角度建立了任意两个主元模型相似性的度量,提出了一种基于多主元模型的过程监控方法。通过该方法能有效地检测、诊断工业过程中的异常,以避免事故的发生,将带来巨大的经济效益。最后,讨论了相应的软件实现平台EZMon及其应用。     

基于连续过程特性的炼油生产调度优化研究

针对炼油生产调度问题,基于连续过程特性建立了广义析取规划调度模型。提出了连续性、长期性等连续过程特性定义及其性能指标,基于析取范式和逻辑命题对调度初期、中期和末期的连续过程特性进行了描述,并对连续过程特性性能进行了量化表达和评价,以实现生产利润和连续过程特性性能的综合利益最大化。以某炼油过程生产调度为例,对比有无连续过程特性表达的优化调度仿真结果表明：基于连续过程特性调度模型的调度方案能够提高连续过程特性性能,且更可行、实用,验证了模型的可行性和有效性。