基于随机变分推理贝叶斯神经网络的发电机轴承故障诊断

近年来,许多基于深度学习的方法被用于故障诊断领域,并且取得了良好的效果,但是发电机故障样本数据难以获取,在数据量较少的情况下,基于深度学习的方法存在过拟合现象,导致模型泛化能力差、诊断精度不高.为了解决这一问题,提出一种基于随机变分推理贝叶斯神经网络的故障诊断方法.该方法以贝叶斯推理与随机变分推理为基础,可以根据少量数据得到较为可靠的模型,获得网络各层参数的概率分布,有效解决过拟合的问题.采用证据下限(evidence lower bound, ELBO)派生类函数TraceGraph ELBO进行随机变分推理,解决派生类函数Trace ELBO诊断精度较低的问题.将所提方法应用于发电机轴承的故障诊断,并与其他方法对比,结果表明,所提方法在故障样本数据量较少的情况下具有较高的诊断性能.     

面向污水处理的动态变分贝叶斯混合因子故障诊断

在污水生化处理过程中,存在着多变量耦合、强非线性、参数时变、大滞后等特点,面对这些特点,传感器故障频发,从而导致生化过程无法得到有效优化和诊断.为此,本文在结合动态数据特性的基础上提出了一种基于变分贝叶斯混合因子的动态故障诊断方法,同时,利用混合因子的在线调整实现了诊断模型的半自适应化.该方法能够捕捉到污水处理过程的强非线性和动态性,从而可有效降低故障诊断的误报率和漏报率.通过在国际水协会的BSM1模型上的模拟研究,充分表明所提出的策略可以显著提高故障诊断能力,精确地检测传感器的突变和漂移故障,甚至定位故障所发生的根本原因.     

基于变分贝叶斯算法的青霉素发酵过程建模

青霉素发酵过程具有明显的阶段特征,同时由于操作条件多变、生产环境复杂等原因导致其存在极大的不确定性,故本文在变分贝叶斯框架下建立了青霉素浓度预测的FIR融合模型。首先选取调度变量对发酵阶段进行划分,然后基于变分贝叶斯算法辨识得到各FIR子模型的参数,最后根据阶段特征计算样本隶属于各子模型的概率并融合子模型的输出得到青霉素浓度的预测值。文中利用工业规模青霉素发酵罐的实际数据进行仿真实验,模型预测青霉素浓度的相关误差为0.24%,表明提出模型具有较高的拟合度,能够更为精准的预测青霉素浓度并适应实际的复杂工业环境。     

基于变分贝叶斯推断的字典学习算法

传统的字典学习算法在对训练图像进行学习时收敛速率慢,当图像受到噪声干扰时学习效果变差.对此,提出一种基于变分推断的字典学习算法.首先设定模型中各参数的共轭稀疏先验分布;然后基于贝叶斯网络求出所有参数的联合概率密度函数;最后利用变分贝叶斯推断原理计算出各参数的最优边缘分布,训练出自适应学习字典.利用该字典进行图像去噪实验以及压缩感知重构实验,仿真结果表明,所提出的算法可显著提高字典学习效率,对测试图像的去噪效果和重构精度有很大改善.     

基于变分贝叶斯改进的说话人聚类算法

说话人聚类是说话人分离中的一个重要过程,然而传统的以贝叶斯信息准则作为距离测度的层次聚类方式,会出现聚类误差向上传递的情况。本文提出了一种逐级算法增强处理机制。当片段之间的最小贝叶斯信息准则距离超过设定的门限值时,或者类别个数到达一定程度时,将当前聚类结果作为初始类中心,通过变分贝叶斯迭代法重新对每个类别中的片段调优,最后再依据概率线性判别分析得分门限确定说话人个数。实验表明,本文方法在美国国家标准技术署08 summed测试集上,使得“类纯度”和“说话人纯度”比传统算法都有了一定提升,且使得说话人分离整体性能相对提升了27.6%。     

基于动态剪枝的关联规则挖掘算法

介绍了目前关联规则挖掘的研究工作 .分两个部分提出了基于动态剪枝的关联规则发现方法 .讨论了如何实施动态剪枝 ,给出了一个基于三元组结构的树式存储结构 ,在此基础上描述了交易数据库中知识发现算法 .并将提出的方法与关联规则挖掘中具有里程碑意义的 Apriori算法进行了对比分析 ,给出了相应的分析结果 ,实验表明该方法能有效地从数据集中发现关联规则     

基于变分贝叶斯高斯混合噪声模型的机器人跨模态生成对抗网络

多模态融合对于机械手充分感知外界环境至关重要,单一模态信息会限制机械手对物体的识别、抓取能力,而传统的跨模态数据生成方法生成的图像效果较差,导致多模态融合效果并不理想.为了解决跨模态生成的图像效果差和多模态融合的数据缺乏等问题,本文提出变分贝叶斯高斯混合条件生成对抗网络(BGM-CGAN)的跨模态多样性噪声数据生成式方...     

二值probit回归模型的坍缩变分贝叶斯推断算法

给出了二值probit回归模型的坍缩变分贝叶斯推断算法.此算法比变分贝叶斯推断算法能更逼近对数边缘似然,得到更精确的模型参数后验期望值.如果两个算法得到的分类错误一致,则该算法的迭代次数较变分法明显减少.仿真实验结果验证了所提出算法的有效性.     

基于分组的次数与规则剪枝相结合的语言模型压缩方法研究

由于庞大的训练语料,统计语言模型的大小往往会超出手持设备的存储能力。随着现阶段资源受限设备的迅速发展,语言模型的压缩研究也就显得更加重要。本文提出了一个语言模型压缩方法,即将次数剪切与规则剪枝方法相结合,并使用分组的方法保证在不减少单元数目的情况下压缩模型。文章对使用新的算法得到的语言模型与次数剪切和规规则剪枝方法分别进行困惑度比较。实验结果表明,使用新方法得到的语言模型性能更好。     

统计机器翻译中一致性解码方法比较分析

该文对近年来统计机器翻译研究中出现的多种一致性解码方法进行比较与分析。根据现有一致性解码方法对(单个或多个)统计机器翻译系统输出结果使用方式的不同,首先将其归纳为两大类 基于翻译假设重排序的一致性解码方法和基于翻译假设重组合的一致性解码方法;然后,针对每类方法,分别回顾其最具代表性的研究工作;最后,通过在大规模中—英机器翻译评测数据上的对比实验,对该文中介绍的多种方法进行比较,并对该课题未来研究方向进行展望。     

基于变分信息瓶颈的半监督神经机器翻译

变分方法是机器翻译领域的有效方法,其性能较依赖于数据量规模.然而在低资源环境下,平行语料资源匮乏,不能满足变分方法对数据量的需求,因此导致基于变分的模型翻译效果并不理想.针对该问题,本文提出基于变分信息瓶颈的半监督神经机器翻译方法,所提方法的具体思路为:首先在小规模平行语料的基础上,通过引入跨层注意力机制充分利用神经网络各层特征信息,训练得到基础翻译模型;随后,利用基础翻译模型,使用回译方法从单语语料生成含噪声的大规模伪平行语料,对两种平行语料进行合并形成组合语料,使其在规模上能够满足变分方法对数据量的需求;最后,为了减少组合语料中的噪声,利用变分信息瓶颈方法在源与目标之间添加中间表征,通过训练使该表征具有放行重要信息、阻止非重要信息流过的能力,从而达到去除噪声的效果.多个数据集上的实验结果表明,本文所提方法能够显著地提高译文质量,是一种适用于低资源场景的半监督神经机器翻译方法.     

决策树剪枝加强的关联规则分类方法

传统关联规则挖掘在面临分类决策问题时,易出现非频繁规则遗漏、预测精度不高的问题。为得到正确合理且更为完整的规则,提出了一种改进方法 DT-AR(decision tree-association rule algorithm),利用决策树剪枝策略对关联规则集进行补充。该方法利用FP-Growth(frequent pattern growth)算法得到关联规则集,利用C4.5算法构建后剪枝决策树并提取分类规则,在进行置信度迭代筛选后与关联规则集取并集修正,利用置信度作为权重系数采取投票法进行分类。实验结果表明,与传统关联规则挖掘和决策树剪枝方法相比,该方法得到的规则在数据集分类结果上更准确。     

规则可生长与修剪的非线性系统T-S模糊模型辨识

通常离线提取 T-S 模糊模型的规则后, 规则数无法在模型使用中进行调整, 而这成为表达非线性系统复杂性的一个瓶颈. 针对这一问题, 本文引入一种神经网络的生长和修剪方法, 从实时数据中提取 T-S 模型的规则, 并定义其对应局部模型对输出的影响, 以此作为在线调整规则数的依据, 从而更准确地表达了非线性系统的复杂性和运行中的变化. 再加上基于竞争性 EKF(Extended Kalman filter) 的模型参数在线学习, T-S 模型的建模精度也得到了保证. 整个算法完全实现了 T-S 模糊模型的在线辨识, 使模型的结构和参数具有很好的自适应能力. 对 CSTR(Continuously stirred tank reactor) 系统的辨识, 表明了该算法在处理非线性系统辨识问题上的优越性能.     

稀疏贝叶斯模型与相关向量机学习研究

虽然支持向量机在模式识别的相关领域得到了广泛应用,但它自身固有许多不足之处.相关向量机是在稀疏贝叶斯框架下提出的稀疏模型,模型没有规则化系数,核函数不要求满足Mercer条件.相关向量机不仅具备良好的泛化能力,而且还能够得到具有统计意义的预测结果.首先介绍了稀疏贝叶斯回归和分类模型,通过参数推断过程,将相关向量机学习转化为最大化边缘似然函数估计,并分析了3种估计方法,给出了快速序列稀疏贝叶斯学习算法流程.     

子空间聚类的非参数模型及变分贝叶斯学习

子空间聚类的目标是在不同的特征子集上对给定的一组数据归类.此非监督学习方法试图发现数据"在不同表达下的相似"模式,并且引起了相关领域大量的关注和研究.首先扩展Hoff提出的"均值与方差平移"模型为一个新的基于特征子集的非参数聚类模型,其优点是能应用变分贝叶斯方法学习模型参数.此模型结合Dirichlet过程混合模型和选择特征子集的非参数模型,能自动选择聚类个数和进行子空间聚类.然后给出基于马尔可夫链蒙特卡罗的参数后验推断算法.出于计算速度上的考虑,提出应用变分贝叶斯方法学习模型参数.在仿真数据上的实验结果及在人脸聚类问题上的应用均表明了此模型能同时选择相关特征和在这些特征上具有相似模式的数据点.在UCI"多特征数据库"上应用无需抽样的变分贝叶斯方法,其实验结果说明此方法能快速推断模型参数.     

汉蒙翻译模型中的依存语法与形态信息应用研究

该文提出将源语言句法信息和目标语言形态信息引入汉蒙机器翻译的模型构造中,以降低译文的词形错误率等问题。在源语言端,利用汉语依存句法分析器获取依存树,将依存句法信息以标注形式记在每个词上;在目标语言端,分析并获取蒙古语形态信息;利用LOP思想将源语言依存句法信息和目标语言形态信息引入翻译模型构造中。实验表明,其BLEU评分比传统的短语统计翻译模型有明显提高。该方法通过词、短语、句法三层面信息的结合,实现了汉蒙两种语言语法结构的平衡,特别适合于源语言形态信息贫乏而目标语言形态信息丰富的统计机器翻译系统。     

利用统计搭配模型改进基于实例的机器翻译

基于实例的机器翻译(example-based machine translation,简称EBMT)使用预处理过的双语例句作为主要翻译资源,通过编辑与待翻译句子匹配的翻译实例来生成译文.在EBMT系统中,翻译实例选择及译文选择对系统性能影响较大.提出利用统计搭配模型来增强EBMT系统中翻译实例选择及译文选择的能力,提高译文质量.首先,使用单语统计词对齐从单语语料中训练统计搭配模型.然后,利用该模型从3个方面提高EBMT的性能:(1)利用统计搭配模型估计待翻译句子与翻译实例之间的匹配度,从而增强系统的翻译实例选择能力;(2)通过引入候选译文与上下文之间搭配强度的估计来提高译文选择能力;(3)使用统计搭配模型检测翻译实例中被替换词的搭配词,同时根据新的替换词及上下文对搭配词进行矫正,进一步提高EBMT系统的译文质量.为了验证所提出的方法,在基于词的EBMT系统上评价了英汉翻译的译文质量.与基线系统相比,所提出的方法使译文的BLEU得分提高了4.73～6.48个百分点.在半结构化的EBMT系统上进一步检验了基于统计搭配模型的译文选择方法,从实验结果来看,该方法使译文的BLEU得分提高了1.82个百分点.同时,人工评价结果显示,改进后的半结构化EBMT系统的译文能够表达原文的大部分信息,并且具有较高的流利度.