基于忆阻循环神经网络的层次化状态正则变分自编码器

变分自编码器(VAE)作为一个功能强大的文本生成模型受到越来越多的关注。然而,变分自编码器在优化过程中容易出现后验崩溃,即忽略潜在变量,退化为一个自编码器。针对这个问题,该文提出一种新的变分自编码器模型,通过层次化编码和状态正则方法,可以有效缓解后验崩溃,且相较于基线模型具有更优的文本生成质量。在此基础上,基于纳米级忆阻器,将提出的变分自编码器模型与忆阻循环神经网络(RNN)结合,设计一种基于忆阻循环神经网络的硬件实现方案,即层次化变分自编码忆组神经网络(HVAE-MNN),探讨模型的硬件加速。计算机仿真实验和结果分析验证了该文模型的有效性与优越性。     

基于多维云概念嵌入的变分图自编码器研究

变分图自编码器是图嵌入研究中重要的深度学习模型,但存在着先验正态分布缺陷、训练过程中容易出现后验塌陷等问题．本文从建立云概念空间与隐空间的映射关系入手,引入云模型数字特征对网络中的节点进行不确定性概念表示,设计了一种基于多维云模型的变分图自编码器（Variational Graph Autoencoder based on Multidimensional Cloud Model,MCM-VGAE）．该模型实现了隐空间的多维云概念嵌入及相应的漂移性损失度量,将先验分布扩展为泛正态分布,利用多维正向云发生器及云包络带修正采样算法实现了重参数化过程,有效缓解了后验塌陷现象．在应用效果上,模型在多类型数据集上的链路预测、节点聚类、图嵌入可视化实验表现均优于基准模型,进一步说明了方法的普适有效性．     

基于随机Transformer的多维时间序列异常检测模型

针对已有基于变分自编码器（VAE）的多维时间序列（MTS）异常检测模型无法在隐空间中传播随机变量间的长时依赖性问题，提出了一种融合Transformer编码器和VAE的随机TransformerMTS异常检测模型（ST-MTS-AD）。在ST-MTS-AD的推断网络中，Transformer编码器产生的当前时刻MTS长时依赖特征和上一时刻随机变量的采样值被输入多层感知器，由此生成当前时刻随机变量的近似后验分布，实现随机变量间的时序依赖。采用门控转换函数（GTF）生成随机变量的先验分布，ST-MTS-AD的生成网络由多层感知器重构MTS各时刻取值分布，该多层感知器的输入为推断网络生成的MTS的长时依赖特征和随机变量近似后验采样值。ST-MTS-AD基于变分推断技术学习正常MTS样本集分布，由重构概率对数似然确定MTS异常片段。4个公开数据集上的实验表明，ST-MTS-AD模型比典型相关基线模型的F1分数有明显提升。     

基于钉板分布稀疏变分自编码器的异常检测算法研究

异常检测由于其广泛的应用一直是数据挖掘中一个重要的研究分支,它有助于研究人员获得重要的信息进而对数据做出更好的决策。提出了一种基于钉板分布稀疏变分自编码器的异常检测模型。首先,使用离散-连续混合模型钉板分布作为变分自编码器的先验,模拟隐变量所在空间的稀疏性,得到数据特征的稀疏表示;其次,以所提出的自编码器构建深度支持向量网络,对特征空间进行压缩,并采用最优超球体区分正常数据和异常数据;再次,以数据特征和超球体中心之间的欧氏距离完成异常检测;最后,在基准数据集MNIST （modifiednational institute of standards and technology database）和Fashion-MNIST上的实验评估表明,与现存的异常检测算法相比,本文所提出的算法具有更好的检测效果。     

有限贝塔刘维尔混合模型的变分学习及其应用

由于贝塔刘维尔分布的共轭先验分布中存在积分表达式,贝叶斯估计有限贝塔刘维尔混合模型参数异常困难.本文提出利用变分贝叶斯学习模型参数,采用gamma分布作为近似的先验分布并使用合理的非线性近似技术,得到了后验分布的近似解.与常用的EM算法相比,该方法能够同时估计模型参数和确定分量数,且避免了过拟合的问题.在合成数据集及场景分类问题上进行了大量的实验,实验结果验证了本文所提方法的有效性.     

基于对比增量学习的细粒度恶意流量分类方法

为应对层出不穷的新型网络威胁，提出了一种基于对比增量学习的细粒度恶意流量识别方法。所提方法基于变分自编码器和极值理论，在对已知类、小样本类和未知类流量实现高性能检测的同时，还可以在不采用大量原任务样本的条件下快速实现对新增恶意类的识别，以满足增量学习场景下对存储成本和训练时间的要求。具体来说，模型将对比学习融入变分自编码器的编码阶段，并采用A-Softmax实现对已知类和小样本类的识别；将变分自编码器重构与极值理论结合，采用重构误差实现对未知类的识别；利用变分自编码器存储原有类知识，采用样本重构和知识蒸馏方法，在不采用大量原有类样本的条件下实现对所有类样本的识别。实验结果表明，所提方法不仅实现了对已知类、小样本类和未知类流量高性能检测，并且所设计的样本重构和知识蒸馏模块均可有效降低增量学习场景下对原有类知识的遗忘速度。     

精度分类量测数据的变分贝叶斯自适应Kalman滤波算法

针对带有精度分类信息的方差未知量测数据的滤波问题,本文提出了一种扩展的变分贝叶斯自适应Kalman滤波(EVB-AKF)算法。该算法在量测数据精度等级不变或降低时将后验分布参数修正为原VB-AKF算法外推近似值与精度分类信息对应的方差上界的加权和的形式,并在精度等级提高时利用精度分类信息重置后验分布参数,解决了VB-AKF算法后验分布参数一阶常系数模型不能完全适应量测噪声方差动态变化的问题。仿真结果表明,该算法能够快速有效的估计出动态变化的量测噪声方差,并且能够有效的实现数据滤波。      

融合抗噪机制的图变分自编码器社交网络推荐方法研究

链路预测是根据复杂网络中已有的拓扑信息预测网络中两个不相邻的节点间产生连接的可能性,是社交网络推荐中使用的主要方法之一。随着社交网络近些年来蓬勃发展,数据量的剧烈增加无可避免地导致坏数据的出现（即目标节点特征属性缺失,或是目标节点特征属性错乱）。为了解决有节点属性社交网络中因为节点特征缺失导致的链路预测准确率降低的问题,提出了一种结合噪声对抗机制的图变分自编码器模型（Denoising Graph Variational Autoencoder,DGVAE）来优化链路预测效果。通过建立一种图变分自编码器结构,并设计一个噪声对抗模块,使得图变分自编码器能够有效地抵抗噪声干扰。经过一系列实验的验证,在有节点属性的网络中,采用噪声对抗的图变分自编码器模型能够有效地预测复杂的网络结构,而且在数据有冗余噪声的情况下,这种模型的预测效果有显著的改善。     

平坦衰落信道下基于变分贝叶斯的多天线信号联合符号检测算法

该文针对平坦衰落信道下存在信道参数差异的多天线接收信号联合参数估计和符号检测问题,提出一种基于变分贝叶斯的联合处理算法。算法直接利用多个接收数据流进行信息符号的估计,抑制传统信号合成与解调解耦处理带来的性能损失。将问题建模为已知多组观测数据条件下发送符号、信道传输时延、信道增益和噪声功率的联合最大后验估计问题。基于变分贝叶斯理论对该最大后验进行近似求解,在相对熵最小化的准则下,推导得到了各个待估参数解析形式的近似后验分布——变分分布。所提算法无需计算各参数精确的点估计值,而是采用信道参数和信息符号变分分布迭代处理的方式进行联合求解。仿真结果表明,所提算法通过多信号、多参数的联合处理能够获得优于经典解耦处理和部分联合处理技术的系统误码率性能,且在接收天线数目较多和观测数据长度较短时性能优势体现更加明显。     

基于稳健变分自编码模型的雷达高分辨距离像目标识别算法

对于雷达高分辨距离像的识别问题,传统深层网络通常忽略了HRRP自身的目标特性,不利于学习有效的分类特征,导致其识别性能受到限制.针对这一问题,本文提出了一种基于稳健变分自编码模型的目标识别算法.该算法结合HRRP数据特性,利用平均像在散射点不发生越距离单元走动的方位帧内具有稳健物理特性的性质,基于变分自编码器构建了稳健变分自编码模型.该模型不仅能够获取稳健有效的识别特征,而且在一定程度上保存了数据的帧内结构信息,较大地提高了目标的平均识别率.基于实测HRRP数据验证了所提算法的有效性.     

基于Transformer编码器的金融文本情感分析方法

目前针对文本情感分析的研究大多集中在商品评论和微博的情感分析领域,对金融文本的情感分析研究较少。针对该问题,文中提出一种基于Transformer编码器的金融文本情感分析方法。Transformer编码器是一种基于自注意力机制的特征抽取单元,在处理文本序列信息时可以把句中任意两个单词联系起来不受距离限制,克服了长程依赖问题。文中所提方法使用Transformer编码器构建情感分析网络。Transformer编码器采用多头注意力机制,对同一句子进行多次计算以捕获更多的隐含在上下文中的语义特征。文中在以金融新闻为基础构建的平衡语料数据集上进行实验,并与以卷积神经网络和循环神经网络为基础构建的模型进行对比。实验结果表明,文中提出的基于Transformer编码器的方法在金融文本情感分析领域效果最好。     

基于稀疏自编码器和边缘保持的Wishart马尔科夫随机场的极化SAR图像分类

针对极化SAR图像训练样本数目较少问题以及极化SAR图像同质区域较多的特性,提出了一种新的两层分类框架,结合了稀疏自编码器和边缘保持的Wishart马尔科夫随机场对极化SAR图像进行分类.该框架包括个步骤,第一个步骤使用稀疏自编码器来获得一个初始分类;第二个步骤使用边缘保持的Wishart马尔科夫随机场对第一层的分类结果进行修正.在应用Wishart马尔科夫随机场的过程中,由稀疏自编码器分类得到的边缘得以保持,并且提出了新的分类错误纠正策略确保分类的准确性.因此,通过稀疏自编码器得到的精确分类边缘可用于不同的区域并且在应用Wishart马尔科夫的过程中得以保持.和其他分类方法相比,该方法得到较高的分类精度,证明了新方法的有效性.     

基于稀疏自编码器和边缘保持的Wishart马尔科夫随机场的极化SAR图像分类（英文）

针对极化SAR图像训练样本数目较少问题以及极化SAR图像同质区域较多的特性,提出了一种新的两层分类框架,结合了稀疏自编码器和边缘保持的Wishart马尔科夫随机场对极化SAR图像进行分类.该框架包括个步骤,第一个步骤使用稀疏自编码器来获得一个初始分类;第二个步骤使用边缘保持的Wishart马尔科夫随机场对第一层的分类结果进行修正.在应用Wishart马尔科夫随机场的过程中,由稀疏自编码器分类得到的边缘得以保持,并且提出了新的分类错误纠正策略确保分类的准确性.因此,通过稀疏自编码器得到的精确分类边缘可用于不同的区域并且在应用Wishart马尔科夫的过程中得以保持.和其他分类方法相比,该方法得到较高的分类精度,证明了新方法的有效性.     

贝塔混合模型的变分贝叶斯学习及应用

贝塔混合模型（Beta Mixture Model,BMM）是一种重要的非高斯概率模型,常用于有界数据的统计分析.但是由于其表达式复杂,BMM的参数估计比较困难.针对该问题,本文提出一种高效的变分贝叶斯学习方法进行参数估计.该方法采用形式简单的自由分布,通过不断最大化初始变分目标函数的下界,迭代逼近得到真实的贝叶斯后验分布.在合成数据集与实际数据集上进行实验,实验结果证明了所提出算法的有效性和可行性.     

基于变分方法的超分辨率

基于全变分先验和变分分布.提出一个新颖的超分辨率算法,使用分级的贝叶斯框架,能够同时计算出重建的高分辨率图像和模型参数.本算法利用变分推论给出变量的后验分布近似.因为能够同时估计出模型参数,是自动的过程,无需对参数人工调节.实验结果表明所提算法在重建质量上优于当前主流的算法.     

基于混合高斯变分自编码网络的异常检测算法

异常数据是指偏离大量正常数据点的数据,往往会对各类系统产生负面影响,存在较大风险。异常检测作为一种有效的防护手段,能够检测数据中的异常,为各类系统的正常运转提供重要支撑,具有重要的现实意义。提出了一种基于混合高斯变分自编码网络的异常检测算法,该算法首先使用混合高斯先验构建变分自编码器,对输入数据进行特征提取,然后以混合高斯变分自编码器构建深度支持向量网络,压缩特征空间,并寻找最小超球体分离正常数据和异常数据,通过计算数据特征到超球体中心的欧氏距离衡量数据的异常分数,并以此进行异常检测。最后在基准数据集MNIST和Fashion-MNIST上评估了该算法,平均AUC分别达到了0.954和0.937。实验结果表明,所提出的算法取得了较好的异常检测效果。     

基于动态规整与改进变分自编码器的异常电池在线检测方法

针对电池生产成组过程中,传统异常检测方法对混入的容量及压差异常电池检测精度低及生产结束后离线异常检测方法效率低等问题,该文提出一种集合长短期记忆变分自编码器与动态时间规整评价的锂电池异常在线检测方法(VAE-LSTM-DTW),实现了异常电池的在线检测,避免了离线异常检测所造成的时间和能源的浪费。该方法首先将长短期记忆网络(LSTM)引入变分自编码器(VAE)模型,训练电池时序数据重构模型;其次,在电池异常检测的度量标准中引入动态时间规整值(DTW),并基于贝叶斯寻优获得最优检测阈值,对每个单体电池重构数据的动态规整值进行异常辨别。实验结果表明,相较该领域传统异常检测方法,VAE-LSTM-DTW模型性能优越,查准率和F1值都得到了较大的提升,具有较高的有效性和实用性。     

一种基于数据偏斜的改进KNN文本分类

KNN是一种简单、有效、非参数的分类算法.针对样本分布偏斜的分类环境,首先提出了一种改进的特征选择方法进行特征降维,在此基础上进一步提出了一种基于分布的改进KNN方法用于文本分类,降低了分布偏斜问题对决策函数的影响.试验表明,所提出的改进KNN文本分类方法具有较好的分类性能.     

基于变分主题模型的半监督文本分类

为解决实际应用场景中常面临的数据标注不足的问题,提出一种基于变分主题模型的半监督文本分类模型。首先使用无监督变分主题模型挖掘出语义信息集中的文档-主题分布,作为有效的文档特征表示,再通过半监督方式训练分类器。基于神经网络的变分主题模型相较传统的主题模型,不仅可以得到合理的主题,而且推断速度更快。在20NewsGroup等数据集上的实验结果表明,所提出的模型仅使用30%的训练数据就可以取得与使用90%训练数据的半监督基线模型相当甚至更好的结果,证明了所提出模型的正确性和实用性。     

基于条件变分自编码器的端到端情感语音合成方法

情感语音合成作为语音合成的一个重要分支,在人机交互领域得到了广泛的关注。如何获得更好的情感嵌入并有效地将其引入到语音合成声学模型中是目前主要存在的问题。表达性语音合成往往从参考音频中获得风格嵌入,但只能学习到风格的平均表示,无法合成显著的情感语音。该文提出一种基于条件变分自编码器的端到端情感语音合成方法（Conditional Duration-Tacotron,CD-Tacotron）,该方法在Tacotron2模型的基础上进行改进,引入条件变分自编码器从语音信号中解耦学习情感信息,并将其作为条件因子,然后通过使用情感标签将其编码为向量后与其他风格信息拼接,最终通过声谱预测网络合成情感语音。在ESD数据集上的主观和客观实验表明,与目前主流的方法GST-Tacotron和VAE-Tacotron相比,该文提出的方法可以生成更具表现力的情感语音。