基于忆阻循环神经网络的层次化状态正则变分自编码器

变分自编码器(VAE)作为一个功能强大的文本生成模型受到越来越多的关注。然而,变分自编码器在优化过程中容易出现后验崩溃,即忽略潜在变量,退化为一个自编码器。针对这个问题,该文提出一种新的变分自编码器模型,通过层次化编码和状态正则方法,可以有效缓解后验崩溃,且相较于基线模型具有更优的文本生成质量。在此基础上,基于纳米级忆阻器,将提出的变分自编码器模型与忆阻循环神经网络(RNN)结合,设计一种基于忆阻循环神经网络的硬件实现方案,即层次化变分自编码忆组神经网络(HVAE-MNN),探讨模型的硬件加速。计算机仿真实验和结果分析验证了该文模型的有效性与优越性。     

基于变分自编码器的通信信号生成技术

通信信号生成是通信对抗领域中的重要研究内容。然而在日趋复杂的电磁环境中，由于缺乏对未知信号参数以及信道参数的准确估计，传统通信信号生成技术面临着巨大的挑战。为此，提出了一种基于变分自编码器的通信信号生成技术，运用该生成模型生成与目标信号相似的信号样本，并使用4种仿真信号与广播式自动相关监视系统（Automatic Dependent SurveillanceBroadcast,ADS-B）真实通信信号进行生成与验证。实验结果表明，该技术能够有效地生成满足目标信号要求的样本，为通信干扰波形的生成提供了技术基础。     

基于深度卷积自编码器的岩性分类与识别

在地质勘探与地震信号处理中,岩性分类是一个最基本的问题。然而,由于实际的岩性分类涉及到各种复杂的因素与环节,使得传统的统计和机器学习方法难于得到满意的分类准确率,无法在实际应用中进行有效的岩性识别。为了有效地解决这一问题,本文依据测井曲线数据提出了一种基于深度卷积自编码器的神经网络模型及其相应的参数学习算法,来实现有效的岩性分类与识别,并采用游程平滑算法对分类结果中孤立点进行剔除,进一步改善岩性分类的效果。实验结果表明,即使在少量的测井曲线标注样本条件下,本文所提出的深度学习模型也能够显著地提高了岩性分类的准确率,能够达到实际应用的要求。     

基于钉板分布稀疏变分自编码器的异常检测算法研究

异常检测由于其广泛的应用一直是数据挖掘中一个重要的研究分支,它有助于研究人员获得重要的信息进而对数据做出更好的决策。提出了一种基于钉板分布稀疏变分自编码器的异常检测模型。首先,使用离散-连续混合模型钉板分布作为变分自编码器的先验,模拟隐变量所在空间的稀疏性,得到数据特征的稀疏表示;其次,以所提出的自编码器构建深度支持向量网络,对特征空间进行压缩,并采用最优超球体区分正常数据和异常数据;再次,以数据特征和超球体中心之间的欧氏距离完成异常检测;最后,在基准数据集MNIST （modifiednational institute of standards and technology database）和Fashion-MNIST上的实验评估表明,与现存的异常检测算法相比,本文所提出的算法具有更好的检测效果。     

基于变分主题模型的半监督文本分类

为解决实际应用场景中常面临的数据标注不足的问题,提出一种基于变分主题模型的半监督文本分类模型。首先使用无监督变分主题模型挖掘出语义信息集中的文档-主题分布,作为有效的文档特征表示,再通过半监督方式训练分类器。基于神经网络的变分主题模型相较传统的主题模型,不仅可以得到合理的主题,而且推断速度更快。在20NewsGroup等数据集上的实验结果表明,所提出的模型仅使用30%的训练数据就可以取得与使用90%训练数据的半监督基线模型相当甚至更好的结果,证明了所提出模型的正确性和实用性。     

基于对比增量学习的细粒度恶意流量分类方法

为应对层出不穷的新型网络威胁，提出了一种基于对比增量学习的细粒度恶意流量识别方法。所提方法基于变分自编码器和极值理论，在对已知类、小样本类和未知类流量实现高性能检测的同时，还可以在不采用大量原任务样本的条件下快速实现对新增恶意类的识别，以满足增量学习场景下对存储成本和训练时间的要求。具体来说，模型将对比学习融入变分自编码器的编码阶段，并采用A-Softmax实现对已知类和小样本类的识别；将变分自编码器重构与极值理论结合，采用重构误差实现对未知类的识别；利用变分自编码器存储原有类知识，采用样本重构和知识蒸馏方法，在不采用大量原有类样本的条件下实现对所有类样本的识别。实验结果表明，所提方法不仅实现了对已知类、小样本类和未知类流量高性能检测，并且所设计的样本重构和知识蒸馏模块均可有效降低增量学习场景下对原有类知识的遗忘速度。     

基于条件变分自编码器的端到端情感语音合成方法

情感语音合成作为语音合成的一个重要分支,在人机交互领域得到了广泛的关注。如何获得更好的情感嵌入并有效地将其引入到语音合成声学模型中是目前主要存在的问题。表达性语音合成往往从参考音频中获得风格嵌入,但只能学习到风格的平均表示,无法合成显著的情感语音。该文提出一种基于条件变分自编码器的端到端情感语音合成方法（Conditional Duration-Tacotron,CD-Tacotron）,该方法在Tacotron2模型的基础上进行改进,引入条件变分自编码器从语音信号中解耦学习情感信息,并将其作为条件因子,然后通过使用情感标签将其编码为向量后与其他风格信息拼接,最终通过声谱预测网络合成情感语音。在ESD数据集上的主观和客观实验表明,与目前主流的方法GST-Tacotron和VAE-Tacotron相比,该文提出的方法可以生成更具表现力的情感语音。      

基于条件变分自编码器的射线样本生成算法

射线追踪数据样本的缺失是造成大规模多输入多输出(Massive Multiple-Input Multiple-Output,Massive MIMO)信道特征预测出现较多预测误差较高的用户的主要原因.为了降低高误差用户数及预测误差,提出了一种基于条件变分自编码器(Conditional Variational Aut...     

基于变分自编码器的步态辅助训练装置

为了解决现有装置体积大、引导光线受上肢活动影响、步态训练方案不精准等问题，研制了帕金森病人步态辅助训练装置。该装置包括:主板、锂电池、红外光发射单元、腰部束带、训练方案辅助决策系统，主板包括:电压转换模块、蓝牙模块、语音处理模块等，主处理器STM32F047是装置的控制中枢，训练方案辅助决策系统核心算法为变分自编码器(Variational Auto Encoder， VAE)，本文研制的步态辅助训练装置克服了现有装置的弊端，能够根据患者患病程度、病人年龄等信息生成精准的步态训练方案。     

基于多维云概念嵌入的变分图自编码器研究

变分图自编码器是图嵌入研究中重要的深度学习模型,但存在着先验正态分布缺陷、训练过程中容易出现后验塌陷等问题．本文从建立云概念空间与隐空间的映射关系入手,引入云模型数字特征对网络中的节点进行不确定性概念表示,设计了一种基于多维云模型的变分图自编码器（Variational Graph Autoencoder based on Multidimensional Cloud Model,MCM-VGAE）．该模型实现了隐空间的多维云概念嵌入及相应的漂移性损失度量,将先验分布扩展为泛正态分布,利用多维正向云发生器及云包络带修正采样算法实现了重参数化过程,有效缓解了后验塌陷现象．在应用效果上,模型在多类型数据集上的链路预测、节点聚类、图嵌入可视化实验表现均优于基准模型,进一步说明了方法的普适有效性．     

矢量量化正则变分自编码器做非平行语料语音转换

基于矢量量化变分自编码器(Vector Quantized Variational Autoencoder,VQVAE)的语音转换系统是国内外语音转换领域研究的一大热点,但是其较差的转换音质限制了模型的应用.本文在VQVAE的基础上提出一种改进的矢量量化正则变分自编码器(Vector Quantization Regu...     

基于自编码器理论实现的图像去噪方法研究

为研究一种新型图像去噪的手段,采用机器学习中的自编码器模型对图像进行优化。通过对原始的清晰图像添加噪声,作为编码器模型的输入数据,未添加噪声的原始图像作为标准值,对编码器模型进行训练以提高其图像去噪能力。结果表明,经过一定程度训练的自编码器模型,具备了一定的图像去噪功能。     

一种基于混合概率模型的文本分类方法

提出了一种基于类的混合概率分类方法．该方法为每一类文本独立选取能代表其本质特性的主要特征，即不同类型的文本由不同的主要特征表示，并基于各类的主要特征分别为每类文本建立相应的概率分布模型，然后再根据朴素贝叶斯方法对未知类型的文本进行分类．实验结果表明：该方法简单有效且易于实现．     

浅谈文本分类技术

随着信息技术的发展，信息量呈几何级数增加，人们对信息资源的依赖性越来越大，如何实现信息的分类，尤其是中文文本信息的有效分类是目前中文信息处理研究的一个重要分支领域。本文主要从文本分类技术的角度阐述如何使用户不但能够方便地浏览文档，而且可以通过限制搜索范围来使文档的查找更为容易。     

基于SVM的网络文本分类

文章首先介绍文本分类预处理的几种方法及其不足之处,并提出一种改进的特征提取方法。然后,介绍几种文本分类算法,并指出其缺点。最后本文介绍支持向量机算法,结合改进后的文本预处理方法对网络文本进行分类,并通过与KNN对比分析说明了该算法的高效性能。     

基于跨领域卷积稀疏自动编码器的抽象图像情绪性分类

为了将无监督特征学习应用于小样本量的图像情绪语义分析,该文采用一种基于卷积稀疏自动编码器进行自学习的领域适应方法对少量有标记抽象图像进行情绪性分类。并且提出了一种采用平均梯度准则对自动编码器所学权重进行排序的方法,用于对基于不同领域的特征学习结果进行直观比较。首先在源领域中的大量无标记图像上随机采集图像子块并利用稀疏自动编码器学习局部特征,然后将对应不同特征的权重矩阵按照每个矩阵在3个色彩通道上的平均梯度中的最小值进行排序。最后采用包含池化层的卷积神经网络提取目标领域有标记图像样本的全局特征响应,并送入逻辑回归模型进行情绪性分类。实验结果表明基于自学习的领域适应可以为无监督特征学习在有限样本目标领域上的应用提供训练数据,而且采用稀疏自动编码器的跨领域特征学习能在有限数量抽象图像情绪语义分析中获得比底层视觉特征更优秀的辨识效果。     

基于动态规整与改进变分自编码器的异常电池在线检测方法

针对电池生产成组过程中,传统异常检测方法对混入的容量及压差异常电池检测精度低及生产结束后离线异常检测方法效率低等问题,该文提出一种集合长短期记忆变分自编码器与动态时间规整评价的锂电池异常在线检测方法(VAE-LSTM-DTW),实现了异常电池的在线检测,避免了离线异常检测所造成的时间和能源的浪费。该方法首先将长短期记忆网络(LSTM)引入变分自编码器(VAE)模型,训练电池时序数据重构模型;其次,在电池异常检测的度量标准中引入动态时间规整值(DTW),并基于贝叶斯寻优获得最优检测阈值,对每个单体电池重构数据的动态规整值进行异常辨别。实验结果表明,相较该领域传统异常检测方法,VAE-LSTM-DTW模型性能优越,查准率和F1值都得到了较大的提升,具有较高的有效性和实用性。     

基于神经网络的文本分类

文章针对基于深度神经网络的方法给出一些具有代表性的文本分类模型,即基于词向量合成的模型、基于RNN/CNN的模型和基于注意力机制的模型,并阐述其基本思想。     

基于ERNIE-TextCNN模型的医学文本分类方法

目前医院信息系统中还包括大量的非结构化数据,从中挖掘信息存在较大的难度。本研究采用ERNIE-TextCNN模型,对医学内镜报告进行文本分类。实验显示,相比单纯的ERNIE模型和TextCNN模型,ERNIE-TextCNN模型的精确率、召回率和F1分数上都有所提升,说明该模型能够有效地应用到医学文本分类领域。