结合知识图谱的变分自编码器零样本图像识别

近年来,结合生成模型的零样本算法得到了广泛的研究,但此类方法通常仅使用属性注释,缺少类别语义,而单一信息对类别表征能力不够强,容易产生域偏移,影响知识迁移的效果,进而降低分类结果的准确率。为了解决此问题,提出一种结合知识图谱变分自编码器零样本识别算法（KG-VAE）,通过构建联合类别分级结构,类别文本描述和词向量的层次结构化知识图谱作为语义信息库,将知识图谱中丰富的语义知识结合到以变分自编码器为基础的生成模型中,使生成的潜在特征更好保留有效的判定性信息,减小域偏移,促进知识迁移。在四个公开的零样本数据集上进行了实验,对比基准方法 CADA-VAE,分类平均准确率有一定的提高;同时利用消融实验证明了知识图谱作为语义辅助信息的有效性。     

基于变分自编码的半监督微博文本情感分析

针对微博文本情感分析中大量有标记数据难获取,以及文本特征学习不完全的问题,提出将长短时记忆网络(Long Short-Term Memory,LSTM)及其衍生模型双向长短时记忆网络(Bi-LSTM)引入变分自编码生成模型,构建基于变分自编码的半监督文本分类模型.其中LSTM作为变分编码器中的编码器和解码器,Bi-LSTM作为分类器.分类器既为编码器提供标签信息共同生成隐变量,也与隐变量通过解码器共同重构数据,利用无标记数据的有用信息提高分类器的性能.与其他方法在同一公开数据集上对比的实验结果表明,该模型的分类效果更好.     

基于案件要素指导及深度聚类的新闻与案件相关性分析

新闻与案件相关性分析是案件领域新闻舆情分析的基础,其可以转化为文本聚类问题。由于缺乏有效的监督信息,传统聚类方法易导致聚类发散,降低结果的准确性。针对案件和新闻文本的特点,该文提出了基于案件要素指导及深度聚类的新闻与案件相关性分析方法。该方法首先抽取出重要的句子表征文本;然后利用案件要素对案件进行表征,用于初始化聚类中心,指导聚类的搜索过程;最后选用卷积自编码器获得文本表征,利用重构损失和聚类损失联合训练网络,使文本的表征更接近于案件,并将文本表征和聚类过程统一到同一框架中,交替更新自编码器参数及聚类模型参数,实现文本聚类。实验表明,该文的方法较基线方法在准确率上提高了4.61%。     

基于云模型的变分自编码器数据压缩方法

图像数据解压缩问题是一类重要的数据处理问题，数据特征学习在数据压缩研究中有重要的研究价值。提出了一种基于云模型的变分自编码器特征表征模型，将云模型作为变分自编码器的先验分布，解决变分自编码器在特征表征上的局限性。变分自编码器的编码器部分负责构建数据的特征空间，通过在该空间中采样获得隐变量，完成数据压缩；解码器部分完成从数据特征到原数据的生成，即数据的解压。在人脸数据集上与原方法作实验对比，验证了该方法的正确性和有效性。     

融合复杂先验与注意力机制的变分自动编码器

传统变分自动编码器模型通常使用标准正态分布作为隐向量先验,当应用于推荐系统等复杂任务时容易导致模型过度正则化和隐向量解耦表现不佳。融合复杂隐向量先验与注意力机制,建立变分自动编码器模型。使用多层神经网络生成的隐向量先验分布替代标准正态分布作为假设先验分布,使得模型能根据数据学习先验分布并获得更多的潜在表征。在单层隐向量的基础上添加辅助隐向量,联合辅助隐向量与数据特征向量再生成隐向量,增强了隐向量的低维表现能力和解耦性。借助注意力机制的特征信息选择特点,对隐向量中重要节点赋予更大的权重值,使其能传递更重要的信息。在数据集Movielens-1M、Movielens-Latest-Small、Movielens-20M和Netflix上的实验结果表明,该模型的Recall@20、Recall@50、NDCG@100相较于基线模型平均提升了12.95%、10.80%、10.48%,具有更高的推荐精确度。     

基于门控联合池化自编码器的通用性文本表征

为了学习文本的语义表征,以往的研究者主要依赖于复杂的循环神经网络(recurrent neural networks, RNNs)和监督式学习方法。该文提出了一种门控联合池化自编码器(gated mean-max AAE)用于学习中英文的文本语义表征。该文的自编码器完全通过多头自注意力机制(multi-head self-attention mechanism)来构建编码器和解码器网络。在编码阶段,提出了均值—最大化(mean-max)联合表征策略,即同时运用平均池化(mean pooling)和最大池化(max pooling)操作来捕获输入文本中多样性的语义信息。为促使联合池化表征可以全面地指导重构过程,解码器采用门控操作进行动态关注。通过在大规模中英文未标注语料上训练模型,获得了高质量的句子编码器。在重构文本段落的实验中,该文模型在实验效果和计算效率上均超越了传统的RNNs模型。将公开训练好的文本编码器,使其可以方便地运用于后续的研究。     

基于重构对比的广义零样本图像分类

广义零样本图像分类中常使用生成模型重构视觉信息或语义信息用于再进一步学习.然而,基于变分自编码器的方法对重构样本利用不够充分,表示性能欠缺.因此,文中提出基于重构对比的广义零样本图像分类模型.首先,使用两个变分自编码器将视觉信息和语义信息编码为同维度的低维隐向量,再将隐向量分别解码到两种模态.然后,使用投影模块投影视觉信息与语义模态的隐向量重构的视觉模态信息.最后,对投影后的特征进行重构对比学习.在保持变分自编码器重构性能的基础上增强编码器重构的判别性能,提高预训练特征在广义零样本图像分类任务上的应用能力.在4个标准数据集上的实验证实文中模型的有效性.     

基于变分自编码器的实验设计

针对现有实验设计方法难以对复杂系统进行高效实验设计的问题, 本文提出了一种基于变分自编码器的实验设计方法, 首先利用实验历史记录数据训练变分自编码器将复杂的实验样本空间编码到一个较为简单的隐变量空间, 然后在该隐变量空间里进行取样, 最后通过解码器还原产生新的实验样本, 完成实验设计. 通过对比本文方法与数种基准实验设...     

跨域变分对抗自编码器

现有跨域图像生成算法通常要求用户提供成对数据,且生成能力有限,往往仅支持一对一的跨域图像生成.针对以上问题,提出了一种跨域变分对抗自编码器框架,在不提供任何成对数据的前提下,实现了跨域图像的一对多连续变换.假定来自不同域的图像共享相同的内容属性,且拥有独立的风格属性,则跨域图像一对多连续变换问题可转换为图像内容属性和风格属性的解耦、编码、拟合和跨域拼接.首先利用编码器解耦建立跨域数据的内容编码和风格编码;然后利用对抗操作和变分操作分别去拟合图像的内容编码和风格编码;最后通过拼接单域图像的内容编码和风格编码实现图像重构,通过交叉拼接不同域的内容编码和风格编码得到跨域图像的一对多连续变换.在标准数据集MNIST和SVHN上进行的有监督跨域图像生成结果同时满足真实性和多样性,且在分类准确率和域自适应性的定量评价中优于其他跨域图像生成算法;在人脸数据集NIR-VIS和草图数据集Edges-Shoes上实现了无监督跨域图像一对一生成,其可视化结果充分说明了生成图像的特征分布和源特征分布的一致性.以上实验全面验证了变分对抗自编码器框架的可行性和有效性.     

联合注意力机制与MatchPyramid的文本相似度分析算法

文本相似度分析是自然语言处理领域的核心任务,基于深度文本匹配模型进行文本相似度分析是当前研究该任务的主流思路。针对传统的MatchPyramid模型对文本特征提取的不足之处进行改进,提出了基于增强MatchPyramid模型进行文本相似度分析的方法。该方法在输入编码层加入多头自注意力机制和互注意力机制,同时对双注意力机制的输入词向量使用自编码器做降维处理,以降低模型的计算量。接着将双注意力机制的输出与原始词向量相连接,提升了词向量对文本关键信息的表征能力。最后将两个文本的词向量矩阵点积形成的单通道图映射到多个特征子空间形成了多通道图,使用密集连接的卷积神经网络对多通道图进行特征提取。实验结果表明,相比于传统的MatchPyramid模型,所提出的模型准确率提升了1.59个百分点,F1值提升了2.49个百分点。     

Transformer-based hierarchical latent space VAE for interpretable remaining useful life prediction

Data-driven prediction of remaining useful life (RUL) has emerged as one of the most sought-after research in prognostics and health management (PHM). Nevertheless, most RUL prediction methods based on deep learning are black-box models that lack a visual interpretation to understand the RUL degradation process. To remedy the deficiency, we propose an intrinsically interpretable RUL prediction method based on three main modules: a temporal fusion separable convolutional network (TF-SCN), a hierarchical latent space variational auto-encoder (HLS-VAE), and a regressor. TF-SCN is used to extract the local feature information of the temporal signal. HLS-VAE is based on a transformer backbone that mines long-term temporal dependencies and compresses features into a hierarchical latent space. To enhance the streaming representation of the latent space, the temporal degradation information, i.e., health indicators (HI), is incorporated into the latent space in the form of inductive bias by using intermediate latent variables. The latent space can be used as a visual representation with self-interpretation to evaluate RUL degradation patterns visually. Experiments based on turbine engines show that the proposed approach achieves the same high-quality RUL prediction as black-box models while providing a latent space in which degradation rate can be captured to provide the interpretable evaluation.     

基于有监督的多视角变分图自编码器的协同致死基因预测算法

协同致死关系是开发靶向抗癌药物的重要方法之一,通过计算方法预测协同致死基因可以为生物学上的研究提供目标指导,从而提高研究效率并降低实验成本.针对协同致死预测问题,提出了一种通用的、多视角变分图自编码器框架,引入了已知的协同致死关系作为监督信号,同时对局部的单视角数据和全局的多视角协同致死关系重构进行监督训练,在细粒度下获取每个视角中和协同致死相关的基因隐藏表示,最后将多视角的重构图融合在一起进行协同致死预测.在SynLethDB数据集上的实验结果表明方法的有效性.     

基于改进自编码器的文本分类算法

词的向量化表达是文本挖掘应用的必要前提。为了改善自编码器在词嵌入中的效果,提高文本分类的准确性,提出了一种改进的自编码器并将其用于文本分类。在传统自编码器的基础上,在隐藏层加入了一个全局调整函数,其将绝对值小的特征值调整到绝对值大的特征值上,实现了隐藏层特征向量的稀疏化。得到调整后的特征向量之后,采用全连接神经网络进行文本分类。在20news数据集上的实验结果表明,所提方法具有更好的词向量嵌入式效果,并且在文本分类中也具有更好的效果。     

基于孪生变分自编码器的小样本图像分类方法

当前深度学习大都基于大量数据通过构建深层次的网络实现自动识别,但在很多场景中难以获得大量的样本数据.针对这一问题,提出一种基于孪生变分自编码器(siamese variational auto-encoder,S-VAE)的小样本图像分类方法.通过变分自编码器提取原始训练数据的高层语义特征,然后由两个训练好的变分自编码...     

视觉特征对比解耦的广义零样本学习

广义零样本学习通常利用在ImageNet上预训练的深度模型来提取相应的视觉特征,然而预训练模型提取到的视觉特征不可避免地包含和语义无关的信息,这将导致语义—视觉对齐的偏差以及对不可见类的负迁移,从而影响分类结果。为解决上述问题,提出了视觉特征对比解耦的广义零样本学习模型(visual feature contrast decoupling for generalized zero-shot learning, VFCD-GZSL),通过解耦出视觉特征中的语义相关表示来降低冗余信息对分类结果的影响。具体来说,首先用条件变分自编码器生成不可见类的视觉特征。然后通过解耦模块将视觉特征解耦语义相关和语义无关的潜层表示,同时添加总相关惩罚和对比损失来鼓励两者间的相互独立,并用语义关系匹配模型衡量其语义一致性,从而指导模型学习语义相关表示。最后使用特征细化模块细化后的特征和语义相关表示联合学习一个广义零样本学习分类器。在四个数据集上的实验均取得较优的结果,证实了所提方法的有效性。     

Information concentrated variational auto-encoder for quality-related nonlinear process monitoring

As the deep learning technology develops, many process monitoring methods based on auto-encoder (AE) are designed for the nonlinear industrial processes. However, these methods mainly focus on process variables and ignore the quality indicator which is crucial for the final production. To extract the latent variables which represent both process information and quality information, this paper proposes a novel algorithm named information concentrated variational auto-encoder (IFCVAE). To concentrate the quality-related information, a loading matrix regularization based on mutual information is designed, so that the strongly quality-related variables tend to have larger weights in the loading matrix. In addition, to monitor processes from the quality-related and unrelated aspects, IFCVAE decomposes the original space into two subspaces that are mutually orthogonal based on variational auto-encoder (VAE). With the help of an additional regression network, the two subspaces can correspond to the quality-related and unrelated spaces. For process monitoring, two statistics are designed for the subspaces according to Kullback–Leibler divergence. Finally, the effectiveness of IFCVAE is demonstrated by a numerical case and an industrial case.     

基于变分自编码器的人脸图像修复

基于卷积神经网络的人脸图像修复技术在刑事侦破、文物保护及影视特效等领域有着重要的应用.但现有方法存在着图像修复结果不够清晰以及结果多样化不足等缺点,为此,提出了一种基于变分自编码器的人脸图像修复方法.首先设计了一种变分自编码器的变种网络,通过引入生成对抗网络解决修复人脸图像不清晰的问题,同时对变分自编码器中的隐变量进行约束,使得其中各个维度相互独立,实现特征解耦操作;最后通过动态规划获得最佳分割边界,利用泊松图像编辑得到无缝融合的结果.在CelebA数据集上的实验结果表明,该方法获得了良好的图像修复结果,同时,通过显式地控制隐变量的不同维度,展现了不同属性的人脸图像修复结果.     

Multi-Modal Domain Adaptation Variational Autoencoder for EEG-Based Emotion Recognition

Traditional electroencephalograph (EEG)-based emotion recognition requires a large number of calibration samples to build a model for a specific subject, which restricts the application of the affective brain computer interface (BCI) in practice. We attempt to use the multi-modal data from the past session to realize emotion recognition in the case of a small amount of calibration samples. To solve this problem, we propose a multi-modal domain adaptive variational autoencoder (MMDA-VAE) method, which learns shared cross-domain latent representations of the multi-modal data. Our method builds a multi-modal variational autoencoder (MVAE) to project the data of multiple modalities into a common space. Through adversarial learning and cycle-consistency regularization, our method can reduce the distribution difference of each domain on the shared latent representation layer and realize the transfer of knowledge. Extensive experiments are conducted on two public datasets, SEED and SEED-IV, and the results show the superiority of our proposed method. Our work can effectively improve the performance of emotion recognition with a small amount of labelled multi-modal data.