注意力协同辅助变分推荐算法

针对推荐算法中辅助信息和用户评论输入的高维度和样本不足的问题,基于变分自动编码器的非线性建模能力,与注意力机制的关联数据增强的特质,提出了注意力协同辅助变分自编码器推荐模型（sVAE-a）。该模型采用协同辅助变分自动编码来对辅助信息进行建模;同时通过注意力机制将辅助信息结合到协同变分自动编码器架构中,对隐变量进行加强,为解码器提供更干净的特征;最后通过变分推断来对辅助信息和用户评论近似分布,通过训练参数得到推荐模型。在MovieLens-20M数据集上的实验结果表明,该方法无论在基本的召回率,还是进一步的覆盖率和归一化折损累计增益度（NDCG）指标上都有相应的提升。该模型易于实现,可结合不同类型的输入与辅助信息,提升推荐效能。     

基于聚类变分自编码器的协同过滤算法

针对协同过滤推荐模型的数据稀疏性问题,提出一种带有聚类隐变量的变分自编码器,用于处理用户的隐式反馈数据.该深度生成模型既能学习到隐变量的特征分布,同时又能完成对特征的聚类.先以多项式似然来重构原始数据,再用贝叶斯变分推断估计参数,并且将正则化系数引入到模型当中,通过调节其大小能够避免过度正则化,使模型的拟合效果更好.这种非线性的概率模型对缺失评分的预测有更好的建模能力.在MovieLens的三个数据集上的实验结果表明,该算法相比较于其他先进的基线有更优秀的推荐性能.     

面向异构单类协同过滤的阶段式变分自编码器

在推荐系统领域，大部分现有的工作主要关注仅有一种类型的用户反馈（如购买反馈）的单类协同过滤（OCCF）问题。然而，在现实的应用中，用户的反馈往往是异构的，因此如何对用户的异构反馈进行建模从而准确刻画用户的真实偏好成为了一个新的挑战。围绕异构单类协同过滤（HOCCF）问题（包含了用户的购买反馈和浏览反馈），提出了一个迁移学习解决方案——阶段式变分自编码器（SVAE）模型。首先，将用户的浏览反馈当作辅助数据，以多项式变分自编码器（Multi-VAE）为基础模型学习并生成隐特征向量；然后迁移该隐特征向量到另一路Multi-VAE，用于帮助该Multi-VAE对用户的目标数据（即购买反馈）进行建模。三个真实数据集上的实验结果显示，在多数情况下，SVAE模型在精确度（Precision@5）、归一化折损累计增益（NDCG@5）等重要指标上的表现显著优于其他流行的推荐算法，验证了所提模型的有效性。     

基于矢量量化编码的协同过滤推荐方法

随着互联网的高速发展,海量数据涌现,使得推荐系统成为计算机科学领域的研究热点。变分自编码器已经被成功应用于协同过滤方法的设计中,并取得了出色的推荐效果。然而,以往基于变分自编码器的推荐模型存在一些问题,如对隐变量先验分布的约束以及“后验失效”等,这些问题降低了推荐模型的性能。为了解决这一问题,使变分自编码器模型更加适用于推荐任务,提出了一种基于矢量量化编码的协同过滤推荐方法。该方法采用离散的矢量编码代替变分自编码器从隐变量分布中直接取样获得编码,从观测数据中学习到一个离散的潜在表示,提高了编码的表示能力。在多个公开数据集上的性能评测结果显示,与现有方法相比,所提方法能够有效提升推荐性能。     

基于云模型的变分自编码器数据压缩方法

图像数据解压缩问题是一类重要的数据处理问题，数据特征学习在数据压缩研究中有重要的研究价值。提出了一种基于云模型的变分自编码器特征表征模型，将云模型作为变分自编码器的先验分布，解决变分自编码器在特征表征上的局限性。变分自编码器的编码器部分负责构建数据的特征空间，通过在该空间中采样获得隐变量，完成数据压缩；解码器部分完成从数据特征到原数据的生成，即数据的解压。在人脸数据集上与原方法作实验对比，验证了该方法的正确性和有效性。     

基于融合变分图注意自编码器的深度聚类模型

聚类作为数据挖掘和机器学习中最基本的任务之一,在各种现实世界任务中已得到广泛应用.随着深度学习的发展,深度聚类成为一个研究热点.现有的深度聚类算法主要从节点表征学习或者结构表征学习两个方面入手,较少考虑同时将这两种信息进行融合以完成表征学习.提出一种融合变分图注意自编码器的深度聚类模型FVGTAEDC(Deep Clustering Model Based on Fusion Varitional Graph Attention Self-encoder),此模型通过联合自编码器和变分图注意自编码器进行聚类,模型中自编码器将变分图注意自编码器从网络中学习(低阶和高阶)结构表示进行集成,随后从原始数据中学习特征表示.在两个模块训练的同时,为了适应聚类任务,将自编码器模块融合节点和结构信息的表示特征进行自监督聚类训练.通过综合聚类损失、自编码器重构数据损失、变分图注意自编码器重构邻接矩阵损失、后验概率分布与先验概率分布相对熵损失,该模型可以有效聚合节点的属性和网络的结构,同时优化聚类标签分配和学习适合于聚类的表示特征.综合实验证明,该方法在5个现实数据集上的聚类效果均优于当前先进的深度聚类方法.     

变分自编码器模型综述

变分自编码器（VAE）作为深度隐空间生成模型的一种，近年来其表现性能取得了极大的成功，尤其是在图像生成方面。变分自编码器模型作为无监督式特征学习的重要工具之一，可以通过学习隐编码空间与数据生成空间的特征映射，进而在输出端重构生成输入数据。梳理了传统变分自编码器模型及其衍生变体模型的发展与研究现状，并就此做了总结和对比，最后分析了变分自编码器模型存在的问题与挑战，并就可能的发展趋势做了展望。     

基于变分自编码的半监督微博文本情感分析

针对微博文本情感分析中大量有标记数据难获取,以及文本特征学习不完全的问题,提出将长短时记忆网络(Long Short-Term Memory,LSTM)及其衍生模型双向长短时记忆网络(Bi-LSTM)引入变分自编码生成模型,构建基于变分自编码的半监督文本分类模型.其中LSTM作为变分编码器中的编码器和解码器,Bi-LSTM作为分类器.分类器既为编码器提供标签信息共同生成隐变量,也与隐变量通过解码器共同重构数据,利用无标记数据的有用信息提高分类器的性能.与其他方法在同一公开数据集上对比的实验结果表明,该模型的分类效果更好.     

基于重构对比的广义零样本图像分类

广义零样本图像分类中常使用生成模型重构视觉信息或语义信息用于再进一步学习.然而,基于变分自编码器的方法对重构样本利用不够充分,表示性能欠缺.因此,文中提出基于重构对比的广义零样本图像分类模型.首先,使用两个变分自编码器将视觉信息和语义信息编码为同维度的低维隐向量,再将隐向量分别解码到两种模态.然后,使用投影模块投影视觉信息与语义模态的隐向量重构的视觉模态信息.最后,对投影后的特征进行重构对比学习.在保持变分自编码器重构性能的基础上增强编码器重构的判别性能,提高预训练特征在广义零样本图像分类任务上的应用能力.在4个标准数据集上的实验证实文中模型的有效性.     

基于改进的倾向得分估计的无偏推荐模型

现实中推荐系统通常遭受着各种各样的偏置问题,例如曝光偏置、位置偏置和选择偏置。一个忽略偏置问题的推荐模型不能反映推荐系统的真实性能,且对于用户而言可能是不可信任的。先前的工作已经表明基于倾向得分估计的推荐模型能够有效缓解隐式反馈数据的曝光偏置,但是通常只考虑通过物品信息来估计倾向得分,这可能导致倾向得分估计不准确。为了提高倾向得分估计的准确性,提出配对倾向得分估计（MPE）方法。具体来说,该方法引入了用户流行度偏好的概念,通过计算用户流行度偏好和物品流行度的配对程度来对样本曝光率进行更加精确的建模,最后将提出的估计方法和一个主流的传统推荐模型以及一个无偏推荐模型进行集成并和包括前两者的三个基线模型进行对比。在公开数据集上的实验结果表明,结合MPE方法后的模型分别相比对应的基线模型在召回率、折损累计增益（DCG）和平均准确率（MAP）这三个评估指标上均有显著的提升;此外,通过实验结果还观察到性能的增益有很大一部分来自长尾物品,可见所提方法有助于提升推荐物品的多样性与覆盖率。     

一种基于降噪自编码器的隐式反馈推荐算法

现有的隐式反馈协同算法直接利用稀疏的二值社交信任信息辅助推荐,存在严重的数据稀疏问题,且没有深层次地融合社交信任信息的影响。针对以上问题,提出利用降噪自编码器深度融合用户隐式反馈数据与社交信息的算法。首先从不同的角度区分用户信任,提出一种信任相似度的新度量方法来改善社交数据的稀疏性,利用降噪自编码器将信任数据与用户隐式交互信息深度融合,通过综合二者的影响,有效提高了推荐质量。实验表明,该算法优于现有主流的的隐式反馈推荐算法。     

Network Intrusion Detection in Internet of Blended Environment Using Ensemble of Heterogeneous Autoencoders (E-HAE)

Contemporary attackers, mainly motivated by financial gain, consistently devise sophisticated penetration techniques to access important information or data. The growing use of Internet of Things (IoT) technology in the contemporary convergence environment to connect to corporate networks and cloud-based applications only worsens this situation, as it facilitates multiple new attack vectors to emerge effortlessly. As such, existing intrusion detection systems suffer from performance degradation mainly because of insufficient considerations and poorly modeled detection systems. To address this problem, we designed a blended threat detection approach, considering the possible impact and dimensionality of new attack surfaces due to the aforementioned convergence. We collectively refer to the convergence of different technology sectors as the internet of blended environment. The proposed approach encompasses an ensemble of heterogeneous probabilistic autoencoders that leverage the corresponding advantages of a convolutional variational autoencoder and long short-term memory variational autoencoder. An extensive experimental analysis conducted on the TON_IoT dataset demonstrated 96.02% detection accuracy. Furthermore, performance of the proposed approach was compared with various single model (autoencoder)-based network intrusion detection approaches: autoencoder, variational autoencoder, convolutional variational autoencoder, and long short-term memory variational autoencoder. The proposed model outperformed all compared models, demonstrating F1-score improvements of 4.99%, 2.25%, 1.92%, and 3.69%, respectively.     

基于混合变分自编码器回归模型的软测量建模方法EI北大核心CSCD

近年来,变分自编码器(Variational auto-encoder,VAE)模型由于在概率数据描述和特征提取能力等方面的优越性,受到了学术界和工业界的广泛关注,并被引入到工业过程监测、诊断和软测量建模等应用中.然而,传统基于VAE的软测量方法使用高斯分布作为潜在变量的分布,限制了其对复杂工业过程数据,尤其是多模态数据的建模能力.为了解决这一问题,本论文提出了一种混合变分自编码器回归模型(Mixture variational autoencoder regression,MVAER),并将其应用于复杂多模态工业过程的软测量建模.具体来说,该方法采用高斯混合模型来描述VAE的潜在变量分布,通过非线性映射将复杂多模态数据映射到潜在空间,学习各模态下的潜在变量,获取原始数据的有效特征表示.同时,建立潜在特征表示与关键质量变量之间的回归模型,实现软测量应用.通过一个数值例子和一个实际工业案例,对所提模型的性能进行了评估,验证了该模型的有效性和优越性.     

Multi-Modal Domain Adaptation Variational Autoencoder for EEG-Based Emotion Recognition

Traditional electroencephalograph (EEG)-based emotion recognition requires a large number of calibration samples to build a model for a specific subject, which restricts the application of the affective brain computer interface (BCI) in practice. We attempt to use the multi-modal data from the past session to realize emotion recognition in the case of a small amount of calibration samples. To solve this problem, we propose a multi-modal domain adaptive variational autoencoder (MMDA-VAE) method, which learns shared cross-domain latent representations of the multi-modal data. Our method builds a multi-modal variational autoencoder (MVAE) to project the data of multiple modalities into a common space. Through adversarial learning and cycle-consistency regularization, our method can reduce the distribution difference of each domain on the shared latent representation layer and realize the transfer of knowledge. Extensive experiments are conducted on two public datasets, SEED and SEED-IV, and the results show the superiority of our proposed method. Our work can effectively improve the performance of emotion recognition with a small amount of labelled multi-modal data.      

Generating Adversarial Samples on Multivariate Time Series using Variational Autoencoders

Classification models for multivariate time series have drawn the interest of many researchers to the field with the objective of developing accurate and efficient models. However, limited research has been conducted on generating adversarial samples for multivariate time series classification models. Adversarial samples could become a security concern in systems with complex sets of sensors. This study proposes extending the existing gradient adversarial transformation network (GATN) in combination with adversarial autoencoders to attack multivariate time series classification models. The proposed model attacks classification models by utilizing a distilled model to imitate the output of the multivariate time series classification model. In addition, the adversarial generator function is replaced with a variational autoencoder to enhance the adversarial samples. The developed methodology is tested on two multivariate time series classification models: 1-nearest neighbor dynamic time warping (1-NN DTW) and a fully convolutional network (FCN). This study utilizes 30 multivariate time series benchmarks provided by the University of East Anglia (UEA) and University of California Riverside (UCR). The use of adversarial autoencoders shows an increase in the fraction of successful adversaries generated on multivariate time series. To the best of our knowledge, this is the first study to explore adversarial attacks on multivariate time series. Additionally, we recommend future research utilizing the generated latent space from the variational autoencoders.      

基于自编码标准流的异常点检测

在大型和高维数据上进行有效检测, 在实际应用中具有重要意义. 异常点检测是指识别出偏离一般数据分布的数据点, 其核心是密度估计. 尽管像深度自编码高斯混合模型通过先降低维度, 再进行密度估计已经取得了重大进展, 但是它对低维潜在空间引入噪声, 并且在对密度估计模块优化时存在一些限制, 例如需要保证协方差是正定矩阵. 为解决这些限制, 本文提出一种用于无监督异常检测的深度自编码标准化流(deep autoencoder normalizing flow, DANF). 该模型利用深度自编码器为每个输入样本生成低维潜在空间表示和重构误差, 进而将其输入标准化流(normalizing flow, NF), 最终映射成高斯分布. 在多个公开的基准数据集上的实验结果表明, 深度自编码标准化流模型显著优于最先进的异常检测技术, 在评估指标F1-score上最高提升26.43%.     

A survey of autoencoder-based recommender systems

In the past decade,recommender systems have been widely used to provide users with personalized products and services.However,most traditional recommender systems are still facing a challenge in dealing with the huge volume,complexity,and dynamics of information.To tackle this challenge,many studies have been conducted to improve recommender system by integrating deep learning techniques.As an unsupervised deep learning method,autoencoder has been widely used for its excellent performance in data dimensionality reduction,feature extraction,and data reconstruction.Meanwhile,recent researches have shown the high efficiency of autoencoder in information retrieval and recommendation tasks.Applying autoencoder on recommender systems would improve the quality of recommendations due to its better understanding of users,demands and characteristics of items.This paper reviews the recent researches on autoencoder-based recommender systems.The differences between autoencoder-based recommender systems and traditional recommender systems are presented in this paper.At last,some potential research directions of autoencoder-based recommender systems are discussed.     

基于图卷积与外积的协同过滤推荐模型

推荐系统帮助用户主动找到满足其偏好的个性化物品并推荐给用户.协同过滤算法是推荐系统中较为经典的算法,但是其会受到数据冷启动和稀疏性的限制,具有可解释性差和模型泛化能力差等缺点.针对其缺点进行研究,通过将原始的评分矩阵以用户—项目二部图的形式作为输入,将图卷积神经网络设计为一种图自编码器的变体,通过迭代的聚合邻居节点信息得到用户和项目的潜在向量表示,并在其基础上结合卷积神经网络,提出了一种基于卷积矩阵分解的推荐算法,提升了模型的可解释性和泛化能力,同时融合辅助信息也解决了数据的稀疏性问题,并使推荐的性能分别得到了1.4％和1.7％的提升.为今后在基于图神经网络的推荐方向上提供了一种新的思路.