基于反事实学习及混淆因子建模的文章个性化推荐

如今,互联网推荐系统已经成为了一个热门话题,自动化推荐极大程度上方便了人们的生活,帮助人们从海量的信息当中寻找到最感兴趣的关键信息.互联网上每时每刻都在产生新的文章信息,已有的信息是一个非常庞大的数据集合,这些被记录的大量数据能够帮助统计出用户偏好以及文章内容的受欢迎程度.目前互联网上有许多种类的推荐系统,他们综合考虑了用户特征,文章特征.基于互联网各大社交媒体上的数据,现有的用户个性化推荐系统通过构建特定的模型对用户进行精准推荐.目前,推荐算法主要通过监督学习与在线学习的方法进行构建,但这些方法进行个性化推荐的时候往往忽略了一个问题：历史记录当中的推荐策略往往是部分观测数据,具有分布不平衡的劣势,通过现有的历史记录不能保证算法能够得到无偏的推荐结果,也不能适应线上的环境以及推荐策略变化.本文提出了一种基于反事实学习并考虑系统当中混淆因子的文章个性化推荐.这种方法有更强的理论保证,并且在实验结果当中也显示了比现有方法更加好的算法表现.     

基于反事实推理的事实验证去偏方法

事实验证是一项具有挑战性的任务,旨在使用来自可信赖语料库的多个证据句子来验证声明。为了促进研究,一些事实验证数据集被提出,极大地加速了事实验证技术的发展。然而,现有的事实验证数据集通常采用众包的方法构造,无可避免地引入偏差。已有事实验证去偏工作大致可以分为基于数据增强的方法和基于权重正则化的方法,前者不灵活,后者依赖于训练阶段的不确定输出。与已有工作不同,该文从因果关系出发,提出基于反事实推理的事实验证去偏方法。该文首先设计事实验证中的因果图,建模声明、证据以及它们之间的交互和预测结果的因果关系。接着,根据因果图提出事实验证去偏方法,通过总间接效应去除声明带来的偏差影响。我们使用多任务学习的方式来训练模型。训练时,该文采用多任务学习的方式建模各个因素的影响,同时在有偏和无偏测试集上评估模型的性能。实验结果表明,对比基准方法,该文模型在性能上获得了一致的提升。     

基于反向延长增强的对抗生成网络推荐算法

针对现有序列推荐模型因数据稀疏性严重难以达到最优性能的问题,提出了一种基于反向延长增强的生成对抗网络推荐算法。该方法通过对交互序列进行延长增强来获取高质量的训练数据,以缓解数据稀疏性带来的模型训练不充分的问题。首先,使用伪先验项将项目序列进行反向延长,深化项目序列特征;其次,延长增强的对象由短序列更改为所有用户序列,充分挖掘长序列中富含的上下文信息,缓解了增广序列中伪先验项占比过大而带来的噪声问题;最后,使用共享项目嵌入的生成对抗网络,通过判别器与生成器联合训练以提高模型推荐性能。在三个公开数据集上的实验结果表明,所提模型的命中率（HR@N）和归一化折损累计增益（NDCG@N）相较于最优基线ELECRec平均提升30%,验证了反向延长增强对挖掘序列特征和缓解数据稀疏性的有效性。     

融合协同知识图谱与反事实推理的可解释推荐机制

为构建透明可信的推荐机制,相关研究工作主要通过可解释推荐机制为个性化推荐提供合理解释,然而现有可解释推荐机制存在三大局限：1）利用相关关系只能提供合理化解释而非因果解释,而利用路径提供解释存在隐私泄露问题;2）忽略了用户反馈稀疏的问题,解释的保真度难以保证;3）解释粒度较粗,未考虑用户个性化偏好。为解决上述问题,提出基于协同知识图谱（CKG）与反事实推理的可解释推荐机制（ERCKCI）。首先,基于用户自身的行为序列,采用反事实推理思想利用因果关系实现高稀疏度因果去相关,并迭代推导出反事实解释;其次,为提升解释保真度,不仅在单时间片上利用CKG和图神经网络（GNN）的邻域传播机制学习用户和项目表征,还在多时间片上通过自注意力机制捕获用户长短期偏好以增强用户偏好表征;最后,基于反事实集的高阶连通子图捕获用户的多粒度个性化偏好,从而增强反事实解释。为验证ERCKCI机制的有效性,在公开数据集MovieLens(100k)、Book-crossing和MovieLens(1M)上进行了对比实验。所得结果表明,该机制在前两个数据集上相较于RCF(Relational Collaborative ...     

序列生成对抗网络在推荐系统中的应用

推荐系统旨在根据用户的历史行为数据发现该用户可能感兴趣的新项目,并产生相应的推荐。当前大部分的推荐系统多根据用户的历史行为数据,挖掘相似用户,并从相似用户的历史数据中选出彼此历史数据中未出现的新项目;或者根据用户感兴趣的历史项目匹配相似的新项目,从而实现推荐。但这些推荐方式对原始数据有着较强的依赖关系,且难以发觉不同项目之间隐含的序列关系。因此提出一种融合Item2vec和生成对抗网络（Generative Adversarial Networks,GAN）方法的推荐算法,可以学习得到项目间难以表达的关系;挖掘用户历史数据中的序列关系,学习用户兴趣偏好的真实分布;实现用户兴趣偏好的预测。实验发现该推荐算法具有较好的表现。     

基于对抗采样的社交推荐算法

推荐系统利用用户的历史记录、物品的基础信息等数据进行建模来捕获用户的偏好,有效缓解了信息过载等问题,虽然其已应用广泛,但整个推荐领域面临的挑战却依旧存在,其中数据稀疏这一问题对于推荐性能有举足轻重的影响。近年来,大量研究表明基于社交信息的推荐算法能够有效缓解数据稀疏问题,但它们也仍然存在一定的局限。线上的社交网络是非常稀疏的,并且线上社交网络中的“朋友”通常包括同学、同事、亲戚等,因此,拥有显式朋友关系的用户不一定拥有相似的偏好,即直接利用显式朋友的兴趣偏好进行推荐会存在噪声问题。此外,大部分基于隐式反馈的算法通常直接对用户没有交互过的物品进行随机采样,然后将其作为用户实际交互过的物品的负样本来优化模型,然而用户没有交互过的物品并不代表用户不喜欢,这种粗粒度的采样策略忽略了用户的真实偏好,同样也带来了一定程度的噪声。生成对抗网络（GANs）因其在训练中捕获复杂数据分布的能力以及强大的鲁棒性被广泛应用到推荐系统中,为了减弱上述噪声问题带来的影响,本文基于生成对抗网络提出了一种细粒度的对抗采样推荐模型（ASGAN）,包括一个生成器和判别器。其中,生成器首先利用图表示学习技术初始化社交网络,接着为用户生成一个与其偏好相似的朋友,然后再从该朋友喜欢的物品集中同时生成该用户喜欢的物品和用户不喜欢的物品。判别器则尽可能区分出用户实际交互过的物品和生成器生成的两类物品。随着对抗训练的进行,生成器能更有效地进行社交朋友采样和物品采样,而判别器能够良好地捕获用户的真实偏好分布。最后,在三个公开的真实数据集上与现有的六个工作进行对比,实验结果证明：ASGAN拥有更好的推荐性能,通过重构社交网络和细粒度采样有效缓解了社交信息和物品采样策略带来的噪声问题。     

基于单幅图像学习的生成对抗网络模型

将卷积神经网络引入生成对抗网络可提高所生成图像的质量,但网络的感受野较小且难以学习各个特征通道之间的重要关系.在SinGAN网络的基础上,提出一种能从单幅图像中学习的生成对抗网络模型.在SinGAN网络的生成器和鉴别器中引入Inception V2模块以增加网络宽度扩大感受野,采用多个卷积核提取图像特征并进行特征融合,...     

基于反事实推理的时间上下文协同过滤推荐

为在推荐算法中有效地融合用户行为的时间特性,提出基于反事实推理的时间上下文协同过滤推荐算法.采用替代式类型的反事实推理,假设用户行为的时间间隔服从负指数分布;运用切比雪夫不等式搜寻偏离负指数分布的数据点,刻画用户行为的阵发性和间歇性;以用户行为发生时间偏离负指数分布的程度量化行为间的相似度;避免定量刻画用户行为时间分布特征,保证算法的普适性.对比实验结果表明,该算法能有效提升推荐效果.     

基于反事实推理的时间上下文协同过滤推荐

为在推荐算法中有效地融合用户行为的时间特性,提出基于反事实推理的时间上下文协同过滤推荐算法.采用替代式类型的反事实推理,假设用户行为的时间间隔服从负指数分布;运用切比雪夫不等式搜寻偏离负指数分布的数据点,刻画用户行为的阵发性和间歇性;以用户行为发生时间偏离负指数分布的程度量化行为间的相似度;避免定量刻画用户行为时间分布特征,保证算法的普适性.对比实验结果表明,该算法能有效提升推荐效果.     

基于近端策略优化与对抗学习的对话生成

对话生成是自然语言处理的重点研究方向,对抗生成网络GAN最近在对话生成领域得到了较好的应用。为了进一步改善对话生成的质量,并且解决GAN训练过程中判别模型返回奖励重复利用率低从而导致模型训练效率低的问题,提出一种基于近端策略优化PPO的对话生成算法PPO_GAN。该算法通过GAN模型生成对话,通过判别模型区分生成的对话与真实的对话。并采用近端策略优化的方法训练GAN,能处理GAN在对话生成时导致的反向传播不可微分的情况,在保证生成模型单调非减训练的同时,通过限制生成模型迭代的梯度使判别模型得到的奖励可以重复利用。实验结果表明,对比于极大似然估计与Adver-REGS等对话生成算法,PPO_GAN算法提高了对话训练的效率并且改善了对话生成的质量。     

基于跨域对抗学习的零样本分类

零样本学习旨在识别具有少量、甚至没有训练样本的未见类,这些类与可见类遵循不同的数据分布.最近,随着深度神经网络在跨模态生成方面的成功,使用合成的样本对未见数据进行分类取得了巨大突破.现有方法通过共享生成器和解码器,联合传统生成对抗网络和变分自编码器来实现样本的合成.然而,由于这2种生成网络产生的数据分布不同,联合模型合成的数据遵循复杂的多域分布.针对这个问题,提出跨域对抗生成网络(CrossD-AGN),将传统生成对抗网络和变分自编码器有机结合起来,基于类级语义信息为未见类合成样本,从而实现零样本分类.提出跨域对抗学习机制,引入2个对称的跨域判别器,通过判断合成样本属于生成器域分布还是解码器域分布,促使联合模型中的生成器/解码器不断优化,提高样本合成能力.在多个真实数据集上进行了广泛的实验,结果表明了所提出方法在零样本学习上的有效性和优越性.     

ATLRec: An Attentional Adversarial Transfer Learning Network for Cross-Domain Recommendation

Journal of Computer Science and Technology - Entity linking is a new technique in recommender systems to link users’ interaction behaviors in different domains, for the purpose of improving...     

基于生成对抗网络的模仿学习综述

模仿学习研究如何从专家的决策数据中进行学习,以得到接近专家水准的决策模型.同样学习如何决策的强化学习往往只根据环境的评价式反馈进行学习,与之相比,模仿学习能从决策数据中获得更为直接的反馈.它可以分为行为克隆、基于逆向强化学习的模仿学习两类方法.基于逆向强化学习的模仿学习把模仿学习的过程分解成逆向强化学习和强化学习两个子过程,并反复迭代.逆向强化学习用于推导符合专家决策数据的奖赏函数,而强化学习基于该奖赏函数来学习策略.基于生成对抗网络的模仿学习方法从基于逆向强化学习的模仿学习发展而来,其中最早出现且最具代表性的是生成对抗模仿学习方法(Generative Adversarial Imitation Learning,简称GAIL).生成对抗网络由两个相对抗的神经网络构成,分别为判别器和生成器.GAIL的特点是用生成对抗网络框架求解模仿学习问题,其中,判别器的训练过程可类比奖赏函数的学习过程,生成器的训练过程可类比策略的学习过程.与传统模仿学习方法相比,GAIL具有更好的鲁棒性、表征能力和计算效率.因此,它能够处理复杂的大规模问题,并可拓展到实际应用中.然而,GAIL存在着模态崩塌、环境交互样本利用效率低等问题.最近,新的研究工作利用生成对抗网络技术和强化学习技术等分别对这些问题进行改进,并在观察机制、多智能体系统等方面对GAIL进行了拓展.本文先介绍了GAIL的主要思想及其优缺点,然后对GAIL的改进算法进行了归类、分析和对比,最后总结全文并探讨了可能的未来趋势.     

动态层次Transformer序列推荐算法

序列化推荐任务根据用户历史行为序列,预测下一时刻即将交互的物品.大量研究表明:预测物品对用户历史行为序列的依赖是多层次的.已有的多尺度方法是针对隐式表示空间的启发式设计,不能显式地推断层次结构.为此,该文提出动态层次Transformer,来同时学习多尺度隐式表示与显式层次树.动态层次Transformer采用多层结构...     

基于拓扑一致性对抗互学习的知识蒸馏

针对基于互学习的知识蒸馏方法中存在模型只关注教师网络和学生网络的分布差异, 而没有考虑其他的约束条件, 只关注了结果导向的监督, 而缺少过程导向监督的不足, 提出了一种拓扑一致性指导的对抗互学习知识蒸馏方法(Topology-guided adversarial deep mutual learning, TADML). 该方法将教师网络和学生网络同时训练, 网络之间相互指导学习, 不仅采用网络输出的类分布之间的差异, 还设计了网络中间特征的拓扑性差异度量. 训练过程采用对抗训练, 进一步提高教师网络和学生网络的判别性. 在分类数据集CIFAR10、CIFAR100和Tiny-ImageNet及行人重识别数据集Market1501上的实验结果表明了TADML的有效性, TADML取得了同类模型压缩方法中最好的效果.     

基于对抗学习的蒙汉神经机器翻译

在机器翻译模型的构建和训练阶段,为了缓解因端到端机器翻译框架在训练时采用最大似然估计原理导致的翻译模型的质量不高的问题,本文使用对抗学习策略训练生成对抗网络,通过鉴别器协助生成器的方式来提高生成器的翻译质量,通过实验选择出了更适合生成器的机器翻译框架Transformer,更适合鉴别器的卷积神经网络,并且验证了对抗式训练对提高译文的自然度、流利度以及准确性都具有一定的作用.在模型的优化阶段,为了缓解因蒙汉平行数据集匮乏导致的蒙汉机器翻译质量仍然不理想的问题,本文将Dual-GAN (dual-generative adversarial networks,对偶生成对抗网络)算法引入了蒙汉机器翻译中,通过有效的利用大量蒙汉单语数据使用对偶学习策略的方式来进一步提高基于对抗学习的蒙汉机器翻译模型的质量.     

基于生成对抗模型的序列推荐算法

针对传统序列推荐算法时间信息和项目内容信息运用不充分的问题,该文提出基于生成对抗模型的序列推荐算法。通过生成对抗模型将序列建模与时间、内容信息建模分离,充分挖掘用户项目交互的序列信息和项目内容信息。运用卷积神经网络作为生成对抗模型的生成器,捕获用户项目交互的序列模式。运用注意力机制作为生成对抗模型的判别器,捕获交互序列的时间信息和项目内容信息。针对传统序列推荐算法时间信息建模不充分的问题,提出一种改进的时间嵌入方式,充分建模用户项目交互关于时间的周期性模式。利用生成对抗模型同时建模用户的稳定偏好和动态偏好,提升推荐系统的用户体验,并在公开数据集MovieLens-1M和Amazon-Beauty上与现有的优秀算法做比较。实验证明,该文所提出的算法在评价指标HR@N和NDCG@N上较基线方法均有一定提升。