深度学习中基于注意力机制的推荐模型研究

通过筛选深度学习中结合注意力机制的推荐模型相关文献,将文献从注意力机制结合自编码器、图神经网络这两个方面进行归纳整理,分析了各模型在推荐应用中的特点和不足,展望了该领域的研究方向.     

基于注意力机制的深度学习推荐研究进展

近年来,注意力机制AM被广泛应用到基于深度学习的自然语言处理任务中,基于注意力机制的深度学习推荐也成为推荐系统研究的一个新方向.探讨了注意力机制的结构和分类标准,从基于注意力机制的DNN推荐、CNN推荐、RNN推荐、GNN推荐4个方面分析了现有融合注意力机制的深度学习推荐研究的主要进展和不足,阐明了其中的主要难点,最后指出了多特征交互的注意力机制推荐、多模态注意力机制深度学习推荐、融入注意力机制的多种深度神经网络混合推荐和注意力机制的群组推荐等基于注意力机制的深度学习推荐未来的主要研究方向.     

结合注意力机制的深度神经网络综述

注意力机制已成为改进神经网络学习能力的研究热点之一。鉴于注意力机制受到的广泛关注,本文旨在从注意力机制的分类、与深度神经网络的结合方式,以及在自然语言处理和计算机视觉领域的具体应用3个方面对深度神经网络中的注意力机制给出较全面的分析和阐述。具体地,分析比较了软注意力、硬注意力和自注意力这3种机制的优缺点;并分别讨论了递归神经网络和卷积神经网络中结合注意力机制的常用方式及其代表性模型结构;然后,以自然语言处理、计算机视觉领域为例,说明了其应用情况;最后,分析了注意力机制的发展趋势,期望为后续研究提供线索和方向。     

基于双层注意力机制的深度学习电影推荐系统

传统协同过滤技术仅使用用户对物品的评分矩阵,没有充分利用用户和物品的其他多种特征,而且由于评分矩阵非常稀疏,导致推荐系统的推荐准确率严重下降。近几年深度学习技术在机器学习的多个领域取得了显著的成就,本文针对传统协同过滤推荐系统的问题,提出一种基于双层注意力机制的深度学习推荐系统。以电影推荐为例,使用深度学习框架处理推荐系统中的多种输入特征信息,同时引入双层注意力机制,分别学习用户和电影每个特征之间的偏好以及用户与其观影列表中每一部电影间的偏好,从而尽可能多地利用用户和电影的特征数据,学习用户的行为偏好,在一定程度上改善了推荐的效果。     

基于AlexNet的注意力机制网络研究

本文采用引入人类视觉系统的注意力机制对AlexNet网络模型进行改进,通过融入注意力机制对AlexNet注意力机制网络进行研究,并通过CIFAR-10数据集进行实验对比验证.实验对比结果表明,AlexNet注意力机制网络模型比传统AlexNet网络模型具有更好的分类效果,其分类准确率提升了2％.     

基于注意力机制的音乐深度推荐算法

在海量音乐中,如何根据用户的历史收听记录分析用户需求以实现歌曲推荐是音乐推荐领域具有挑战性课题之一。现有的音乐推荐方法仅简单将用户听过的所有音乐均作为音乐推荐的上下文,导致不同类型音乐学习到的上下文权重分配相同,其严重影响了音乐推荐精度。针对此问题,提出了一种基于注意力机制的音乐深度推荐方法,针对不同用户的历史收听音乐动态分配不同的注意力,即学习出不同的上下文权重,使推荐结果更符合用户的实际偏好。通过在公开音乐数据集Million Song Dateset上的测试,所提方法的推荐准确率有很大的提升。     

基于层次混合注意力机制的文本分类模型

文本分类是自然语言处理领域的核心任务之一,深度学习的发展给文本分类带来更广阔的发展前景.针对当前基于深度学习的文本分类方法在长文本分类中的优势和不足,该文提出一种文本分类模型,在层次模型基础上引入混合注意力机制来关注文本中的重要部分.首先,按照文档的层次结构分别对句子和文档进行编码;其次,在每个层级分别使用注意力机制....     

基于相机的多投影光度补偿系统

现有关于光度补偿的研究主要基于单投影,可在带有纹理和颜色的表面上进行投影显示。而在多投影系统中,由于多投影带来了重叠区域的光度不一致性,相机的每个像素覆盖的区域增大等问题,容易致使光度补偿失败。介绍一种基于相机的多投影光度补偿系统,虽然也是通过获取环境参数的手段,但提出一种方便快捷的迭代方式来提高投影表面反射率参数的获取精度,可以达到更好的效果,并仅需对投影区域捕捉两幅以上图像。同时,对多投影仪重叠区域的融合效果也做了改进,统一解决了光度补偿和投影拼接问题。最后,提供的实验结果表明有较好的改进效果。     

基于深度残差反投影注意力网络的图像超分辨率

针对多数单帧图像超分辨率(single image super-resolution,SISR)重建方法存在的特征信息发掘不充分、特征图各通道之间的相互依赖关系难以确定以及重建高分辨率(high resolution,HR)图像时存在重构误差等问题,提出了基于深度残差反投影注意力网络的图像超分辨率(SR)算法。即利用残差学习的思想缓解训练难度和充分发掘图像的特征信息,并使用反投影学习机制学习高低分辨图像之间的相互依赖关系,此外引入了注意力机制动态分配各特征图以不同的注意力资源从而发掘更多的高频信息和学习特征图各通道之间的依赖关系。实验结果表明了所提方法相比于多数单帧图像超分辨率方法,不仅在客观指标方面得到了显著的提升,而且重建的预测图像也具有更加丰富的纹理信息。     

一个沉浸式场景漫游系统的构建

虚拟现实技术,是一种可以创建和体验虚拟环境的计算机系统技术,在军事、游戏、室内设计等诸多领域都有着广泛的应用。一个沉浸式的虚拟现实系统,可以让用户完全沉浸在虚拟世界中,得到与真实世界近似相同的感受。在高精度定位跟踪系统的辅助下,利用visual studio开发环境和3ds max、virtools软件构建了一个沉浸式场景漫游系统,并给出了一个游戏应用示例和一个室内设计应用示例。     

Image modification for immersive projection display based on pseudo‐projection models

This paper describes a practical method that enables actual images to be converted so that they can be projected onto an immersive projection display (IPD) screen. IPD screens are particularly unique in that their angle of view is extremely wide; therefore, the images projected onto them need to be taken on a special format. In practice, however, it is generally very difficult to shoot images that completely satisfy the specifications of the targeting IPD environment due to cost, technical problems or other reasons. To overcome these problems, we developed a method to modify the images by abandoning geometrical consistency. We were able to utilize this method by assuming that the given image was shot according to a special projection model. Because this model differed from the actual projection model with which the image was taken, we termed it the pseudo‐projection model. Since our method uses simple geometry, and can easily be expressed by a parametric function, the degree of modification or the time sequence for modification can readily be adjusted according to the features of each type of content. Copyright © 2003 John Wiley & Sons, Ltd.     

基于注意力机制的3D车辆检测算法

3D车辆检测是自动驾驶场景中的一个关键问题,涉及到3D目标检测与目标分类。目前的3D检测与分类网络对于所有输入的点云数据一视同仁,但在实际检测过程中,点云中不同点对于检测的重要程度可能并不相同。为了得到更好的检测结果,通过引入注意力机制来得到不同点的特征的权重,从而在回归时让部分点的特征得到更多的重视。实验表明,该算法在保证实时效率的前提下,与现有算法相比,具有更高的准确度。     

基于注意力机制网络的航运监控图像识别模型

针对已有的航运监控图像识别模型C3D里中级表征学习能力有限,有效特征的提取容易受到噪声的干扰,且特征的提取忽视了整体特征与局部特征之间关系的问题,提出了一种新的基于注意力机制网络的航运监控图像识别模型。该模型基于卷积神经网络（CNN）框架,首先,通过特征提取器提取图像的浅层次特征;然后,基于CNN对不同区域激活特征的不同响应强度,生成注意力信息并实现对局部判别性特征的提取;最后,使用多分支的CNN结构融合局部判别性特征和图像全局纹理特征,从而利用局部判别性特征和图像全局纹理特征的交互关系提升CNN学习中级表征的能力。实验结果表明,所提出的模型在航运图像数据集上的识别准确率达到91.8%,相较于目前的C3D模型提高了7.2个百分点,相较于判别滤波器组卷积神经网络（DFL-CNN）模型提高了0.6个百分点。可见所提模型能够准确判断船舶的状态,可以有效应用于航运监控项目。     

基于GRU和注意力机制的远程监督关系抽取

随着深度学习的发展,越来越多的深度学习模型被运用到了关系提取的任务中,但是传统的深度学习模型无法解决长距离依赖问题;同时,远程监督将会不可避免地产生错误标签。针对以上两个问题,提出一种基于GRU（gated recurrent unit）和注意力机制的远程监督关系抽取方法,首先通过使用GRU神经网络来提取文本特征,解决长距离依赖问题;接着在实体对上构建句子级的注意力机制,减小噪声句子的权重;最后在真实的数据集上,通过计算准确率、召回率并绘出PR曲线证明该方法与现有的一些方法相比,取得了比较显著的进步。