融合自注意力的旅游电商智能推荐方法

为解决旅游电商推荐中细粒度捕获用户偏好,提出了基于自注意力机制并结合商品侧分类信息的序列推荐方法(SATMSRec).充分考虑序列间的时间间隔和序列的绝对位置作为自注意力机制的依托,对用户交互序列进行特征处理后,由一个GRU网络对特征序列进行长期记忆,最后结合商品侧层次性分类信息,构建类别感知多跳推理网络来学习补足用户...     

基于Transformer和知识图谱的新闻推荐新方法

为了增加新闻推荐的辅助信息并提高预测精度,提出基于Transformer和知识图谱的新闻推荐方法.为了结合新闻语义信息和实体信息,利用自注意力机制获取新闻单词之间和新闻实体之间的联系,采用加法注意力机制捕捉单词和实体对新闻表示的影响.考虑到用户对新闻的偏好具有时序性特点,引入Transformer以捕捉用户点击新闻间的关联信息及用户兴趣随时间的变化情况.利用知识图谱中的高阶结构信息,融合候选新闻邻接实体,提升候选新闻嵌入向量所含信息的完整性.在2个版本的MIND新闻数据集上与5个典型推荐方法的对比实验表明,注意力机制、Transformer和知识图谱的引入提高了算法在新闻推荐方面的表现.     

融合图神经网络和稀疏自注意力的会话推荐分析

针对现有会话推荐采用单一模型无法兼顾全局和局部信息,从而影响推荐性能的问题,提出融合图神经网络和稀疏自注意力的会话推荐模型(SSA-GNN)。模型采用稀疏自注意力构建全局隐向量,以解决无关项的干扰和图神经网络难以表示长距离依赖的问题;采用目标注意图神经网络构建局部隐向量,更深层次的捕获项目间的复杂依赖。最后在预测层将全局和局部隐向量线性连接,有效兼顾了全局和局部信息。模型在Yoochoose1/64数据集上的试验结果比基线模型GC-SAN在评价指标P@20上提高了1.25%,MRR@20上提高了4.59%。     

基于跨视图对比学习的知识感知推荐系统

知识感知推荐(KGR)领域普遍存在监督信号稀疏问题,为了解决这个问题,对比学习方法被越来越广泛地应用于KGR。但是,过去基于对比学习的KGR模型仍存在一些问题:(1)使用图卷积对所有邻居节点直接聚合,无法排除知识图谱中不必要邻居节点信息的干扰；(2)只关注全局视图的信息,忽略了局部特征,这会导致过平滑问题。为了解决以上问题,提出一种基于跨视图对比学习的知识感知推荐系统(KRSCCL)。KRSCCL使用关系图注意力网络构建包含用户、物品和实体节点的全局视图；使用轻量级图卷积网络构建包含用户和物品节点的局部视图,强调局部特征,有效地缓解过平滑问题。最后,在构建的两个视图的图内和图间节点对之间进行对比学习,以充分提取KG信号,优化用户和物品表示。论文方法在三个不同领域的公开数据集上进行了大量实验,实验结果表明:关系图注意力网络可以有效排除复杂网络聚合时的噪声问题；引入局部视图可以优化节点表示生成,缓解过平滑问题；KRSCCL模型在这三个数据集上都表现良好,在电影领域数据集Movielens-1M上,其推荐的F1分数较最强基线提升2.0%；在音乐领域数据集Last.FM上,其推荐的F1分数较最强基线提升0.3%；在书籍领域数据集Book-crossing上,其推荐的F1分数较最强基线提升5.1%。证明了论文方法的有效性。     

基于隐马尔科夫模型的潜在个性化路线推荐

现有路线大多基于历史轨迹的相似性进行推荐,容易忽略潜在新路线. 为解决这一问题,利用隐马尔科夫模型对个性化的潜在路线推荐问题进行建模,提出一种可发现隐藏路线的推荐算法（HMMPath）;根据用户指定的类别关键字序列生成访问点序列,结合路线长度、个性化路线分数以及访问点序列的可能性,为用户推荐满足个性化需求的路线;在真实签到数据集上通过改变数据集大小、查询类别关键字数量、查询类别关键字类型和推荐路线数量等参数验证所提算法的准确率和运行效率。结果表明,所提方法在包含4个以下短查询类别序列上的推荐准确率在70%以上,表现出了较好的推荐准确度.     

SeqRec：基于长期偏好和即时兴趣的序列推荐模型

通过对用户的历史购物序列进行建模,得到用户稳定的长期偏好和动态的即时兴趣,并聚合长期偏好和即时兴趣进行个性化推荐. 提取用户对商品的评论内容用于表示商品的特征;使用递归神经网络从用户的历史购买序列数据中学习用户稳定的长期偏好,使用提问数据对用户不断变化的即时兴趣进行建模;通过注意力机制为长期偏好以及即时兴趣分配不同的权重,得到用户最终偏好的向量表示. 在亚马逊真实数据集上的实验结果表明,SeqRec模型在召回率和精确率上比当前主流的序列推荐方法至少超出10%;SeqRec模型证明不同用户的长期偏好和即时兴趣对其下次购买物品的影响程度不同.     

高效长序列水位预测模型的研究与实现

序列预测旨在利用历史序列模式信息预测未来长时间跨度的趋势，在工业领域具有众多的实际应用需求。针对工业数据序列预测问题中时序长度较长的特点，提出了一种高效的自注意力机制以适用于长序列数据建模与预测。该模型构建了新的嵌入表示，增加了池化操作，并且使用了生成式推断，实现长距离依赖建模和时序信号预测。相比之前的自注意力模型，该模型有效解决了现有方法在面对长序列预测时存在的预测精度不足、训练耗时过长等问题。在大规模水电站水轮机顶盖水位预测这一实际工业应用场景中，相比其他基准模型，该模型显著提高了长序列水位预测的精度和效率。     

融合注意力与卷积的系统调用异常检测

基于系统调用数据是实施主机异常检测的一种有效手段，然而现有检测技术无法有效应对混淆攻击。提出一种融合注意力与卷积的系统调用异常检测模型，能够同时关注到系统调用序列展现的进程全局行为与每一个时间窗口的局部行为。首先，设计了一种混淆攻击数据模拟生成方法解决样本数据不平衡问题，提出基于进程行为特征的序列补齐方法增强系统调用语义特征；其次，融合注意力机制与一维权重卷积网络同时从系统调用序列的全局与局部提取数据特征；最后，基于单一变量原则和交叉验证方式获得最优异常检测模型，进而得到异常检测结果。与其他传统异常检测方法对比得出，所提模型具有更高的准确率(96.6%)和较低的误报率(1.9%),同时此模型具有抵抗混淆攻击的能力。     

基于兴趣注意力网络的会话推荐算法

针对现有基于图神经网络的会话推荐算法对用户主要兴趣偏好提取不充分的问题,提出了一种基于兴趣注意力网络的会话推荐算法（Session-Based Recommender Method Based on Interest Attention Network,SR-IAN）。首先,使用图神经网络捕获物品之间的上下文转换关系,得到物品的图嵌入向量;其次,将图嵌入向量输入兴趣注意力网络中,提取用户的主要兴趣偏好;然后通过注意力层对物品的图嵌入向量进行加权区分;最后,通过预测层得到候选物品的点击概率值并对其进行排序。算法模型在3个公开数据集Diginetica、Retailrocket和Tmall上进行了实验验证,相比基准模型在MRR@20指标上分别有0.942%、1.183%和2.977%的提升,同时降低了模型时间复杂度,验证了该方法的有效性和高效性。     

融合深度特征提取和注意力机制的跨域推荐模型

为缓解跨域推荐中目标域数据稀疏和冷启动问题，综合增强嵌入、嵌入迁移、注意力机制调整和跨域推荐技术，提出一种融合深度特征提取和注意力机制的跨域推荐模型（cross-domain recommendation model of deep feature extraction and attention mechanism, CRDFEAM）．利用潜在因子模型将类型相似度合并到矩阵分解过程，挖掘项目类型的隐性偏好．相比评分这一显性偏好，项目类型能更充分获取用户特征．在跨域迁移时，用分布对齐方式使域间差异最小化，以减少两个领域特征之间的数据分布差异．相对于直接迁移，分布对齐方式具有更强的可解释性．在特征调整过程中，引入多层感知机（multilayer perceptron, MLP）映射，并使用注意力机制进一步调整用户特征，使源域中没有出现过的目标域用户注意到源域用户的特征信息，同时也使源域中出现过的目标域用户注意到目标域中的项目特征信息．在真实数据集Movielens(M)、Netflix(N)和Douban(D)上的实验验证结果表明，引入MLP映射嵌入的CRDFEAM+模型的均方根误差（r...     

基于用户兴趣的电子商务推荐方法

针对数据稀疏性与推荐实时性的技术难题,在结合传统用户合作过滤推荐的基础上,提出了基于兴趣度向量模型的用户合作推荐机制.该方法合理利用了用户的人口统计信息,即用户提交给网站的注册信息,来辅助基于兴趣度向量模型的推荐方法,在提高预测精度的同时还可以解决推荐系统的新用户问题.采用MovieLens网站上提供的研究数据进行模拟推荐实验,通过对平均绝对偏差对比分析可得,兴趣向量模型的推荐方法在一定程度上比传统合作过滤算法有更高的推荐精度.     

一种基于实时CTR的移动应用商店内容推荐改进算法

针对内容信息过载,冷启动等导致移动应用市场用户消费受限、广告收入受阻的问题,文章提供一种能够提高移动应用市场人均分发能力的内容推荐算法。首先,收集一段时间内产生的内容推荐数据,作为待处理的推荐内容集合。然后,通过一种改进的实时CTR推荐算法,对已有内容进行基于展示、点击、下载的重新排列,并将重新排列的数据展示在移动应用市场内部。与传统的CTR推荐算法相比较,改进后的实时CTR推荐算法在评价维度上更加合理。通过对比,改进后的实时CTR推荐算法可以提高移动应用市场的分发能力,适用于信息过载下的移动应用市场。     

满足差分隐私的逻辑回归矩阵分解推荐算法

为了提高隐私保护下的推荐算法准确性，提出了一种满足差分隐私保护的逻辑回归矩阵分解推荐算法。该算法首先将隐式数据的矩阵分解转换为分类问题并以概率方式对其建模；然后采用sigmoid函数对预测评分进行非线性变换，将原始的矩阵分解问题转换成用户隐因子和项目隐因子的优化问题，并对目标函数添加随机噪音进行扰动，使算法满足差分隐私保护。在Movielens100K,Movielens1M和YahooMusic数据集上进行实验，并与现有算法进行对比，该算法在F1值指标上分别提升了9.29%,7.40%和3.61%。理论分析和实验结果表明，所提算法在实现用户隐式反馈数据保护的同时还能有效地保证推荐结果的准确性，具有良好的应用价值。     

一种配电主设备分布式状态传感器可靠性评估方法

分布式状态传感器可用来实时监测配电主设备,提高电力系统稳定性和用户体验,其可靠性对电网安全稳定运行至关重要。提出一种配电主设备分布式状态传感器可靠性评估方法,基于自注意力机制的时空图卷积神经网络(Self-attention based spatial-temporal graph convolutional networks,SASTGCN)。首先,从传感器装置形式、信号传输等方面开展可靠性研究,构建了主设备状态传感器可靠性评估指标体系。然后,基于自注意力机制更擅长捕捉数据或特征的内部相关性机制,将自注意力机制融入基于注意力机制的时空图卷积神经网络(Attention based spatial-temporal graph convolutional networks,ASTGCN)中,提出一种新的可靠性评估模型。最后,通过对比实验验证了所提模型的正确性和有效性。     

基于自注意力和门控机制的答案选择模型

针对现有答案选择方法语义特征提取不充分和准确性差的问题,引入自注意力和门控机制,提出了一种答案选择模型。该模型首先在问题和答案文本内部利用层叠自注意力进行向量表示,并在自注意力模块中让单词和位置分开进行多头注意力;然后将答案句通过卷积神经网络(Convolutional neural network, CNN)得到的向量表示输入注意力层,根据问题生成与问题相关的答案表示,并通过门控机制融合两种表示;最后计算问题和答案文本的相关性分数,得到候选答案的排名和标注。结果表明:该模型与双向长短时记忆网络模型、自注意力模型和基于注意力的双向长短时记忆网络模型相比,在WebMedQA数据集上平均倒数排名分数分别提高了8.37%、4.79%和2.03%,预测答案正确率也有提高。这表明提出的模型能够捕获更丰富的语义信息,有效提升了答案选择的性能。     

FastGR:一种基于神经协同过滤的群组推荐算法

群组推荐问题的关键在于如何对组内各成员不同的偏好进行融合来适应所有成员的需求. 基于神经协同过滤框架和注意力机制的群组推荐算法从数据中动态地学习融合策略,相较于传统基于预定义策略的方法明显提升了推荐效果,但模型训练及推理时间较长. 本文在此基础上重构了群组偏好融合模块,引入卷积神经网络来提取群组成员的特征,从而实现偏好融合:在公开数据集上的实验表明,本文算法比现有的算法具有更优的精度,训练速度提高了14倍.     

基于深度学习产品质检命名实体识别研究

产品质量检测 (pruduct quality inspection, PQI) 是维护市场秩序和保障健康安全的一项重要工作, 通过自然 语言处理技术对质检文本数据实体识别, 能够有效监督和控制产品质量。为了提高 PQI 文本数据命名实体识别效 果, 提出一种融合注意力机制的 CNN-BiGRU-CRF 模型, 在 CNN 层将字词向量和词长特征向量联合输入, 充分获 取文本特征。使用注意力机制重点关注目标信息特征, 抑制无用信息, 将输出序列进行加权后得到标注分数值, 以 提高识别精度。以人工构建的 PQI 数据集作为实验数据, 并与其他模型对比。实验结果表明, 该模型在 8 种实体类 型的实体识别中准确率和 F₁ 值达到 74.7% 以上, 优于其他传统模型, 在 PQI 数据的实体识别上达到了较好的识别 效果。     

改进的协同过滤算法

针对传统的CF（Collaborative Filtering）算法和基于项目评分的CF算法中存在的数据稀疏、扩展性及计算效率低的问题,通过引用评价系数,对其相似性计算和推荐集的选取方法进行了改进,提出了一种改进的基于相关相似性的CF算法,产生更为准确的用户兴趣度预测,从而提高系统推荐的质量与推荐效率。对改进算法进行实验和性能对比与评价的结果表明,改进算法与传统算法相比,能显著提高推荐精度,平均绝对误差（MAE：Mean Absolute Error）为0．53～0．77。     

融合知识图谱的推荐系统研究进展

针对推荐系统存在的数据稀疏、冷启动、推荐可解释性低、个性化不足等问题，分析知识图谱在推荐系统中的融入情况.从推荐系统的需求、知识图谱的相关概念、推荐系统与知识图谱的融合方式3个方面，对当前推荐系统存在的问题及推荐系统融合知识图谱后的解决方案进行概括.总结近年来通过结合注意力机制、神经网络、强化学习方法，采用取舍节点、整合节点、探索路径等原理充分利用知识图谱中复杂结构信息，从而提升推荐系统满意度.提出融合知识图谱的推荐系统所面临的知识图谱完备性、动态性、高阶关系可利用度以及推荐性能方面的挑战及未来可能的发展方向.     

基于循环扩张机制的ConvGRU-Transformer短期电力负荷预测方法北大核心

Transformer作为一种建立在自注意力机制上的新颖神经网络模型,其所具有的高度并行化计算结构和有效捕捉序列长期依赖性的能力为短期电力负荷预测带来了新的发展空间。舍弃递归与卷积结构为提取序列关联性提供便利,同时也导致信息碎片化。为充分挖掘注意力模型潜力,提出了一种基于循环扩张机制的卷积门控循环单元(Convolutional Gated Recurrent Unit,ConvGRU)-Transformer短期电力负荷预测方法。针对输入序列分割影响长期特征提取的问题,提出一种循环扩张注意力机制,在提高计算效率的同时扩大了学习视野。为保证注意力视野扩大后信息位置的一致性,建立了一种基于ConvGRU的全局位置编码方法。实验结果表明与常规方法相比,所提方法有更高的预测精度和良好的可解释性。