基于图神经网络与深度学习的商品推荐算法

基于图神经网络的推荐算法可以提取传统方法无法提取用户与商品之间的关联关系.目前此类算法大多忽略了用户和商品的评论数据中所存在的一般偏好.针对这一问题,提出了一种方法,在利用图神经网络提取关联关系的同时,利用深度学习提取评论的优势提取用户和商品的一般偏好,并进行特征融合来提升推荐效果.在四组公共数据集中进行了对比实验,使用召回率和归一化折损累计增益作为评价指标,并通过消融实验验证了方法的有效性.实验表明该方法比已有相关算法的效果更好.两种网络的特征融合对推荐效果有提升作用.     

多注意力机制融合低高阶特征的神经推荐算法

针对因子分解机仅提取低阶组合特征的局限性,提出了一种基于多注意力机制融合低阶和高阶组合特征的深度神经推荐算法（deep neural recommendation method,DeepNRM）。分别运用因子分解机和多层前馈神经网络从稀疏及稠密特征中提取低阶和高阶组合特征;采用注意力网络和多头自注意力机制从低阶和高阶组合特征中自动选取关键特征;将低、高阶组合特征根据重要性进行融合共同进行推荐。算法模型在MovieLens和Criteo公共数据集上进行了实验验证,消融和对比实验结果表明,提出的算法模型与基准模型相比在AUC指标上分别有1.964个百分点和0.773个百分点的提升。     

面向会话推荐的注意力图神经网络

面向会话的推荐方式起源于无法获得用户历史数据的应用场景,它是通过匿名会话来预测用户的行为.现有面向会话的推荐方法,虽然可以准确获得项目嵌入和考虑项目的复杂转换,但不能从多维度提取会话序列中隐藏的用户的长期兴趣和短期偏好,造成推荐性能低.该文引入注意力机制,提出一种多头注意力机制和软注意力机制有机结合的新机制,并据此提出面向会话推荐的注意力图神经网络.该注意力机制通过给不同的输入数据赋予不同权重,实现对当前推荐任务更为关键的信息的聚焦,以此从不同角度提取用户的兴趣和偏好.该模型在电商数据集上进行实验,与已有的基准模型相比,该文所提模型在各项评论指标上均有显著提升.在Dgeca数据集上,P@20可达61.77%,充分表明了所提方法的有效性.     

基于注意力门控神经网络的社会化推荐算法

针对社会化推荐算法中存在的推荐准确率不高的问题,提出了一种多头注意力门控神经网络(MAGN)算法.具体来说,采用门控神经网络对输入的用户和用户-朋友对进行融合得到联合嵌入,利用注意力记忆网络来获取不同朋友在不同方面对用户的影响,利用多头注意力来获取在不同方面对用户影响程度偏高的几位朋友.采用门控神经网络将朋友影响和用户...     

基于复杂结构信息的图神经网络序列推荐算法

图结构因其在序列推荐场景中的自然适应性而备受关注,而现有的基于图神经网络的会话序列推荐算法虽然能够利用图结构信息达到较好的推荐效果,但是没有考虑用户在会话序列中的重复点击行为和项目之间的复杂转换,且未很好地利用图中复杂的结构信息,导致推荐的效果受到一定程度的限制。提出有向与无向信息同注意力相融合的图神经网络序列推荐算法,并基于推荐算法给出项目隐含向量建模算法,结合会话序列图中的有向结构信息与无向结构信息,通过考虑用户的重复点击行为和引入注意力机制建立会话中点击项目的复杂转换模型。图节点在特征传播的过程中平衡邻居节点信息与自身信息的比例,以更准确地预测推荐过程中生成的会话向量。在Diginetica、Yoochoose 1/64、Yoochoose 1/4 3个数据集上的实验结果表明,与SR-GNN、TAGNN算法相比,该算法精度最高提升4.34%,能够更好地预测用户在会话中的下一次点击精度。     

融合多头自注意力的问答社区专家推荐算法

专家推荐是在线问答社区的研究热点之一,但现有的算法大多关注用户的静态兴趣和问题信息的匹配,忽视了对用户的动态兴趣表征信息的有效捕捉,从而导致推荐的准确度不足。针对上述问题,提出了融合多头自注意力的问答社区专家推荐算法。首先,构造由卷积神经网络和注意力机制组成的问题编码器,来处理目标问题和用户历史回答问题,提取对应的问题表征;其次,将用户历史回答问题序列当作时间序列,利用多头自注意力机制学习序列中所蕴涵的动态兴趣表征,结合用户的静态兴趣表征,获取用户的综合兴趣表征;最后,将目标问题表征和用户综合表征进行相似性计算产生推荐结果。利用来自知乎问答社区的真实数据进行了不同参数配置及不同算法的对比实验,实验结果表明该算法性能要明显优于目前较流行的深度学习专家推荐算法。     

基于注意力机制的Java API序列推荐方法

软件开发者在软件代码中如何正确使用API和API序列（APIs）,是一个需要学习的困难过程.于是面对不熟悉函数库或像Github那样包含大量APIs的代码仓库,需要一些推荐工具或系统辅助开发者的APIs使用.目前我们所知最好的方法DeepApi能较好理解用户的查询语义,但基于RNN的模型存在问题：（1）没有考虑每个单词的权重;（2）将输入序列压缩为一个固定长度的向量,损失了较多有用信息;（3）句子过长会使关键信息丢失.为此,本文使用了一种基于注意力机制的模型,可以区分每个单词的重要程度并解决长查询输入所产生的长距离依赖问题.我们从Github上面爬取了649个Java开源项目,经过处理得到有114 364对注释-API序列的训练集.实验结果表明我们的方法比DeepApi方法对于BLUE指标在Top1、Top5、Top10上均能提升约20%以上.     

基于注意力机制交互卷积神经网络的推荐方法

为了捕捉在线购物时用户与商品之间的动态交互关系,提高推荐系统(RS)的准确度,提出了结合用户倾向性和商品吸引力的用户评价预测方法。首先,将评论分为用户评论文本和商品评论文本,分别输入两个交互卷积神经网络(CNN),并结合注意力机制,动态捕捉文本中的语义信息和上下文信息,得到用户和商品的自适应特征;然后,利用交互注意力网络,分析商品特征和用户特征的动态交互关系,计算出用户对特定商品的倾向性和商品对特定用户的吸引力;最后,通过预测模块提供用户对商品的准确评价预测。在数据集上进行实验,结果表明,所提方法取得了最优性能,比其他方法的MAE和RMSE性能分别至少提升了15.1%和13.6%。此外,基于Top-K的统计指标进一步验证了所提方法的商品推荐精准度。     

基于多头注意力机制和位置信息的xDeepFM推荐模型

为了解决推荐模型中无法挖掘用户兴趣多样性和捕捉用户行为序列之间的顺序信息,以及交互发生在元素级并非特征向量之间等问题,提出一种基于多头注意力机制和位置信息的xDeepFM推荐模型(extreme deep multiple attention and location information factorization machine,xDMALFM).首先通过多头注意力机制进行不同子空间的特征深度提取,然后利用位置信息去捕捉用户行为序列之间的顺序关系.最后,利用三个公开数据集进行对比实验,以AUC指标进行评估.实验结果表明所提算法相比xDeepFM模型具有更好的推荐性能,验证了其有效性与可行性.     

基于深度神经网络的个性化推荐系统研究

深度神经网络由于结构类似于生物神经网络,因此拥有高效、精准抽取信息深层隐含特征的能力和能够学习多层的抽象特征表示,且能够对跨域、多源、异质的内容信息进行学习等优势。提出了一种基于多用户-项目结合深度神经网络抽取特征、自学习等优势实现信息个性化推荐的模型,该模型通过对输入多源异构数据特征进行深度神经网络学习、抽取,再融合协同过滤中的广泛个性化产生候选集,然后通过二次模型学习产生排序集,实现精准、实时、个性化推荐。通过真实数据集对模型评估实验,实验结果表明,该模型能够很好地学习、抽取用户隐特征,并且能够一定程度上解决传统推荐系统稀疏性、新物品等问题,同时实现了更加精准、实时、个性化的推荐。     

融合命题逻辑与神经网络的隐式深度协同推荐模型

以增强推荐算法模型认知推理能力,克服传统推荐算法高度依赖数据质量致使性能受限的现状为目标,提出一种将命题逻辑与神经网络融合的隐式深度协同推荐模型。首先,构建一个隐式逻辑表征模块,辅助联结实际问题中复杂变量与逻辑变量的隔阂,并将推荐问题转换为一个逻辑表达式。随后,利用神经网络拟合逻辑符号对逻辑表达式进行求解并完成推荐。在具有不同特点的三个经典数据集MovieLens、Book-Crossing、Amazon-E上的实验表明该方法展现了更好的推荐性能。     

基于MLP改进型深度神经网络学习资源推荐算法

针对在线学习过程中出现的知识过载及传统推荐算法中存在的数据稀疏和冷启动问题,提出了一种基于多层感知机（MLP）的改进型深度神经网络学习资源推荐算法。该算法利用多层感知机对非线性数据处理的优势,将学习者特征和学习资源特征进行向量相乘的预测方式转换为输入多层感知机的方式,改进了DN-CBR神经网络推荐模型。为验证模型的有效性,以爱课程在线学习平台数据为样本构建数据集,通过对比实验表明,在该数据集上,改进后模型相较于DN-CBR模型在归一化折损累积增益和命中率指标上分别提升了1.2%和3%,有效地提高了模型的推荐性能。     

基于混合神经网络的文本分类方法

为更好解决卷积神经网络提取特征不充分,难以处理长文本结构信息和捕获句子语义关系等问题,提出一种融合CNN和自注意力BiLSTM的并行神经网络模型TC-ABlstm.对传统的卷积神经网络进行改进,增强对文本局部特征的提取能力;设计结合注意力机制的双向长短期记忆神经网络模型来捕获文本上下文相关的全局特征;结合两个模型提取文...     

基于深度神经网络的表面划痕识别方法

为实现亮度不均的复杂纹理背景下表面划痕的鲁棒、精确、实时识别，提出一种基于深度神经网络的表面划痕识别方法。用于表面划痕识别的深度神经网络由风格迁移网络和聚焦卷积神经网络（CNN）构成，其中风格迁移网络针对亮度不均的复杂背景下的表面划痕进行预处理，风格迁移网络包括前馈转换网络和损失网络，首先通过损失网络提取亮度均匀模板的风格特征和检测图像的知觉特征，对前馈转换网络进行离线训练，获取网络最优参数值，最终使风格迁移网络生成亮度均匀且风格一致的图像，然后，利用所提出的基于聚焦结构的聚焦卷积神经网络对生成图像中的划痕特征进行提取并识别。以光照变化的金属表面为例，进行划痕识别实验，实验结果表明：与需要人工设计特征的传统图像处理方法及传统深度卷积神经网络相比，划痕漏报率低至8.54%，并且收敛速度更快，收敛曲线更加平滑，在不同的深度模型下均可取得较好的检测效果，准确率提升2%左右。风格迁移网络能够保留完整划痕特征的同时有效解决亮度不均的问题，从而提高划痕识别精度；同时聚焦卷积神经网络能够实现对划痕的鲁棒、精确、实时识别，大幅度降低划痕漏报率和误报率。     

基于深度神经网络的Android恶意软件检测方法

Android 系统正日益面临着恶意软件的攻击威胁。针对支持向量机等传统机器学习方法难以有效进行大样本多分类的恶意软件检测,提出一种基于深度神经网络的Android恶意软件检测与家族分类方法。该方法在全面提取应用组件、Intent Filter、权限、数据流等特征基础上,进行有效的特征选择以降低维度,基于深度神经网络进行面向恶意软件的大样本多分类检测。实验结果表明,该方法能够进行有效检测和分类,良性、恶意二分类精度为 97.73%,家族多分类精度可达到 93.54%,比其他机器学习算法有更好的分类效果。     

深度卷积神经网络的汽车车型识别方法

针对现有汽车车型识别方法计算量大、提取特征复杂等问题,提出一种基于深度卷积神经网络的汽车车型识别方法。该方法借助于深度学习,对经典的卷积神经网络做出改进并得到由多个卷积层和次抽样层构成的深度卷积神经网络。根据五种车型的分类结果,表明该方法在识别率方面较传统方法有明显的提高。实验还研究了网络层数、卷积核大小、特征维数对深度卷积神经网络的性能和识别率的影响。     

糖尿病性视网膜图像的深度神经网络分类方法

针对传统的视网膜图像处理步骤复杂、泛化性差、缺少完整的自动识别系统等问题,提出了一套完整的基于深度神经网络的视网膜图像自动识别系统。首先,对图像进行去噪、归一化、数据扩增等预处理;然后,设计了紧凑的神经网络模型——CompactNet,CompactNet继承了AlexNet的浅层结构参数,深层网络参数则根据训练数据进行自适应调整;最后,针对不同的训练方法和不同的网络结构进行了性能测试。实验结果表明,CompactNet网络的微调方法要优于传统的网络训练方法,其分类指标可以达到0.87,与传统直接训练相比高出0.27;对于LeNet,AlexNet和CompactNet三种网络模型,CompactNet网络模型的分类准确率最高;并且通过实验证实了数据扩增等预处理方法的必要性。     

基于深度神经网络的说话人自适应方法研究

在说话人自适应领域,基于深度神经网络(DNN)的说话人自适应方法已成为主流方法。学习性隐层单元贡献(LHUC)作为一种有效的无监督自适应方法比其他自适应方法有诸多优势,而自适应数据的稀疏问题却导致识别性能受到影响。为了降低数据稀疏所带来的影响,在原有LHUC技术的基础上,加入i-vector及多任务学习这两种方法分别与其相结合。在TEDLIUM语料库上进行实验,实验结果表明,两种融合方法都比原系统表现出了更好的性能,单词错误率(WER)分别相对降低了2.5%和1.9%。     

基于循环神经网络的空载电动出租车的充电桩推荐方法

提出了一种基于循环神经网络的空载电动出租车的充电桩推荐方法（CPRM-IET,charging pile recommendation method for idle electric taxis）,来为空载状态下的电动出租车推荐最佳充电桩。空载状态下的电动出租车移动一般依赖于驾驶人的潜意识移动倾向和驾驶习惯,因此需要根据其历史移动轨迹来预测其未来移动,从而找到充电额外移动最小的若干充电桩。在CPRM-IET中,使用了一种基于双阶段注意力机制的循环神经网络（DA-RNN,dual-stage attention-based recurrent neural network）模型来预测电动出租车的未来轨迹,DA-RNN模型包括输入注意力机制和时间注意力机制。输入注意力机制在每个时刻为输入的行驶记录分配权重,而时间注意机制为编码器的隐藏状态分配权重。根据预测轨迹,再选择额外移动最小的若干充电桩,并推荐给电动出租车驾驶人。仿真结果表明,CPRM-IET可以在额外移动和均方根误差方面取得较好的结果,反映了CPRM-IET可以准确地预测空载电动出租车的未来轨迹,并向这些电动出租车推荐合适的充电桩。