基于知识图谱表示学习的协同过滤推荐算法

针对协同过滤算法仅使用物品-用户评分矩阵而未考虑语义的问题,提出一种协同过滤推荐算法。使用知识图谱表示学习方法,将业界已有的语义数据嵌入一个低维的语义空间中。通过计算物品之间的语义相似性,将物品自身的语义信息融入协同过滤推荐。算法弥补了协同过滤算法没有考虑物品本身内涵知识的缺陷,在语义层面上增强了协同过滤推荐的效果。实验结果表明,该算法能够有效地提升协同过滤推荐的准确率、召回率和F值。     

融合注意力LSTM的协同过滤推荐算法

针对传统协同过滤算法难以学习深层次用户和项目的隐表示,以及对文本信息不能充分提取单词之间的前后语义关系的问题,该文提出一种融合辅助信息与注意力长短期记忆网络的协同过滤推荐模型。首先,附加堆叠降噪自编码器利用评分信息和用户辅助信息提取用户潜在向量;其次,基于注意力机制的长短期记忆网络利用项目辅助信息来提取项目的潜在向量;最后,将用户与项目的潜在向量用于概率矩阵分解中,从而预测用户偏好。在两个真实数据集MovieLens-100k和MovieLens-1M上进行实验,采用RMSE和Recall指标进行评估。实验结果表明,该模型与其他相关推荐算法相比在推荐性能上有所提升。     

基于图注意力网络表示学习的协同过滤推荐算法

针对传统的基于模型的协同过滤推荐算法未能有效利用用户与项目的属性信息以及用户之间与项目之间的关系结构信息, 本文提出一种基于图注意力网络表示学习的协同过滤推荐算法. 该算法使用知识图谱表示节点的属性特征信息和节点间的关系结构信息, 并在用户和项目的同质网络上进行节点的图注意力网络表示学习, 得到用户和项目的网络嵌入特征表示, 最后构建融合网络嵌入信息的神经矩阵分解模型获得推荐结果. 本文在Movielens数据集上与相关算法进行对比实验, 实验证明该算法能优化模型的推荐性能, 提高推荐的召回率HR@K和归一化折损累计增益NDCG@K.     

基于层次结构的生成式自动文摘

基于编码器—解码器架构的序列到序列学习模型是近年来主流的生成式文摘方法。但是,传统的编码器尚不能有效地对长文档进行语义编码,并且只能学习线性链结构的信息, 忽视了文档具有的层次结构。而文档的层次结构(字—句—文档)有助于自动文摘系统更加准确地判断文档内不同结构单元的语义信息和重要程度。为了使编码器能够获取文档的层次结构信息,该文根据文档的层次结构对文档进行编码: 首先构建字级语义表示,然后由字级语义表示构建句级语义表示。另外,该文还提出了一种语义融合单元来对输入文档不同层次的语义信息进行融合,作为最终的文档表示提供给编码器生成摘要。实验结果表明,在加入该文提出的层次文档阅读器与语义融合单元后,系统性能在 ROUGE 评价指标上有显著提高。     

基于知识图谱与协同过滤的饮食推荐算法

针对传统的基于协同过滤的饮食推荐算法只利用用户-物品评分矩阵,没有考虑物品本身的语义信息而导致推荐精度不高的问题,本文通过构建知识图谱引入菜品间的语义信息作为重要推荐依据,提出一种基于知识图谱嵌入和协同过滤的个性化饮食推荐算法。通过在2个不同的低维连续的向量空间里表示出菜品实体及其关系,计算菜品间的语义相似度,将语义相似度纳入到协同过滤推荐中进行推荐。本文算法加强了对菜品间内部隐性信息的利用,缓解了数据稀疏性和冷启动问题,使得推荐结果更加合理。在饮食数据集上的实验结果表明,本文算法在饮食推荐上效果显著,在召回率、AUC值2项指标方面都有着明显提升。     

融合知识图谱表示学习的栈式自编码器推荐算法

针对目前协同过滤推荐算法中数据稀疏和语义信息欠缺问题,提出一种融合知识图谱表示学习的栈式自编码器推荐算法(SAEKG-CF)。将评分矩阵作为栈式自编码器的输入,训练得到项目的隐性特征向量,并据此计算特征相似性矩阵;利用知识图谱表示学习算法将项目中的实体映射到低维向量空间,并计算出低维向量空间中实体间的语义相似性矩阵;将特征相似性矩阵与语义相似性矩阵相融合,得到融合相似性矩阵,进而依据最优融合相似性矩阵产生top-k推荐列表。实验结果表明,该算法能有效地同时解决数据稀疏与语义信息欠缺问题,提高推荐的准确率。     

面向电子商务协同过滤推荐的语义P2P网络技术研究*

在综合分析相关领域语义P2P网络的研究成果基础上,探讨了面向电子商务过滤推荐的语义P2P网络关键技术,包括基于本体的知识表示、知识协同和协作过滤的Peer节点模型;基于语义的领域本体映射方法和机器学习算法;语义P2P协作推荐社区结构、搜索机制和推荐反馈率修正的社区动态知识更新策略;基于语义相似度的协同过滤推荐算法.     

融合主题信息和卷积神经网络的混合推荐算法

针对传统的协同过滤算法中数据稀疏和推荐结果不准确的问题,提出了一种基于隐狄利克雷分布（LDA）与卷积神经网络（CNN）的概率矩阵分解推荐模型（LCPMF）,该模型综合考虑项目评论文档的主题信息与深层语义信息。首先,分别使用LDA主题模型和文本CNN对项目评论文档建模;然后,获取项目评论文档的显著潜在低维主题信息及全局深层语义信息,从而捕获项目文档的多层次特征表示;最后,将得到的用户和多层次的项目特征融合到概率矩阵分解（PMF）模型中,产生预测评分进行推荐。在真实数据集Movielens 1M、Movielens 10M与Amazon上,将LCPMF与经典的PMF、协同深度学习（CDL）、卷积矩阵因子分解模型（ConvMF）模型进行对比。实验结果表明,相较PMF、CDL、ConvMF模型,所提推荐模型LCPMF的均方根误差（RMSE）和平均绝对误差（MAE）在Movielens 1M数据集上分别降低了6.03%和5.38%、5.12%和4.03%、1.46%和2.00%,在Movielens 10M数据集上分别降低了5.35%和5.67%、2.50%和3.64%、1.75%和1.74%,在Amazon数据集上分别降低17.71%和23.63%、14.92%和17.47%、3.51%和4.87%,验证了所提模型在推荐系统中的可行性与有效性。     

社交网络中融合社交关系和语义信息的推荐算法

协同过滤方法广泛应用于推荐,但是数据稀疏成为模型提供高质量推荐的一大障碍.为了解决此问题,文中提出融合社交关系和语义信息的推荐算法,提高协同过滤方法的推荐性能,有机融合稀疏的用户行为记录、项目的社交信息和项目的语义信息.应用矩阵分解技术把行为矩阵和项目社交关系映射到一个低维的特征空间,提供项目社交关系信息分解的显式解释,分析关系信息对用户行为偏好产生的影响.同时,使用社会化因子正则的级联去噪自编码器模型学习项目语义特征,改进传统深度学习模型.在真实腾讯微博和Twitter数据集上的实验表明,文中方法有效提高召回率、准确率和推荐效率.     

基于图嵌入模型的协同过滤推荐算法

传统协同过滤算法存在严重的数据稀疏和冷启动问题。利用社交网络中的丰富信息为解决传统协同过滤算法的数据稀疏和冷启动带来了契机。然而,传统基于社交网络的协同过滤算法仅利用粗粒度、稀疏的用户信任关系来改进传统协同过滤算法,即用0或1表示用户之间信任程度。另外,传统基于社交网络推荐算法仅仅集成用户之间显式信任关系,而忽略用户之间隐式的信任关系。本文提出一种基于图嵌入模型的协同过滤推荐算法,即利用图嵌入模型技术学习社交网络中用户的低维特征表示,并根据用户的低维特征表示推导用户之间细粒度的信任关系。最后,根据信任用户和相似用户对目标物品的评分权重预测用户对目标物品的评分。在真实数据集上的实验结果表明,基于图嵌入模型的协同过滤算法的性能优于传统的协同过滤算法。     

异构CAD系统语义信息交换方法研究

传输完整的CAD模型语义信息是协同设计有效进行的关键,提出了一种异构CAD系统语义信息交换方法,该方法通过构建语义转换器实现了常规文件、压缩文件和中性文件三种模型文件的数据转换和翻译,并给出了判定特征相似性的方法,实现了源CAD系统和目标CAD系统的语义互操作,保证了语义传输的完整性和高效性。构建了一个协同资源共享平台,在该平台下实现了Pro/E系统和UG系统之间的语义数据交换,协同传输效率提高了近30%。     

Improving Arabic information retrieval using word embedding similarities

Term mismatch is a common limitation of traditional information retrieval (IR) models where relevance scores are estimated based on exact matching of documents and queries. Typically, good IR model should consider distinct but semantically similar words in the matching process. In this paper, we propose a method to incorporate word embedding (WE) semantic similarities into existing probabilistic IR models for Arabic in order to deal with term mismatch. Experiments are performed on the standard Arabic TREC collection using three neural word embedding models. The results show that extending the existing IR models improves significantly baseline bag-of-words models. Although the proposed extensions significantly outperform their baseline bag-of-words, the difference between the evaluated neural word embedding models is not statistically significant. Moreover, the overall comparison results show that our extensions significantly improve the Arabic WordNet based semantic indexing approach and three recent WE-based IR language models.     

单词嵌入表示学习综述

单词嵌入表示学习是自然语言处理(NLP)中最基本但又很重要的研究内容, 是所有后续高级语言处理任务 的基础. 早期的单词独热表示忽略了单词的语义信息, 在应用中常常会遇到数据稀疏的问题, 后来随着神经语言模 型(NLM)的提出, 单词被表示为低维实向量, 有效地解决了数据稀疏的问题. 单词级的嵌入表示是最初的基于神经 网络语言模型的输入表示形式, 后来人们又从不同角度出发, 提出了诸多变种. 本文从模型涉及到的语种数的角度 出发, 将单词嵌入表示模型分为单语言单词嵌入表示模型和跨语言单词嵌入表示模型两大类. 在单语言中, 根据模 型输入的颗粒度又将模型分为字符级、单词级、短语级及以上的单词嵌入表示模型, 不同颗粒度级别的模型的应用 场景不同, 各有千秋. 再将这些模型按照是否考虑上下文信息再次分类, 单词嵌入表示还经常与其它场景的模型结 合, 引入其他模态或关联信息帮助学习单词嵌入表示, 提高模型的表现性能, 故本文也列举了一些单词嵌入表示模 型和其它领域模型的联合应用. 通过对上述模型进行研究, 将每个模型的特点进行总结和比较, 在文章最后给出了 未来单词嵌入表示的研究方向和展望.     

融合层次类型信息的双向图注意力机制的知识图谱嵌入模型

知识图谱嵌入旨在将实体与关系映射到低维且稠密的向量空间中。目前已有的嵌入模型仍存在以下两个方面的缺陷：现有的模型大多只关注知识图谱的语义信息,而忽略了大量三元组的隐藏信息;现有的模型仅关注了实体的单向信息,而忽略了双向的潜在信息。针对以上问题,提出了一种融合层次类型信息的双向图注意力机制的知识图谱嵌入模型Bi-HTGAT,该模型设计了层次类型注意力机制,考虑不同关系下每种类型的不同实体对中心实体的贡献。同时引入了关系的方向注意力机制,通过融合不同方向的邻居信息来更新实体和关系嵌入,最终聚合两部分信息以得到实体的最终嵌入。在基准数据集上的实验证明,Bi-HTGAT在链接预测任务上性能明显优于其他基线模型,充分证明了Bi-HTGAT能够进一步提高嵌入结果的精准度。     

多原型词向量与文本主题联合学习模型

常见的词嵌入向量模型存在每个词只具有一个词向量的问题,词的主题值是重要的多义性条件,可以作为获得多原型词向量的附加信息。在skip-gram(cbow)模型和文本主题结构基础上,该文研究了两种改进的多原型词向量方法和基于词与主题的嵌入向量表示的文本生成结构。该模型通过联合训练,能同时获得文本主题、词和主题的嵌入向量,实现了使用词的主题信息获得多原型词向量,和使用词和主题的嵌入式向量学习文本主题。实验表明,该文提出的方法不仅能够获得具有上下文语义的多原型词向量,也可以获得关联性更强的文本主题。     

多尺度多阶段特征融合的带噪图像语义分割

在图像的采集过程中,图像往往会带有一定的噪声信息,这些噪声信息会破坏图像的纹理结构,进而干扰语义分割任务.现有基于带噪图像的语义分割方法,大都是采取先去噪再分割的模型.然而,这种方式会导致在去噪任务中丢失语义信息,从而影响分割任务.为了解决该问题,提出了一种多尺度多阶段特征融合的带噪图像语义分割的方法,利用主干网络中各阶段的高级语义信息以及低级图像信息来强化目标轮廓语义信息.通过构建阶段性协同的分割去噪块,迭代协同分割和去噪任务,进而捕获更准确的语义特征.在PASCAL VOC 2012和Cityscapes数据集上进行了定量评估,实验结果表明,在不同方差的噪声干扰下,模型依旧取得了较好的分割结果.     

基于语义增强的短文本主题模型

传统主题模型方法很大程度上依赖于词共现模式生成文档主题, 短文本由于缺乏足够的上下文信息导致的数据稀疏性成为传统主题模型在短文本上取得良好效果的瓶颈. 基于此, 本文提出一种基于语义增强的短文本主题模型, 算法将DMM (Dirichlet Multinomial Mixture)与词嵌入模型相结合, 通过训练全局词嵌入与局部词嵌入获得词的向量表示, 融合全局词嵌入向量与局部词嵌入向量计算词向量间的语义相关度, 并通过主题相关词权重进行词的语义增强计算. 实验表明, 本文提出的模型在主题一致性表示上更准确, 且提升了模型在短文本上的分类正确率.     

Personalised viewing-time prediction in museums

People are often overwhelmed by the large amount of information provided in museum spaces, which makes it difficult for them to select exhibits of potential interest. As a first step in recommending exhibits where a visitor may wish to spend some time, this article investigates predictive user models for personalised prediction of museum visitors’ viewing times at exhibits. We consider two content-based models and a nearest-neighbour collaborative filter, and develop a collaborative model based on the theory of spatial processes which relies on a notion of distance between exhibits. We discuss models of exhibit distance derived from viewing-time similarity, semantic similarity and walking distance. The results from our evaluation with a real-world dataset of visitor pathways collected at Melbourne Museum (Melbourne, Australia) suggest that utilising walking and semantic distances between exhibits enables more accurate predictions of a visitor’s viewing times of unseen exhibits than using distances derived from observed exhibit viewing times. Our results also show that all models outperform a non-personalised baseline, that content-based viewing time prediction yields better results than nearest-neighbour collaborative prediction, and that our collaborative model based on spatial processes attains the highest predictive accuracy overall.     

融合协同知识图谱高阶邻居特征的推荐模型

在推荐时引入知识图谱中的实体及关系信息是有效缓解冷启动问题的方法. HAN模型首次将基于注意力机制的图神经网络用于异构图, 但是并没有充分利用节点的高阶邻居信息. 为了解决该问题, 提出了一种融合协同知识图谱高阶邻居特征的推荐模型CKG-HAN. 该模型用元路径来连接项目节点, 将协同知识图谱分成多个子图, 模型的节点注意力层用于聚合子图中每个节点的高阶邻居特征, 关系注意力层给不同元路径下的节点特征分配不同的权重, 最终得到充分融合语义信息的节点嵌入表示. 在MovieLens-1M数据集上进行了Top-K推荐, 结果表明本文提出的模型能够有效提高推荐结果的准确性.