基于DQN的开放域多轮对话策略学习

有效地进行多轮对话是开放域人机对话系统的主要目标之一。目前的神经网络对话生成模型在开放域多轮对话过程中存在着容易产生万能回复、很快陷入死循环的问题;而已有的多轮对话研究工作存在着没有考虑未来对话走向的问题。借鉴强化学习方法考虑全局的视角,该文利用深度强化学习算法DQN(deep Q-network),提出了使用深度价值网络对每一轮的候选句子进行评估,并选择未来收益最大的而非生成概率最大的句子作为回复的多轮对话策略学习方法。实验结果表明,该文提出的方法将多轮对话的平均对话轮数提高了两轮,同时在主观对比评价指标上获胜比例高出了45%。     

利用多粒度属性网络表示学习进行引文推荐

引文推荐(CR)聚焦于智能化地产生与查询文章相关的文献列表,对科学研究具有重要价值.引文推荐有关于文章的语义信息和结构信息,近年来,基于网络表示学习(NRL)的引文推荐获得广泛关注.但现有研究使用单粒度网络来建模引文推荐问题,存在计算复杂度高、内存消耗大的弊端.为克服这个挑战,提出一种基于多粒度属性网络表示学习的引文推...     

多轮任务型对话系统研究进展

对话系统旨在实现机器与人类进行信息交流并向其提供个性化服务,具有一定的研究价值。为了及时跟进相关领域的研究,对其目前研究进展进行综述。首先针对对话系统的发展和分类情况进行介绍;其次综述了任务型对话系统的架构,重点梳理基于模块和基于端到端两种框架,并进一步总结归纳所使用模型的优缺点;接下来介绍任务型对话系统的评估方法以及应用领域,包括电商领域、教育领域和医学领域等方面;最后对多轮任务型对话系统面临的问题与挑战进行分析并作出总结。     

基于内容的加权粒度序列推荐算法

为了提高个性化推荐系统的准确率,提出了一种基于内容的加权粒度序列推荐算法。通过分析项目属性关系将项目粒度化,计算每个粒度的贡献度得到项目特征矩阵。再根据用户行为信息生成用户粒度序列并进行粒度映射,利用Apriori算法提取出用户偏好矩阵。最后将项目特征矩阵和用户偏好矩阵做乘积运算,其结果代入改进的sigmoid函数中进行喜好概率预测,从而完成Top-N项目推荐。实验选取MovieLens数据集,结果表明基于内容的加权粒度序列的推荐算法准确率达到72.27%,高于当前流行的推荐算法;在效率方面,推荐时间少于相同用户数量下的协同过滤推荐算法;综合测度评分为0.393,充分验证了算法的整体性能优于其他推荐算法。     

教育领域多轮对话机器人的算法设计与实现

随着自然语言处理技术的发展,对话机器人以节省人工和易于嵌入等特点受到业界青睐.为了满足在线教育的需求,本文提出的教育领域多轮对话机器人具备和用户针对知识点进行深入对话的能力.本文介绍了此对话机器人的实现全流程:采取用户模拟器生成教育领域语料,使用意图识别和槽位填充实现自然语言理解,通过对话状态追踪和对话策略设计多轮对话...     

联合自监督学习强化的多行为多任务推荐算法

为解决多行为推荐研究存在的未能全面捕获多行为交互特征,忽略点击等隐式反馈数据存在的大量噪声标签等问题,提出了联合自监督学习强化的多行为多任务推荐算法。首先,从行为影响权重和行为隐含语义两方面感知多行为交互特征,并将特征融合到嵌入传播过程,增强节点嵌入的表达能力;然后,构建自监督学习辅助任务,通过多视图对比学习避免模型对噪声标签过拟合;最后,联合有监督的多行为推荐任务和自监督学习辅助任务,采用多目标损失优化策略进行多任务学习,获取更加准确的用户、项目嵌入。通过实验分析表明,该算法在HR和NDCG指标上较对比算法均有一定提升,证明了算法的有效性和优越性。     

一种基于多粒度循环神经网络与词注意力的多轮对话回答选择方法

随着大数据和人工智能的发展,多轮对话算法受到了越来越多的关注.多轮对话回答选择是多轮对话算法中的关键问题之一,其目标是选择与输入消息和对话内容最相关的回答作为应答.近年来,深度神经网络模型在多轮对话回答选择问题上取得了较大进展.然而,如何提取对话上下文和回答中的相关语义信息并从中提取丰富的多粒度语义匹配特征仍然是多轮对话回答选择问题面临的巨大挑战.针对上述问题,本文提出了一种结合词注意力机制的多粒度循环神经网络模型MRNA(MultiGranularity Recurrent Neural Netw ork w ith Word Attention).首先,M RNA使用双通道网络,融合字符级和词语级语义信息,从而获得更准确的语义表征.其次,为了在语义匹配过程中充分提取对话上下文和回答中的相关语义信息,MRNA使用词注意力机制,动态地学习注意力矩阵的权重,从而提取与对话上下文和回答最契合的关键信息.此外,为进一步增强对话上下文和回答的语义匹配度,MRNA采用AHRE(Attentive Hierarchical Recurrent Encoder)对句子进行分层编码后输出的句子进行了分...     

基于负反馈修正的多轮对话推荐系统

传统的推荐系统从交互历史中挖掘用户兴趣,面临着无法动态地获取用户实时偏好和细粒度偏好的问题,近年对话推荐系统领域的兴起为此问题提供了新的解决方案.对话推荐系统优势在于其可以动态地和用户进行交互,并在交互过程中获取用户的实时偏好,从而提高推荐系统准确率,提升用户体验.然而对话推荐系统相关研究工作中缺乏对负反馈的充分利用,难以对用户偏好表示进行细粒度的修正,即难以有效平衡用户长期偏好和实时偏好之间的关系,同时存在属性候选集过大导致交互轮次过多的问题.因此,本文基于经典的对话推荐框架CPR(Conversational Path Reasoning)提出了一种能够有效利用用户负反馈的对话推荐模型NCPR(Negative-feedback-guide Conversational Path Reasoning).不同于现有的对话推荐系统工作,NCPR能够充分利用用户在交互过程中给出的属性粒度和物品粒度的负反馈对用户的偏好表示进行动态的修正.此外,CPR将对话推荐建模为一个图上的路径推理问题,NCPR使用协同过滤算法基于属性粒度的负反馈对属性候选集进行重排序,在利用图结构的自然优势限制属性候选...     

对话推荐算法研究综述

推荐系统是一种通过理解用户的兴趣和偏好帮助用户过滤大量无效信息并获取感兴趣的信息或者物品的信息过滤系统.目前主流的推荐系统主要基于离线的、历史的用户数据,不断训练和优化线下模型,继而为在线的用户推荐物品,这类训练方式主要存在3个问题:基于稀疏且具有噪声的历史数据估计用户偏好的不可靠估计、对影响用户行为的在线上下文环境因素的忽略和默认用户清楚自身偏好的不可靠假设.由于对话系统关注于用户的实时反馈数据,获取用户当前交互的意图,因此“对话推荐”通过结合对话形式与推荐任务成为解决传统推荐问题的有效手段.对话推荐将对话系统实时交互的数据获取方式应用到推荐系统中,采用了与传统推荐系统不同的推荐思路,通过利用在线交互信息,引导和捕捉用户当前的偏好兴趣,并及时进行反馈和更新.在过去的几年里,越来越多的研究者开始关注对话推荐系统,这一方面归功于自然语言处理领域中语音助手以及聊天机器人技术的广泛使用,另一方面受益于强化学习、知识图谱等技术在推荐策略中的成熟应用.将对话推荐系统的整体框架进行梳理,将对话推荐算法研究所使用的数据集进行分类,同时对评价对话推荐效果的相关指标进行讨论,重点关注于对话推荐系统中的后...     

一种基于降噪自编码器的隐式反馈推荐算法

现有的隐式反馈协同算法直接利用稀疏的二值社交信任信息辅助推荐,存在严重的数据稀疏问题,且没有深层次地融合社交信任信息的影响。针对以上问题,提出利用降噪自编码器深度融合用户隐式反馈数据与社交信息的算法。首先从不同的角度区分用户信任,提出一种信任相似度的新度量方法来改善社交数据的稀疏性,利用降噪自编码器将信任数据与用户隐式交互信息深度融合,通过综合二者的影响,有效提高了推荐质量。实验表明,该算法优于现有主流的的隐式反馈推荐算法。     

融合显/隐式反馈的社会化协同排序推荐算法

传统的基于评分预测的社会化协同过滤推荐算法存在预测值与真实排序不匹配的固有缺陷,而基于排序预测的社会化协同排序推荐算法更符合真实的应用场景。然而,现有的大多数基于排序预测的社会化协同排序推荐算法要么仅仅关注显式反馈数据,要么仅仅关注隐式反馈数据,没有充分挖掘这些数据的价值。为充分挖掘用户的社交网络和推荐对象的显/隐式评分信息,同时克服基于评分预测的社会化协同过滤推荐算法存在的固有缺陷,在xCLiMF模型和TrustSVD模型基础上,提出一种新的融合显/隐式反馈的社会化协同排序推荐算法SPR_SVD++。该算法同时挖掘用户评分矩阵和社交网络矩阵中的显/隐式信息,并优化排序学习的评价指标预期倒数排名（ERR）。在真实数据集上的实验结果表明,采用归一化折损累计增益（NDCG）和ERR作为评价指标,SPR_SVD++算法均优于最新的TrustSVD、MERR_SVD++和SVD++算法。可见SPR_SVD++算法性能好、可扩展性强,在互联网信息推荐领域有很好的应用前景。     

基于主题模型的个性化图书推荐算法

针对传统推荐算法精准度不高的问题,在潜在狄利克雷分布(LDA)主题挖掘模型的基础上提出了一种新的适用于图书推荐(BR)的数据挖掘模型——BR_LDA模型。通过对目标借阅者的历史借阅数据与其他图书数据进行内容相似度分析,得到与目标借阅者历史借阅图书内容相似度较高的其他图书。通过对目标借阅者的历史借阅数据及其他借阅者的历史借阅数据进行相似性分析,得到最近邻借阅者的历史借阅数据。通过求解图书被推荐的概率,最终得到目标借阅者潜在感兴趣的图书。特别地,当推荐数量为4000时,BR_LDA模型比基于多特征方法和关联规则方法精准度分别提高了6.2%、4.5%;当推荐数量为500时,BR_LDA模型比协同过滤的近邻方法和矩阵分解方法分别提高了2.1%、0.5%。实验表明本模型能够更准确地向目标借阅者推荐历史感兴趣类别的新图书及潜在感兴趣的新类别的图书。     

基于深度Q网络的人群疏散机器人运动规划算法

针对公共场合密集人群在紧急情况下疏散的危险性和效果不理想的问题，提出一种基于深度Q网络（DQN）的人群疏散机器人的运动规划算法。首先通过在原始的社会力模型中加入人机作用力构建出人机社会力模型，从而利用机器人对行人的作用力来影响人群的运动状态；然后基于DQN设计机器人运动规划算法，将原始行人运动状态的图像输入该网络并输出机器人的运动行为，在这个过程中将设计的奖励函数反馈给网络使机器人能够在"环境-行为-奖励"的闭环过程中自主学习；最后经过多次迭代，机器人能够学习在不同初始位置下的最优运动策略，最大限度地提高总疏散人数。在构建的仿真环境里对算法进行训练和评估。实验结果表明，与无机器人的人群疏散算法相比，基于DQN的人群疏散机器人运动规划算法使机器人在三种不同初始位置下将人群疏散效率分别增加了16.41%、10.69%和21.76%，说明该算法能够明显提高单位时间内人群疏散的数量，具有灵活性和有效性。     

基于偏置度量分解与隐反馈的协同过滤推荐算法

矩阵分解由于其简单可靠的特性,是推荐系统中最重要的算法之一,由于内积无法完全捕捉用户和商品间的交互,矩阵分解的性能难以继续提升。为了解决这个问题,改进了基础的距离度量分解模型,提出了基于偏置度量分解与隐反馈的协同过滤推荐算法,并对用户评分时间动态建模,进一步提升了模型性能。针对推荐系统中最常见的评分预测任务,分别在三个数据集上进行实验验证,实验结果表明所提出的模型的预测准确率有明显提升。     

基于标签的强化学习推荐算法研究与应用*

针对协同过滤推荐算法性能稳定性往往受到数据稀疏性影响的问题,在强化学习的框架下提出一种基于标签的协同过滤推荐算法,利用标签模拟用户兴趣来构造非稀疏的个性化数据,并将模拟数据与历史用户访问数据相结合进行协同过滤推荐。实验结果表明,引入基于标签的个性化数据可以有效提升协同过滤算法的性能,且对两种数据的有效结合可以获得最好的效果。     

基于动态和静态偏好的兴趣点推荐算法

针对大多数现有主流兴趣点(POI)推荐算法忽略了融合用户复杂动态偏好和一般静态偏好建模的复杂性问题,提出一个融合复杂动态用户偏好和一般静态用户偏好的POI推荐算法CLSR.首先,在复杂动态偏好建模过程中,基于用户的签到行为及其中的跳过行为设计一个混合神经网络,实现用户的复杂动态兴趣的建模;其次,在一般静态偏好建模过程中...     

基于概念分层的个性化推荐算法

协同过滤算法(couaborative filtering)目前较为成功地应用于个性化推荐系统中,但随着系统规模的扩大,面临很严重的稀疏性问题,制约了推荐效果。文中提出概念分层的方法对用户-项矩阵进行改进,同时使用交易数据和点击流数据,将相似用户选择项与多层次关联规则推荐项相结合,在稀疏数据集上表现出较好的性能。     

基于聚类免疫网络的协同过滤推荐算法

针对传统协同过滤推荐算法进行聚类后出现的推荐精度下降问题,提出了一种利用独特型网络模型对基于用户聚类的协同过滤算法加以改进的新思路。通过引入人工免疫中动态调节抗体浓度使免疫网络保持稳定的原理来调整邻居用户的数目,以保证邻居用户的多样性达到提高精度的目的。实验结果表明,该算法相对于传统的基于聚类的协同过滤算法而言,在提高推荐速度的同时保证了推荐的精度。     

基于非负矩阵分解的群组推荐算法

近年来,随着媒介技术的快速发展,人们成组活动的现象逐渐增多,群组推荐系统也逐渐受到关注。现有的群组推荐系统往往将不同的成员视为同质对象,忽视了成员专业背景和项目固有属性之间的关系,无法真正地解决融合过程中的偏好冲突问题。为此,提出一种基于非负矩阵分解的群组推荐算法,通过非负矩阵分解将群组评分信息分解为用户矩阵和项目矩阵,针对2个矩阵分别利用隶属度和专业度权值计算得到项目隶属度矩阵和成员专业度矩阵,并由此获得各成员在不同项目上的贡献度来构建群组偏好模型。实验结果表明,所提算法在不同群组规模和组内相似度的情况下依然具有较高的推荐准确度。