对话推荐算法研究综述

推荐系统是一种通过理解用户的兴趣和偏好帮助用户过滤大量无效信息并获取感兴趣的信息或者物品的信息过滤系统.目前主流的推荐系统主要基于离线的、历史的用户数据,不断训练和优化线下模型,继而为在线的用户推荐物品,这类训练方式主要存在3个问题:基于稀疏且具有噪声的历史数据估计用户偏好的不可靠估计、对影响用户行为的在线上下文环境因素的忽略和默认用户清楚自身偏好的不可靠假设.由于对话系统关注于用户的实时反馈数据,获取用户当前交互的意图,因此“对话推荐”通过结合对话形式与推荐任务成为解决传统推荐问题的有效手段.对话推荐将对话系统实时交互的数据获取方式应用到推荐系统中,采用了与传统推荐系统不同的推荐思路,通过利用在线交互信息,引导和捕捉用户当前的偏好兴趣,并及时进行反馈和更新.在过去的几年里,越来越多的研究者开始关注对话推荐系统,这一方面归功于自然语言处理领域中语音助手以及聊天机器人技术的广泛使用,另一方面受益于强化学习、知识图谱等技术在推荐策略中的成熟应用.将对话推荐系统的整体框架进行梳理,将对话推荐算法研究所使用的数据集进行分类,同时对评价对话推荐效果的相关指标进行讨论,重点关注于对话推荐系统中的后...     

端到端对话系统意图语义槽联合识别研究综述

目前基于深度学习的端到端对话系统因具有泛化能力强、训练参数少、性能好等优势，在学术界和工业界成为了研究热点。意图识别和语义槽填充的结果对于对话系统的性能至关重要。介绍了端到端任务型对话系统意图和语义槽联合识别的主流方法，对注意力机制、Transformer模型在捕获长期依赖关系方面的效果同循环神经网络、长短时记忆网络进行对比，并分析了因其并行处理导致无法对文本词序位置信息完整捕获的局限；阐述了胶囊网络相较于卷积神经网络在捕获小概率语义信息保证特征完整性方面的优势；重点介绍了基于BERT（Bidirectional Encoder Representations from Transformers）模型的联合识别方法，不仅能够并行处理而且可以解决一词多义的问题，是目前性能最好的方法。最后对未来研究的发展方向进行讨论和分析。     

基于隐式网络和显式网络相似性学习的零样本意图识别

意图识别是对话系统的一个重要组成部分.现有的工作主要集中在使用充足的标记数据进行意图识别.然而,这些方法不能识别训练数据中不存在的意图.为了解决这个问题,我们提出了一种基于隐式网络和显式网络的相似性学习模型,用于零样本意图识别,该模型能够从词级和句子级学习用户话术和意图描述之间的相似性.为了增强意图的表示,我们引入槽位...     

融合BERT和记忆网络的实体识别

实体识别是信息提取的子任务,传统实体识别模型针对人员、组织、位置名称等类型的实体进行识别,而在现实世界中必须考虑更多类别的实体,需要细粒度的实体识别.同时,BiGRU等传统实体识别模型无法充分利用更大范围内的全局特征.文中提出了一种基于命名记忆网络和BERT的实体识别模型,记忆网络模块能够记忆更大范围的特征,BERT语言预训练模型能进行更好的语义表示.对水泥熟料生产语料数据进行实体识别,实验结果表明,所提方法能够识别实体且较其他传统模型更具优势.为了进一步验证所提模型的性能,在CLUENER2020数据集上进行实验,结果表明,在BiGRU-CRF模型的基础上使用BERT和记忆网络模块进行优化是能够提高实体识别效果的.     

融合实体信息和时序特征的意图识别模型

人机对话意图识别旨在通过人机之间简短的对话识别出用户意图,通过对话文本的分类进而实现意图的识别。针对人机对话中因篇幅短导致语境匮乏和因对话随意性导致意图模糊的问题,提出了一种融合实体信息和时序特征的人机对话意图识别模型。在文本表示阶段,通过捕捉对话中实体信息来增强文本语义表达,并利用双向注意力机制动态生成符合语境的文本表示;并利用双向GRU提取对话上下文的时序特征来获取上下文意图之间的关系;通过级联多层gMLP,利用其内部空间控制单元自适应融合实体信息和时序特征,从而提升意图识别的准确率。为验证所提模型在多种任务上的效果,在不同意图识别任务数据集CCKS2018和SMP2018上进行实验,分别取得了90.6%和93.7%的准确率,对比CLSTM、DBN、Attention-RNN等具有代表性的模型,均有3%以上性能的提升。     

融合敏感词规则和字符级RCNN模型的用户意图识别

用户意图识别是基于用户对话用语识别用户的真实对话意图,是人机对话研究中的一项关键任务。针对现有用户意图识别方法的不足,提出融合敏感词规则和字符级RCNN模型的用户意图识别方法。构建敏感句子与敏感词词典,并通过规则及相似度匹配策略对特征明显的对话进行意图识别。针对类别特征不明显的对话提出深层语义分类模型,该模型以单字符串作为输入序列,利用RCNN模型构建意图分类框架,既可以避免分词结果不准确带来的错误传导问题,同时利用字符的分布向量表示方法还可以获取句子的深层语义信息。实验结果表明,该方法在两个数据集上都取得了较好的结果,明显优于传统的意图识别方法。     

基于网格LSTM混合算法的地质领域用户意图识别

针对传统基于模板匹配、关键词共现、人工特征集合等方法的问答机器人存在用户意图识别耗时、费力且扩展性不强的问题,本文结合地质领域文献中结构化知识问答的复杂特点,使用了基于网格记忆网络(LSTM+CRF+Lattice)与基于卷积神经网络(CNN)融合的优化模型.该模型将用户询问意图识别看作分类问题,首先使用网格记忆网络进行文本信息的命名实体识别及关系抽取,然后使用卷积神经网络将用户输入的其他文本信息进行属性分类,接着将分类结果转化为满足知识图谱查询的结构化方式,最终实现地质知识属性映射的用户询问意图识别.实验证明,在考虑地质知识特征的处理中,对于准确率的提升起到了极大帮助.     

基于多头注意力的电网调度领域命名实体识别

针对电网调度领域实体识别准确率较低的问题,提出一种融合多头注意力机制和双向长短时记忆网络的电网调度领域中文命名实体识别方法。利用词向量表示电网调度语音识别后语句,并将生成的词向量序列输入双向长短时记忆网络(BiLSTM)挖掘其上下文语义特征,引入多头注意力机制重点关注文本中的实体词,挖掘其隐藏特征,同时通过条件随机场(CRF)计算序列标签的联合概率标注出实体识别结果。根据电网调度语音识别后文本特点自建标注数据集,并将电网调度语音识别文本中的命名实体细粒度划分为参数、设备、操作、系统、组织5个类别进行实验。其结果表明,该方法对电网调度领域实体识别具有更高的准确率和召回率,且F1值可达到93.63%,切实解决了电网调度领域实体识别任务中标注数据稀少和精度较低的问题,有助于电网调度领域知识图谱的构建。     

基于线性规划分类器的相关反馈技术

提出了一种基于线性规划分类器的相关反馈方法．所设计的线性规划分类器将特征选择和分类学习结合起来，使其不仅能在利用用户标注的小样本条件下进行实时训练，而且能根据样本对分类的贡献程度选择用户反馈中的敏感特征，从而能在相关反馈小样本训练条件下有效捕捉用户的反馈意图．针对草图检索的实验结果验证了所提出方法在相关反馈中的有效性．     

融合CNN-BiLSTM和自注意力模型的音乐情感识别

随着音乐科技研究的不断深入,音乐情感识别已被广泛实践和应用在音乐推荐、音乐心理治疗、声光场景构建等方面。模拟人类感受音乐表现情感的过程,针对音乐情感识别中长短时记忆神经网络的长距离依赖和训练效率低的问题,提出一种新的网络模型CBSA（CNN BiLSTM self attention）,应用于长距离音乐情感识别回归训练。模型使用二维卷积神经网络获取音乐情感局部关键特征,采用双向长短时记忆神经网络从获取的局部关键特征中提取序列化音乐情感信息,利用自注意力模型对获取的序列化信息进行动态权重调整,突出音乐情感全局关键点。实验结果表明,CBSA模型可缩短分析音乐情感信息中数据规律的训练时间,有效地提高音乐情感识别精确度。     

基于LDA模型的餐厅推荐方法研究

随着网络的飞速发展,餐饮类的评价信息数量急剧增加。对餐饮评价进行有效分析不仅能够帮助消费者进行用餐选择,还可以帮助商家对餐厅服务进行改进。为此,提出了一种基于LDA(Latent Dirichlet Allocation)模型的餐厅推荐方法。首先,对餐厅评价信息进行情感分类,获取积极评价和好评率;其次,根据LDA模型对积极评价信息文本进行聚类,生成餐厅标签;最后,计算用户需求与餐厅标签的相似度,根据相似度和好评率向用户推荐餐厅。基于通过网络获取的真实餐饮评价信息进行实验,结果表明,该方法生成的餐厅标签的效果好,能准确地向用户推荐餐厅。     

基于改进的深度Q网络结构的商品推荐模型

传统推荐方法存在数据稀疏和特征识别差等问题,为了解决这些问题,根据隐式反馈构建具有时序性的正负反馈数据集。由于正负反馈数据集和商品购买具有强时序性特征,引入长短期记忆（LSTM）网络作为模型构件。考虑用户自身特征和用户动作选择回报由不同的输入数据决定,对竞争架构的深度Q网络进行改进,融合用户正负反馈和商品购买时序性,设计了基于改进的深度Q网络结构的商品推荐模型。模型对正负反馈数据进行区分性训练,对商品购买的时序性特征进行提取。在Retailrocket数据集上,与因子分解机（FM）模型、W&D模型和协同过滤（CF）模型中表现最好的相比,所提模型的准确率、召回率、平均准确率（MAP）和归一化折损累计增益（NDCG）分别提高了158.42%、89.81%、95.00%和67.57%。同时,使用DBGD作为探索方法,改善了推荐商品多样性低的缺陷。     

基于改进的深度Q网络结构的商品推荐模型

传统推荐方法存在数据稀疏和特征识别差等问题，为了解决这些问题，根据隐式反馈构建具有时序性的正负反馈数据集。由于正负反馈数据集和商品购买具有强时序性特征，引入长短期记忆（LSTM）网络作为模型构件。考虑用户自身特征和用户动作选择回报由不同的输入数据决定，对竞争架构的深度Q网络进行改进，融合用户正负反馈和商品购买时序性，设计了基于改进的深度Q网络结构的商品推荐模型。模型对正负反馈数据进行区分性训练，对商品购买的时序性特征进行提取。在Retailrocket数据集上，与因子分解机（FM）模型、W&D模型和协同过滤（CF）模型中表现最好的相比，所提模型的准确率、召回率、平均准确率（MAP）和归一化折损累计增益（NDCG）分别提高了158.42%、89.81%、95.00%和67.57%。同时，使用DBGD作为探索方法，改善了推荐商品多样性低的缺陷。     

基于Bi-LSTM+CRF模型的航母情报实体识别方法应用

在军事情报方面，舰船信息的复杂性使得舰船情报分析不易开展。知识识别无足够的标注数据可利用；通用领域实体识别方法效果不佳。针对舰船情报分析需求，采用自然语言处理技术，可大大提高利用效率。本文创建航母编队的中文实体识别语料库，利用双向长短时记忆神经网络加条件随机场（Bi-LSTM+CRF）的模型方法，训练中文实体识别模型，实现了航母编队情报信息的实体识别。实验证明，该方法提高了航母编队情报信息领域命名实体识别的效率。     

基于Bi-LSTM的人机语音交互

人的语音具有一定的上下文相关性,传统语音识别模型对历史信息记忆能力不足,无法充分学习语音序列的相关性.根据人对机器人控制的语音特点,设计了一种基于双向长短时记忆(Bi-LSTM)网络的控制机器人的语音识别模型,并在自己制作的语音库中训练,优化了模型参数.实验结果表明:远端控制命令通过语音识别模型转化为控制命令,传送到机...     

融合注意力机制和BiLSTM的人机交互语言训练系统研究

为提高英语语言训练的准确性,提出一种基于注意力机制和BiLSTM的对话意图识别方法及系统。首先,构建人机交互对话语言训练系统框架;然后重点对系统中的自然语言理解模块和对话管理模块进行设计。其中,搭建基于融合注意力机制的语言理解模型,从而提高对语言意图识别的能力,提出基于槽框架和状态机的对话管理方法,以提高系统对话的灵活性和可扩展性;最后对构建的语言理解模型、对话管理方法及人机交互的语言训练系统进行测试。结果表明：基于融合注意力机制的英语课程训练语言理解模型对语义信息获取的准确率达到了96.1%;基于槽框架和状态机的对话管理方法适应性强、维护简单、可扩展性好;基于人机交互的语言训练系统所有功能模块都能正常运行,能满足英语自主训练的要求。     

融合注意力机制和BiLSTM的人机交互语言训练系统研究

为提高英语语言训练的准确性，提出一种基于注意力机制和BiLSTM的对话意图识别方法及系统。首先，构建本人机交互对话语言训练系统框架；然后重点对系统中的自然语言理解模块和对话管理模块进行设计。其中，搭建基于融合注意力机制的语言理解模型，从而提高对语言意图识别的能力，提出基于槽框架和状态机的对话管理方法，以提高系统对话的灵活性和可扩展性；最后对构建的语言理解模型、对话管理方法及人机交互的语言训练系统进行测试。结果表明：基于融合注意力机制的英语课程训练语言理解模型对语义信息获取的准确率达到了96.1%;基于槽框架和状态机的对话管理方法适应性强、维护简单、可扩展性好；基于人机交互的语言训练系统所有功能模块都能正常运行，能满足英语自主训练的要求。     

基于依存关系的命名实体识别

现有的命名实体识别方法主要是将句子看作一个序列进行处理,忽略了句子中潜在的句法信息,存在长距离依赖问题.为此,该文提出一种基于依存关系的命名实体识别模型,通过在输入数据中增加依存树信息,改变双向长短时记忆网络的层间传播方式,以获得单词在依存树中的子节点和父节点信息,并通过注意力机制动态选择两者的特征,最后将特征输入到C...     

面向用户偏好建模的个性化对话推荐算法

推荐系统的目标是从物品数据库中，选择出与用户兴趣偏好相匹配的子集，缓解用户面临的“信息过载”问题。因而近年来推荐系统越来越多地应用到电商、社交等领域，展现出巨大的商业潜力。传统推荐系统中，系统对用户的认知往往来源于历史交互记录，例如点击率或者购买记录，这是一种隐式用户反馈。对话推荐系统能够通过自然语言与用户进行多轮对话，逐步深入挖掘其兴趣偏好，从而向对方提供高质量的推荐结果。相比于传统推荐系统，对话推荐系统主要有两方面的不同。其一，对话推荐系统能够利用自然语言与用户进行语义上连贯的多轮对话，提升了人机交互中的用户体验；其二，系统能够询问特定的问题直接获取用户的显式反馈，从而更深入地理解用户兴趣偏好，提供更可靠的推荐结果。目前已经有不少工作在不同的问题设定下对该领域进行了探索，然而尽管如此，这些工作仍仅局限于关注当前正在进行的对话，忽视了过去交互记录中蕴涵的丰富信息，导致对用户偏好建模的不充分。为了解决这个问题，本文提出了一个面向用户偏好建模的个性化对话推荐算法框架，通过双线性模型注意力机制与自注意力层次化编码结构进行用户偏好建模，从而完成对候选物品的排序与推荐。本文设计的模型结构能够在充分利用用户历史对话信息的同时，权衡历史对话与当前对话两类数据的重要性。丰富的用户相关信息来源使得推荐结果在契合用户个性化偏好的同时，更具备多样性，从而缓解“信息茧房”等现象带来的不良影响。基于公开数据集的实验表明了本文方法在个性化对话推荐任务上的有效性。     

基于反馈机制的网格动态授权新模型

网格现有的授权系统存在静态性问题,表现为没有提供机制来反馈用户对授予的权限的使用情况.当一个本来可信的用户或服务变成不可信时,授权系统不能及时发现,对其权限进行调整可能导致恶意用户对网格系统的破坏.因此,在授权系统中建立反馈机制,根据用户的行为动态地调整用户角色,对于网格系统的安全具有重大意义.文中分析了网格中现有的授权系统及信任模型的特点,指出它们存在的不足.在此基础上提出一种基于反馈机制的动态授权新模型,很好地解决了现有授权系统的静态性的缺点.该模型是对CAS授权系统的改进,增加了反馈机制和信任度计算机制.其中,信任度计算机制中提出的基于行为的分层信任新模型较以往的信任模型相比,使用服务权值来区分重要服务和普通服务,从而保护了网格中的重要服务并且能有效地抑制恶意节点的行为;文中提出了一种新的更加精确地计算域间推荐信任度的方法,从而解决了不诚实反馈的问题.反馈机制则利用基于行为分层信任模型给出的用户信任度的变化,实现了根据用户的行为动态调整他的角色.文中还设计了三组模型实验,分别验证新模型的特点、对网格中恶意实体行为的抑制情况,从不同的角度对模型进行了实验,对基于行为的分层信任模型对行为的敏感性、收敛性、有效性及合理性加以了证明.