基于深度学习的图书馆服务机器人研究

为提高图书馆服务机器人的趣味性,结合Seq2Seq基本原理,在对Seq2Seq引入注意力机制进行改进的基础上,搭建一个情感聊天机器人对话生成系统。结果表明,相较于传统的LSTM和GRU神经网络,改进后的Seq2Seq机器翻译模型回复更准确,生成的对话评分高达37%;对比传统的Seq2Seq+ECM,生成对话获得的评分更高,可以实现在图书馆场景下的高质量问答,也进一步说明该对话系统的可行性和有效性。     

基于深度学习的外语翻译机器人自动问答检索研究

针对传统日语翻译机器人自动问答检索极易出现语义丢失现象,导致生成答复和检索准确率低的问题,设计一个基于生成式和检索式相结合的外语翻译机器人自动问答检索系统。基于BiLSTM网络中的Seq2Seq模型,通过加入注意力机制、Beam Search算法和TF-IDF算法,分别构建生成式和检索式回复模型;最后将两个模型相结合实现外语翻译机器人自动问答检索。实验结果表明,相较于单向LSTM网络,双向BiLSTM可实现日语语句的双向预测,可有效避免部分语义丢失。且构建的检索式回复模型的回复正确率均保持在90%以上,最高可达95%,生成式模型回复模型在60次测试中,相关回复率最高为96.67%。由此可知,设计的系统可提升外语翻译机器人生成答复和检索准确率,可实现准确的自动问答检索,具备一定的有效性。     

基于检索与生成混合模型的个性化聊天机器人系统的设计与实现

聊天机器人依据其对话生成技术主要分为检索模型和生成模型,但这两种模型各有优劣。通过设计一种混合检索与生成的混合对话模型,保留了两种模型的优点并尽量避免其缺点。混合模型既具有检索模型的信息性,又具有生成模型的多样性,人机对话更加流畅、生动。使用Elasticsearch搜索服务器大大降低了系统回复生成的时间,回复速度提高了10%。此外,考虑到聊天机器人在对话过程中难以保持一致的个性,采用Post KS(Posterior Knowledge Selection)模型嵌入个性属性,实现了个性化的智能聊天机器人系统。文中提出的混合模型实现了个性化的回复且具有较快的回复速度,更加符合用户的需求。     

基于深度学习的关键词生成研究综述

关键词生成是自然语言处理中一项经典但具有挑战性的任务,需要从文档中自动生成一组具有代表性和特征性的词语。基于深度学习的序列到序列模型在这项任务中取得了显著的效果,弥补了以往关键词抽取存在的一个严重缺陷：无法产生不存在于原文中的关键词。由于其产生的结果更切合实际,关键词生成方法逐渐超越了以往的抽取方法,成为了关键词提取任务的主流方法。介绍了关键词提取的发展历程以及关键词生成任务的主要数据集,对基础设计采用序列到序列模型的关键词生成方法进行了分类梳理,分析其原理和优缺点。概述了关键词生成任务的评价方法,并对其未来研究重点进行了展望。     

基于监督学习和深度强化学习的学前教育聊天机器人对话模型构建研究

聊天机器人的应用有助于满足儿童的好奇心与知识学习的欲望,利于学前教育质量的提升。在本次研究中为了提高聊天机器人在学前教育中的应用价值,通过深度强化学习(Deep Reinforcement Learning, DRL)与监督学习(Supervised Learning, SL)进行了聊天机器人对话模型的建立。基于SL的对话模型在训练集和验证集中的成功率均为100%,其损失函数值分别为0.018和0.024。随着训练次数的增加,基于DRL的对话模型的成功率增加至97.2%,平均对话轮数降低为7轮。结果表明,基于监督学习和深度强化学习建立的机器人对话模型具有较好的性能,能够人性化地完成聊天互动。     

面向开放域深度学习的自动问答技术研究

结合聊天机器人背景,提出一个面向开放域深度学习的人机交互英语自动问答系统。首先,通过问答系统子模块建立问答库和收录问题预处理;然后利用机器学习算法进行关键词扩展、问题分类、相似度计算和答案匹配抽取;最后采用基于LSTM的Seq2seq模型实现英语聊天机器人,并在其基础上加入注意力机制和集数搜索算法,以提升系统自动问答质量。结果表明,相较于RNN和GRU神经元生成回复,LSTM神经元的生成回复结果更加准确。且添加注意力机制和集数搜索后,模型收敛速度显著提升。系统测试发现,英语问答系统子模块和英语聊天机器人的问答正确率分别为95.48%和96.52%,系统自动问答正确率为96%。由此可知,本系统可实现人机交互和英语问题的自动问答。     

基于深度学习的个性化对话内容生成方法

人机对话系统是人机交互领域一个非常重要的研究方向,开放域聊天机器人的研 究受到了广泛关注。现有的聊天机器人主要存在 3 个方面的问题：①无法有效捕捉上下文情境 信息,导致前后对话内容缺乏逻辑关联。②大部分不具备个性化特征,导致聊天过程千篇一律, 且前后对话内容可发生矛盾。③倾向于生成“我不知道”、“对不起”等无意义的通用回复内容, 极大降低用户的聊天兴趣。本研究中利用基于 Transformer 模型的编解码(Encoder-Decoder)结构 分别构建了通用对话模型和个性化对话模型,通过编码历史对话内容和个性化特征信息,模型 可以有效捕捉上下文情境信息以及个性化信息,实现多轮对话过程,且对话内容符合个性化特 征。实验结果表明,基于 Transformer 的对话模型在困惑度(perplexity)和 F1 分数评价指标上相 比于基线模型得到了一定的提升,人工评价显示模型可以正常进行多轮交互对话过程,生成内 容多样性高,且符合给定的个性化特征。     

面向聊天机器人的多注意力记忆网络

如何对多轮的对话历史进行建模和推理是构建一个智能聊天机器人的主要挑战之一.基于循环或门控的记忆网络已经被证明是进行对话建模的有效方式.然而,这种方式有两个缺点,一是使用复杂的循环结构,导致计算效率较低;二是使用代价较大的强监督信息或先验信息,不利于扩展和迁移应用到新的领域.针对上述问题,本文提出了一种端到端的多注意力记忆网络.首先,该网络采取结合词向量和位置编码的方式对文本输入进行表示;其次,使用并行的多层注意力在不同子空间捕获对话交互中的关键信息来更好地建模对话历史;最后,通过捷径连接的方式叠加多注意力层管理信息流,实现对建模结果的多次推理.在bAbI-dialog数据集上的实验表明,该网络可以有效地对多轮对话进行建模和推理,而且具有较好的时间性能.     

面向客户服务的聊天机器人系统设计

本文设计了一种分层结构的聊天机器人系统,在互联网上搜集与顾客服务相关的对话数据,设计电商顾客服务领域的知识库,构建基于LSTM的Seq2Seq模型用于生成回答,使用朴素贝叶斯分类模型来对不同类型的问题选择合适的回答策略,并在必要时转向人工客服。     

基于Self-Attention模型的机器翻译系统

近几年来神经机器翻译（Neural Machine Translation, NMT）发展迅速，Seq2Seq框架的提出为机器翻译带来了很大的优势，可以在观测到整个输入句子后生成任意输出序列。但是该模型对于长距离信息的捕获能力仍有很大的局限，循环神经网络（RNN）、 LSTM网络都是为了改善这一问题提出的，但是效果并不明显。注意力机制的提出与运用则有效地弥补了该缺陷。Self-Attention模型就是在注意力机制的基础上提出的，本文使用Self-Attention为基础构建编码器-解码器框架。本文通过探讨以往的神经网络翻译模型，分析Self-Attention模型的机制与原理，通过TensorFlow深度学习框架对基于Self-Attention模型的翻译系统进行实现，在英文到中文的翻译实验中与以往的神经网络翻译模型进行对比，表明该模型取得了较好的翻译效果。     

数据库驱动的对话机器人技术实现

世界上很多高价值的数据信息储存在关系数据库中,访问这些数据需要掌握专门的结构化查询语言(SQL),普通人很难直接使用.基于对现有对话机器人存在的问题和相关关键技术的梳理,本文融合了数据仓库、数据同步、数据库查询、消息推送、自然语言理解及语音识别等相关技术及产品,设计了数据库驱动的对话机器人.方案可以实现用户理解、消息推...     

基于序列到序列模型的事件识别

事件识别是以事件为单位进行信息抽取的起点,对后续各个子任务都意义重大。针对事件识别任务,该文提出了一种融入文档信息的序列到序列方法,一方面借助神经网络减少了特征工程产生的人工依赖,另一方面借助注意力机制将局部的词、实体与全局的文档中事件的共现等信息统一建模。在LDC2017E02语料上实验结果表明,该方法能有效提高事件识别的性能。     

一种基于BERT的自动文本摘要模型构建方法

针对传统词向量在自动文本摘要过程中因无法对多义词进行有效表征而降低文本摘要准确度和可读性的问题,提出一种基于BERT(Bidirectional Encoder Representations from Transformers)的自动文本摘要模型构建方法。该方法引入BERT预训练语言模型用于增强词向量的语义表示,将生成的词向量输入Seq2Seq模型中进行训练并形成自动文本摘要模型,实现对文本摘要的快速生成。实验结果表明,该模型在Gigaword数据集上能有效地提高生成摘要的准确率和可读性,可用于文本摘要自动生成任务。     

边缘计算驱动的对话机器人终端部署

目前,大部分内置对话功能的终端只是用户文字语音传输的"中转站",并不承担计算功能.这导致用于计算的云服务需要承担较高的网络负载和计算负载.随着硬件性能的不断提升,终端设备也能运行部分自然语言处理算法,分担云服务的压力.本文讨论了使用边缘计算技术实现对话机器人终端部署的可行性,并设计了基于云+边缘协同计算的对话系统架构....     

面向深度学习的空气质量预测研究进展

空气污染是影响公共卫生的重要因素,空气质量预测是空气污染预警的关键,是近年来环境学、统计学、计算机科学等领域中的热点研究课题.本文综述了空气质量预测方法的研究现状与进展,尤其对近年来新发展起来的深度学习方法在空气质量预测方面的应用进行了系统分析与总结.首先,介绍了空气质量预测方法的演变历程和空气污染数据集.然后,阐述了传统空气质量预测方法.随后,从时间信息、时空信息、注意力机制等角度出发,重点分析和比较了现有面向深度学习的空气质量预测方法的进展.最后,对空气质量预测方法的未来发展趋势进行了总结与展望.     

基于深度学习的MOOC作弊行为检测研究

快速准确地检测出MOOC学习者的作弊行为,对维护MOOC平台的发展及学习者的正常学习具有重要意义。本文研究了一种深度学习混合模型用于MOOC作弊行为的检测。该模型通过融合了卷积神经网络、双向门控循环单元以及注意力机制,大大提升了单一模型的检测性能。本文选取某MOOC平台的学习行为数据进行了实验验证,实验结果显示该模型在验证集上的精确率、召回率、AUC和误报率分别达到98.51%、81.35%、91.07%和0.016%,具有良好的应用前景。另外,本文采用了数据扩增的方法以解决MOOC作弊行为检测中存在的数据不均衡问题,实验中通过该方法进行数据平衡后,该模型在相同的验证集上的AUC提升了1.78%。     

一种基于区域海表面温度异常预测的ENSO预报深度学习模型

本文通过实验,从设计的四种深度学习网络模型中挑选出一种可以用来预测区域海平面温度异常 (SSTA) 的模型——序列到序列 (Seq2Seq) 模型,并确定了适合于此模型的一组最优的超参数 (编码器使用正序输入、不使用 L2 正则化和使用 Adam 优化器) 和输入变量个数。与传统的动力学 ENSO 预报模型相比,该模型在中长期 (提前 7 个月以上) 预测上的均方根误差 (RMSE) 表现要更好。在实际的 SSTA (Niño3.4 指数) 预测实验中,该模型可以较好地预测出 SSTA 变化趋势,但在峰值处表现较差。与其他动力学和统计模型相比,该模型有较好的预测结果。因此,考虑其在中长期优于动力学模型的表现以及整体较好的预测结果,该模型可以作为一种 ENSO 预报以及区域 SSTA 预测的深度学习模型。