公安信息服务平台的智能人机对话生成方法研究

针对公安信息服务平台人机对话答非所问、服务能力低下的问题，研究提出了通过LSTM优化CNN模型的对话意图识别方法，将用户的对话分为意图清晰和意图不明的两种类型。对清晰意图的对话采用人工规范模块文本生成，而对于意图不明的对话则采用注意力机制优化的Seq2Seq模型进行对话生成。同时本次研究对LSTM-CNN意图识别模型和优化的Seq2Seq文本生成模型进行数据集仿真实验，LSTM-CNN的平均识别精度为0.943,召回率0.922,F1值为0.932,高于其他文本识别算法；而优化的人机对话系统对话生成答非所问的情况仅有4%,低于传统的文本生成方法。本次研究提出的公安信息服务平台的智能人机对话生成方法性能优越，可以有效提高公安工作的服务水平。     

基于BERT与Seq2Seq模型的智能情感对话机器人系统设计

随着人工智能的发展，机器人广泛应用于各行各业中，而学生在英语学习过程中也可以利用对话模拟机器人进行英语练习，培养英语语感，提升英语水平。因此，研究利用改进后的序列到序列(Sequen to Sequence, Seq2Seq)模型，结合基于Transformers模型的双向编码器(Bidirectional Encoder Representations from Transformers, BERT)模型设计具有情感属性的智能对话模拟机器人，模拟人类在不同情境下的自然情感语境对话，以提升学生的口语英语水平。研究结果表明，研究构建模型的对数损失随着预测概率的增大稳定在2左右，改进Seq2Seq-BERT模型的Distinct-1平均得分为0.068,Embedding Average平均得分为0.262,情感精确度平均得分为87.24%,人工评价的逻辑相关、上下文连贯的回复占总回复的50%,说明设计的英语语言对话机器人系统性能良好，能有效提供多元化的英语情感对话回复，进而满足实际应用中学生英语对话练习的需要，能够优化英语教学模式，改进教师的授课方式，最终改善学生的学习效果。     

基于深度学习的个性化聊天机器人研究

为了对传统的聊天机器人局限性进行改进,增强其回复时的个性化和多样化,并使其具有一定的准确性,研究改进了一种基于深度学习Seq2Seq模型的对话系统。对传统的编码器-解码器(Encoder-Decoder)模型进行了研究,在原有模型的基础上使用了深度LSTM结构并且加入注意力机制使其能更好地适应不同长度的问句。在解码过程中,将原有模型的贪心算法改为了Beam Search算法。在训练过程中,利用了多次训练的方法,训练出模拟电视剧角色的聊天机器人,为聊天机器人赋予一个特定的身份。通过使用两种自动评估指标BLEUs和Distinct-n去测试聊天机器人,并使用一些问句测试聊天机器人的反应,最终实验结果表明新模型与原有的模型相比,两种指标都取得了较好的效果,并且输出句子的合理性以及回复质量也有明显的提高。     

基于深度学习的外语翻译机器人自动问答检索研究

针对传统日语翻译机器人自动问答检索极易出现语义丢失现象,导致生成答复和检索准确率低的问题,设计一个基于生成式和检索式相结合的外语翻译机器人自动问答检索系统。基于BiLSTM网络中的Seq2Seq模型,通过加入注意力机制、Beam Search算法和TF-IDF算法,分别构建生成式和检索式回复模型;最后将两个模型相结合实现外语翻译机器人自动问答检索。实验结果表明,相较于单向LSTM网络,双向BiLSTM可实现日语语句的双向预测,可有效避免部分语义丢失。且构建的检索式回复模型的回复正确率均保持在90%以上,最高可达95%,生成式模型回复模型在60次测试中,相关回复率最高为96.67%。由此可知,设计的系统可提升外语翻译机器人生成答复和检索准确率,可实现准确的自动问答检索,具备一定的有效性。     

基于指针网络的抽取生成式摘要生成模型

作为自然语言处理中的热点问题,摘要生成具有重要的研究意义。基于Seq2Seq模型的生成式摘要模型取得了良好的效果,然而抽取式的方法具有挖掘有效特征并抽取文章重要句子的潜力,因此如何利用抽取式方法来改进生成式方法是一个较好的研究方向。鉴于此,提出了融合生成式和抽取式方法的模型。首先,使用TextRank算法并融合主题相似度来抽取文章中有重要意义的句子。然后,设计了融合抽取信息语义的基于Seq2Seq模型的生成式框架来实现摘要生成任务;同时,引入指针网络解决模型训练中的未登录词（OOV）问题。综合以上步骤得到最终摘要,并在CNN/Daily Mail数据集上进行验证。结果表明在ROUGE-1、ROUGE-2和ROUGE-L三个指标上所提模型比传统TextRank算法均有所提升,同时也验证了融合抽取式和生成式方法在摘要生成领域中的有效性。     

一种基于Seq2Seq框架和文本数据处理的问答对生成方法

为解决从未标记文本中自动化的生成问答对（Q&A）,提出了一种基于Seq2Seq框架和自动化构建数据的问答对生成方法（Seq2Seq-TDP-QAG）。首先,已知段落、问题、答案的阅读理解数据集中,通过构造函数从中获得线索、问题类型信息构造训练数据集,并用数据训练基于Seq2Seq框架的问题生成模型;其次,采用三步取样法从未标记文本中获取答案、线索、问题类型信息,构造问题生成模型的输入数据集,并输入模型中初步生成问题信息;最后,通过数据过滤器来控制问题的质量,生成高质量的问题信息,并和答案组成问答对。将提出的方法在SQuAD数据集上进行实验,与PCFG-Trans模型相比ROUGE-L和METEOR分别提升18.68和6.13,结果证明,Seq2Seq-TDP-QAG有能够生成质量更高的问答对。     

基于单语语料库和无监督学习的翻译系统研究

针对传统翻译系统在单语语料库中易出现翻译语料丢失和翻译准确率低的问题,以单语语料库中的自动英诗汉译为研究对象,提出基于无监督学习的神经网络机器翻译方法,该方法将序列到序列模型Seq2Seq和注意力机制Attention相结合,构建Seq2Seq+Attention的单语语言机器翻译模型;在编码器中加入BiLSTM网络,通过回译策略对机器翻译模型进行反向训练和翻译,从而将无监督学习方法转换为有监督学习,以提升最终翻译结果准确率。实验结果表明,在单语语料库中,提出的基于无监督机器翻译方法在不同训练次数下BLEU值最高可达25。且通过人工评分发现,人工评分总分可达17.72分,总体分数较高。由此说明提出的方法可有效避免翻译语料丢失现象,提升翻译准确率。     

基于改进Seq2Seq的翻译机器人纠错系统设计

针对传统英语翻译的语法纠错系统存在英语语法错误检测准确率低，纠正效果不佳的问题，提出一种基于Seq2Seq神经网络的英语翻译语法纠错模型。首先，采用Seq2Seq神经网络中的Encode部分对输入序列进行建模，并输出此序列的语义向量；然后在Decode部分引入Attention机制，实现原始序列到目标序列的直接映射，从而完成英语语法纠错。实验结果表明，在CoNLL2018数据集的英语语法纠错测试结果中，本模型的准确率、召回率和F_0.5值分别为35.44%、40.68%和32.56%,均高于传统CAMB语法纠错模型。在英语冠词错误纠正结果中，本方法的F_0.5取值为32.36%,比传统UIUC方法和Corpus GEC方法高出了7.02%和2.76%;介词错误纠错实验中，本方法比另外两种方法高出了5.91%和13.15%。综合分析可知，本模型对英语翻译语法纠错准确率和精度更高，对比于传统的语法纠错模型纠错效果更好，可在英语翻译机器人语法纠错系统中进行广泛应用和推广。     

Seq2Seq中文文本摘要在金融知识引擎系统中的应用

针对一个基于中文文本摘要的金融知识引擎系统,研究了Seq2Seq模型在系统中的应用。首先构建Seq2Seq模型,将研报等重要的数据输入模型的Encoder端,从Decoder端输出摘要。在seq2seq模型中加入了Attention(注意力)机制,也就是在产生输出的时候,对关系较大的输入输出数据赋以较大权重,再根据关注的区域产生下一个输出。最后通过LawRouge评价器对生成的金融数据进行效果评价。     

基于变分自编码器的生成式文本摘要研究

从单文档中生成简短精炼的摘要文本可有效缓解信息爆炸给人们带来的阅读压力。近年来,序列到序列(sequence-to-sequence,Seq2Seq)模型在各文本生成任务中广泛应用,其中结合注意力机制的Seq2Seq模型已成为生成式文本摘要的基本框架。为生成能体现摘要的特定写作风格特征的摘要,在基于注意力和覆盖率机制的Seq2Seq模型基础上,在解码阶段利用变分自编码器(variational auto-encoder,VAE)刻画摘要风格特征并用于指导摘要文本生成;最后,利用指针生成网络来缓解模型中可能出现的未登录词问题。基于新浪微博LCSTS数据集的实验结果表明,该方法能有效刻画摘要风格特征、缓解未登录词及重复生成问题,使得生成的摘要准确性高于基准模型。     

多维注意力机制改进燃气负荷预测

燃气负荷预测是一项让城市安全经济地调配燃气的重要的工作. 目前, 基于注意力机制的Seq2Seq模型越来越多地应用于燃气数据预测, 是一种有效的燃气负荷预测方法. 然而, 针对燃气负荷数据这种突变频率高、幅度大的特点, 一般基于注意力机制的Seq2Seq模型难以提取数据中的多维时间模式信息与应对数据随机突变情况, 在处理影响因素复杂的燃气负荷的预测问题时仍然需要改进. 为此, 本文提出多维注意力机制Seq2Seq模型. 一方面设计研究了多层次时间注意力模块, 综合单时间步长、多时间步长的注意力计算提取数据中不同时间模式信息; 另一方面, 设计增加了局部历史注意力模块, 以改进模型中无法区分重要历史信息的缺陷, 使模型在预测时倾向于参考更为重要的历史信息. 本改进模型针对燃气负荷的独特特性, 具有较好的预测表现. 使用国内某市区的燃气消耗数据与2016年电工数学建模竞赛的电力负荷数据的实验结果表明, 本改进模型相对于一般注意力机制Seq2Seq模型, MAE分别降低了17%与9%.     

基于Seq2Seq模型的港口进出口货物量预测

港口进出口货物吞吐量是反映港口业务状况的重要指标,其准确预测将给港口经营管理人员进行决策提供重要的依据.利用机器翻译领域的Seq2Seq模型,对影响港口进出货物量的多种因素进行建模.Seq2Seq模型可以反映进出口货物量在时间维度上的变化规律,并且可以刻画天气、节假日等外部因素的影响,从而进行精准预测.Seq2Seq模型包含两个由循环神经网络（LSTM）组成的编码器和解码器,能够捕捉长短期时间范围内集装箱变化趋势,可以根据历史进出口货物量预测未来一段时间的货物量信息.在真实的天津港进出口集装箱数据集上进行了实验,结果表明Seq2Seq模型的深度学习预测方法效果优于传统的时间序列模型以及其他现有的机器学习预测模型.     

面向开放域深度学习的自动问答技术研究

结合聊天机器人背景,提出一个面向开放域深度学习的人机交互英语自动问答系统。首先,通过问答系统子模块建立问答库和收录问题预处理;然后利用机器学习算法进行关键词扩展、问题分类、相似度计算和答案匹配抽取;最后采用基于LSTM的Seq2seq模型实现英语聊天机器人,并在其基础上加入注意力机制和集数搜索算法,以提升系统自动问答质量。结果表明,相较于RNN和GRU神经元生成回复,LSTM神经元的生成回复结果更加准确。且添加注意力机制和集数搜索后,模型收敛速度显著提升。系统测试发现,英语问答系统子模块和英语聊天机器人的问答正确率分别为95.48%和96.52%,系统自动问答正确率为96%。由此可知,本系统可实现人机交互和英语问题的自动问答。     

面向客户服务的聊天机器人系统设计

本文设计了一种分层结构的聊天机器人系统,在互联网上搜集与顾客服务相关的对话数据,设计电商顾客服务领域的知识库,构建基于LSTM的Seq2Seq模型用于生成回答,使用朴素贝叶斯分类模型来对不同类型的问题选择合适的回答策略,并在必要时转向人工客服。     

基于双编码器的短文本自动摘要方法

针对当前生成式文本摘要方法存在的语义信息利用不充分、摘要精度不够等问题,提出一种基于双编码器的文本摘要方法。首先,通过双编码器为序列映射（Seq2Seq）架构提供更丰富的语义信息,并对融入双通道语义的注意力机制和伴随经验分布的解码器进行了优化研究;然后,在词嵌入生成技术中融合位置嵌入和词嵌入,并新增词频-逆文档频率（TF-IDF）、词性（POS）、关键性得分（Soc）,优化词嵌入维度。所提方法对传统序列映射Seq2Seq和词特征表示进行优化,在增强模型对语义的理解的同时,提高了摘要的质量。实验结果表明,该方法在Rouge评价体系中的表现相比传统伴随自注意力机制的递归神经网络方法（RNN+atten）和多层双向伴随自注意力机制的递归神经网络方法（Bi-MulRNN+atten）提高10~13个百分点,其文本摘要语义理解更加准确、生成效果更好,拥有更好的应用前景。     

基于注意力机制的Tree2Seq代码注释自动生成

代码注释可以帮助开发人员快速理解代码，降低代码维护成本。为了保留代码的结构信息，针对经典的Seq2Seq模型将代码的结构信息压缩为序列，导致结构信息丢失的问题，提出使用Tree-LSTM编码器直接将代码转化成抽象语法树进行编码，使注释生成模型能有效获取代码的结构信息，提升注释生成效果。采用基于注意力机制的Tree2Seq模型实现代码注释生成任务，避免了编码器端将所有输入信息压缩为固定向量，导致部分信息丢失的情况。通过在Java和Python 2种编程语言的数据集上进行实验，使用3种机器翻译常用的自动评测指标进行评估验证，并选取一部分测试数据进行了人工评估。实验结果表明，基于注意力机制的Tree2Seq模型能为解码器提供更全面且丰富的语义结构信息，为后续实验分析和改进提供指导。     

基于改进编解码器和情感词典的对话生成模型

针对现有对话模型生成的回复语句缺乏情感共鸣、拟人效果不够理想的问题，提出一种基于改进编解码器和情感词典的对话生成模型。利用AgSeq2Seq模型对语料库进行训练并构建高质量对话生成系统，结合情感词典识别输入语句的情绪特征并计算回复语句的情感值，基于情绪对比机制根据不同的情感特征生成相应的拟人回复。实验结果表明，相对传统的对话生成模型，提出模型可以主动识别用户情绪，生成更加合乎逻辑、适应语境的回复，实现拟人程度更高的情感对话过程。     

面向法律裁判文书的生成式自动摘要模型

当前面向中文内容的自动摘要模型应用于法律裁判文书时,主要采用抽取式方法进行摘要.但由于法律文本比较冗长、结构化程度较低,抽取式摘要的精准度和可靠性有所欠缺.为了获得法律裁判文书的高质量文本摘要,文中提出了一种生成式多模型融合的自动摘要方法.在Seq2Seq模型的基础上,引入注意力(attention)机制,同时通过Bert预训练和强化学习等方法,结合选择门技术,提出了BASR(Bert Based Attention Seq2Seq Reinforced Model)模型.将50000篇法律裁判文书作为语料,以小额诉讼和简易程序类型的裁判文书为代表性研究对象,实验结果证明新模型有较好的效果,在ROUGE评价中相比传统的Seq2Seq+Attention模型取得了均值5.81％的性能提升.     

面向法律裁判文书的生成式自动摘要模型

当前面向中文内容的自动摘要模型应用于法律裁判文书时,主要采用抽取式方法进行摘要.但由于法律文本比较冗长、结构化程度较低,抽取式摘要的精准度和可靠性有所欠缺.为了获得法律裁判文书的高质量文本摘要,文中提出了一种生成式多模型融合的自动摘要方法.在Seq2Seq模型的基础上,引入注意力(attention)机制,同时通过Bert预训练和强化学习等方法,结合选择门技术,提出了BASR(Bert Based Attention Seq2Seq Reinforced Model)模型.将50000篇法律裁判文书作为语料,以小额诉讼和简易程序类型的裁判文书为代表性研究对象,实验结果证明新模型有较好的效果,在ROUGE评价中相比传统的Seq2Seq+Attention模型取得了均值5.81％的性能提升.     

代码注释自动生成系统设计与实现

快速识别程序源码语义,可以辅助编程学习者理解代码。为提高程序开发效率,有必要开发一个代码注释自动生成系统。本文提出了一个代码注释自动生成系统的开发方案,对于Seq2seq模型如何训练、中文数据集如何处理和提高注释质量等问题提出了具体实施方案。实践结果表明,采取该方案制成的代码注释自动生成系统能够基本满足辅助理解代码的需要。