基于深度学习的生成式文本摘要技术综述

在互联网数据急剧扩张和深度学习技术高速发展的背景下,自动文本摘要任务作为自然语言处理领域的主要研究方向之一,其相关技术及应用被广泛研究。基于摘要任务深化研究需求,以研究过程中存在的关键问题为导向,介绍现有基于深度学习的生成式文本摘要模型,简述定义及来源、数据预处理及基本框架、常用数据集及评价标准等,指出发展优势和关键问题,并针对关键问题阐述对应的可行性解决方案。对比常用的深度预训练模型和创新方法融合模型,分析各模型的创新性和局限性,提出对部分局限性问题的解决思路。进一步地,对该技术领域的未来发展方向进行展望总结。     

基于Graph Attention的双通道中文文本摘要生成

传统的中文生成式摘要方法未充分考虑中文文本字特征和词特征之间的不同含义,容易对原文内容的信息做出错误理解。提出一种基于Graph Attention的双通道中文文本摘要生成方法,采用双通道的编码器结构分别提取文本的字级和词级特征,并通过Graph Attention提取文本对应的三元组集合特征,进行融合之后输入到带copy机制的解码端进行解码,从而提升原始文本的信息提取能力。对比实验结果表明,该方法在两个数据集上都有较好的表现。     

基于编解码器结构的中文文本摘要

传统生成式模型中存在的梯度经过多次传播后,倾向于消失或爆炸,且存在语言理解不充分的性能缺陷,为此提出一种生成式自动文本摘要方法(BiGRUAtten-LSTM).编码器端将原始文本输入到编码器并结合双向门控循环单元生成固定长度的语义向量,使用注意力机制分配每个输入词的权重来减少输入序列信息的细节损失.解码器端使用LST...     

卷积自注意力编码过滤的强化自动摘要模型

技术是一种能从海量文本中获取重要信息的方法,它可以缓解大数据时代信息过载的问题.传统基于编码-解码自动摘要模型生成的摘要易出现句内重复、语义无关等现象,不利于读者理解文本的核心思想.受人工摘要书写方式的启发,即先理解文本局部信息,再从全局层面归纳信息、书写摘要,提出一种基于卷积自注意力编码过滤的自动摘要模型(CSAG).模型由编码器、卷积自注意力门控单元、解码器组成,结合卷积神经网络可以提取局部特征,多端自注意力机制可以学习长期依赖关系,模型可以根据上下文的局部和全局特征,从不同角度和不同层面提取文本潜在信息,确保模型生成正确流畅的摘要.然后通过策略梯度强化学习可直接利用不可微的度量指标ROUGE对模型进行优化,避免推理过程中出现曝光偏差问题.在Gigaword数据集上的多组对比实验结果表明,该文提出的模型在自动摘要任务上具有一定的优势.     

基于深度学习的文本自动摘要方案

针对自然语言处理（NLP）生成式自动摘要领域的语义理解不充分、摘要语句不通顺和摘要准确度不够高的问题，提出了一种新的生成式自动摘要解决方案，包括一种改进的词向量生成技术和一个生成式自动摘要模型。改进的词向量生成技术以Skip-Gram方法生成的词向量为基础，结合摘要的特点，引入词性、词频和逆文本频率三个词特征，有效地提高了词语的理解；而提出的Bi-MulRnn+生成式自动摘要模型以序列映射（seq2seq）与自编码器结构为基础，引入注意力机制、门控循环单元（GRU）结构、双向循环神经网络（BiRnn）、多层循环神经网络（MultiRnn）和集束搜索，提高了生成式摘要准确性与语句流畅度。基于大规模中文短文本摘要（LCSTS）数据集的实验结果表明，该方案能够有效地解决短文本生成式摘要问题，并在Rouge标准评价体系中表现良好，提高了摘要准确性与语句流畅度。     

基于深度主动学习的柬语单文档抽取式摘要方法

深层神经网络在文档摘要方面取得了很好的效果,其优势只有在大数据集下才能显示出来.为了解决在使用深度学习做柬语单文档抽取式摘要时语料标注不足的问题,提出一种将主动学习和深度学习相结合的方法.利用主动学习抽样策略选择出定量的文档,通过专家标注,结合深度学习中编码器解码器模型进行训练模型抽取得到摘要.实验结果表明,在训练语料...     

基于深度学习的汉字生成方法

手写汉字生成是机器学习中一个重要的研究方向.近二十年来,针对手写汉字生成的研究大体可分为两个阶段:早期主要利用汉字的显式特征如结构和笔画等实现对汉字的分解,再通过算法实现汉字的生成.该类方法对汉字的分解准确度及数据集的精度要求较高,限制了该类方法的广泛应用.现阶段的汉字生成研究主要借助于深度神经网络来实现对汉字隐式特征的提取,从而生成更高质量的汉字并克服早期研究阶段数据集不足等问题.主要目的是对已有汉字生成研究进行全面系统的综述.     

基于深度学习的汉字生成方法

手写汉字生成是机器学习中一个重要的研究方向.近二十年来,针对手写汉字生成的研究大体可分为两个阶段:早期主要利用汉字的显式特征如结构和笔画等实现对汉字的分解,再通过算法实现汉字的生成.该类方法对汉字的分解准确度及数据集的精度要求较高,限制了该类方法的广泛应用.现阶段的汉字生成研究主要借助于深度神经网络来实现对汉字隐式特征的提取,从而生成更高质量的汉字并克服早期研究阶段数据集不足等问题.主要目的是对已有汉字生成研究进行全面系统的综述.     

基于可信语义深度学习的文本文献搜索方法

针对传统文本搜索返回结果不准确、不满意的问题，提出一种基于可信语义深度学习的文本搜索方法。首先为了充分挖掘文本的可信语义，通过文本中的信任事实，以及人机交互标注的方式计算文本的可信度。利用网络爬虫抓取大量文本文献学习训练数据，并且构建深度学习神经网络模型，以文本的语义矩阵为输入，以文本的可信度为输出，通过有监督学习，训练出评估文本可信度的深度学习神经网络模型。最后应用该神经网络模型实现文本文献的搜索。通过“中国政治党建”领域的搜索实验表明：该方法在平均可信度方面优于传统搜索方法。     

基于深度学习的文本到图像生成方法综述

文本到图像生成方法采用自然语言与图像集特征的映射方式,根据自然语言描述生成相应图像,利用语言属性智能地实现视觉图像的通用性表达.基于卷积神经网络的深度学习技术是当前文本到图像生成的主流方法,为系统地了解该领域的研究现状和发展趋势,按照模型构建及技术实现形式的不同,将已有的技术方法分为直接图像法、分层体系结构法、注意力机...     

基于神经网络迁移学习的蒙汉机器翻译方法

针对蒙汉神经机器翻译过程中出现严重未登录词的问题,利用字节编码技术对蒙汉平行语料进行预处理,实验结果表明字节对编码技术有效缓解了未登录词现象。同时,为缓解蒙汉平行语料不足问题,将迁移学习策略应用到在蒙汉神经机器翻译中,实验结果表明最终的翻译译文提高了1.6个BLEU值。另外,考虑到在神经机器翻译模型中的双语词向量的质量对最终的翻译译文质量有较大影响,将基于Word2vec预训练得到的词向量嵌入到蒙汉神经机器翻译模型中,实验结果表明译文提升了0.6个BLEU值。     

基于深度强化学习的恶意软件混淆对抗样本生成

设计一种PE格式恶意软件混淆对抗样本生成模型。利用深度强化学习算法,实现对恶意软件的自动混淆。通过加入历史帧和LSTM神经网络结构的方法使深度强化学习模型具有记忆性。对比实验表明,该恶意软件变种在基于机器学习的检测模型上的逃逸率高于现有研究,在由918个PE格式恶意软件组成的测试集上达到39.54%的逃逸率。     

基于混合深度学习的多模态场景指令分类方法

为提高家庭服务机器人指令中目标对象预测的准确率,提出一种基于混合深度学习的多模态自然语言理处理(Natural Language Processing,NLP)指令分类方法.该方法从语言特征、视觉特征和关系特征多模态入手,采用两种深度学习方法分别以多模态特征进行编码.对于语言指令,采用多层双向长短期记忆(Bi-LSTM...     

一种基于深度学习的视网膜病变图像识别方法

为解决医学上糖尿病性视网膜病变图像人工识别困难、精度差等问题,提出一种基于多特征融合的卷积神经网络识别方法。在VGG-16模型的基础上,通过融合每层网络上的局部特征,增强模型的特征提取能力。选用Softmax分类器,使病变图像识别更加准确。使用OpenCV图像处理工具采用加噪、上下左右不同角度翻转、调节对比度等5种方式扩充训练集。实验结果表明,基于多特征融合的深度学习框架图像识别系统在数据集上的平均识别精度达到94.23%,相较于Alex-Net、Google-Net、Compact-Net、ResNet-101等模型分别提高了10.56%、7.80%、6.01%、0.02%,验证了该方法的有效性。该模型具有很好的鲁棒性。     

基于深度学习的多波束海底地质数据异常值检测方法

随着陆地资源不断开发,可用资源减少,人类将资源的开发转移到海洋领域,此时能够收集大量海底数据的多波束测深系统起着重要作用.但未经检测和过滤的、包含异常数据的多波束测深系统会给海洋开发带来危害,因此需要对异常数据进行检测.常用的检测异常值的算法有截断最小二乘估计异常值检测算法、基于改进GA异常值检测算法等,但这些算法的检...     

一种基于深度学习的两阶段图像去雾网络

雾是户外图像降质的主要因素之一,图像去雾旨在恢复有雾图像中的内容。基于图像底层特征和先验知识的传统算法去雾效果不稳定。针对以上问题,受深度学习理论的启发,提出一种端到端的两阶段去雾深度神经网络算法。将图像去雾和图像超分辨率重建相结合,先利用编码器-解码器预测低分辨率雾霾残留图像,再利用亚像素卷积和残差块重建出原始分辨率雾霾残留图像,最后预测出原始分辨率无雾图像。在合成和真实有雾图像上的实验表明,该算法在定量评价和定性评价中均优于对比算法。     

基于深度神经网络的多模态信息检索

为了提高大数据中多模态信息的检索效果,提出一种基于深度神经网络的多模态信息检索算法.设计深度自编码器,将不同模态的数据投影到一个相同的广义子空间内;利用稀疏编码技术降低共同特征向量的维度,过滤冗余特征和噪声特征;通过去卷积操作和上采样操作对数据进行重建.基于公开模态识别数据集的实验结果表明,该算法能够有效地学习和泛化多...     

基于并行空时深度学习网络的无设备身份识别方法

针对现有人员身份识别方法存在灵活性差、特征提取不足的问题,分析人体步态对信道状态信息(CSI)幅值产生的影响,提出一种基于Wi-Fi信道状态信息的无设备人员身份识别方法.将CSI幅值矩阵的每列子载波作为样本,利用小波变换获取样本中代表人员活动的低频信息.通过并行深度学习模型WiD(Wi-Fi identificatio...     

基于深度学习的相似语言短文本的语种识别方法

在语种识别中,传统的N-Gram方法对文本长度依赖度高,因而无法有效地对短文本进行语种识别。现有的基于神经网络的模型无法同时考虑词本身信息和词间组合信息,从而降低了短文本语种识别的质量。针对以上问题,提出一种基于深度学习的字符级短文本语种识别方法。采用卷积神经网络从字符向量中获取词中字符组合信息;通过长短期记忆网络获取词与词之间的特征信息;使用全连接网络实现相似语言的语种识别。在维吾尔语、哈萨克语以及DSL2017数据集上的实验结果表明,该方法可以有效地提高相似语言短文本的识别精度。