基于注意力机制的循环神经网络评价对象抽取模型

针对评论文本中评价对象的抽取任务,需要设计特征模板,而抽取结果往往受特征模板影响大的问题,提出一种端到端的神经网络评价对象抽取模型。分析条件随机场CRF在评价对象抽取任务中的特征模板设计;使用词向量嵌入模型在语义空间表示词语,并分析注意力机制在神经网络模型中的作用;将条件随机场模型与循环神经网络模型LSTM相结合,形成基于注意力机制的LSTM-CRF-Attention模型。在NLPCC2012和NLPCC2013两个数据集上进行实验,该模型的F值比CRF模型分别提高8.15%和11.03%。实验结果也同时验证词向量具备表示词语特征的能力,注意力机制能够有效提高神经网络模型中的评价对象抽取效果。     

基于句法特征的评价对象抽取方法研究

评价对象抽取是情感分析任务中一个重要的子任务。该文使用基于条件随机场模型的监督学习方法实现英文的评价对象抽取。为了更好的捕捉评价对象和情感词之间的关系,引入句法分析用以加入丰富的句法特征提高评价对象抽取性能。实验中,我们在两个不同的数据集上考查了句法特征对评价对象抽取性能的影响,并做了详细的分析比较。实验结果表明,将句法特征应用在评价对象抽取任务中能够取得不错的效果,明显提高了评价对象的抽取召回率。     

基于CNN和BiLSTM网络特征融合的文本情感分析

卷积神经网络（CNN）和循环神经网络（RNN）在自然语言处理上得到广泛应用,但由于自然语言在结构上存在着前后依赖关系,仅依靠卷积神经网络实现文本分类将忽略词的上下文含义,且传统的循环神经网络存在梯度消失或梯度爆炸问题,限制了文本分类的准确率。为此,提出一种卷积神经网络和双向长短时记忆（BiLSTM）特征融合的模型,利用卷积神经网络提取文本向量的局部特征,利用BiLSTM提取与文本上下文相关的全局特征,将两种互补模型提取的特征进行融合,解决了单卷积神经网络模型忽略词在上下文语义和语法信息的问题,也有效避免了传统循环神经网络梯度消失或梯度弥散问题。在两种数据集上进行对比实验,实验结果表明,所提特征融合模型有效提升了文本分类的准确率。     

面向中文产品评论的完整评价对象抽取方法

传统评价对象抽取方法较少考虑低频、结构复杂和信息量较大的评价对象。为此,针对中文产品评论提出一种完整评价对象抽取方法。利用词性和语法分析结果提取基础词单元,通过每个词单元的完整值和缺失值对其进行扩展,根据连接稳定性判断扩展后的词单元是否合理,得到候选评价对象集合,采用过滤策略对候选评价对象集合进行过滤,获得最终的评价对象集合。在真实数据集上的实验结果表明,该方法对包含低频和分词结构复杂的评价对象有较好的抽取效果。     

基于图卷积神经网络的中文实体关系联合抽取

现有实体关系联合抽取方法未充分考虑中文句子中实体关系的复杂结构特征,为此,提出一种基于图卷积神经网络（GCN）的中文实体关系联合抽取方法。在双向长短时记忆网络抽取序列特征的基础上,利用GCN编码依存分析结果中的语法结构信息,借鉴改进的实体标注策略构建端到端的中文实体关系联合抽取模型。实验结果表明,该方法的F值可达61.4%,相比LSTM-LSTM模型提高了4.1%,GCN能有效编码文本的先验词间关系并提升实体关系抽取性能。     

基于注意力与神经图灵机的语义关系抽取模型

针对语义关系抽取（语义关系分类）中长语句效果不佳和核心词表现力弱的问题,提出了一种基于词级注意力的双向神经图灵机（Ab-NTM）模型。首先,使用神经图灵机（NTM）作为循环神经网络（RNN）的改进,使用长短时记忆（LSTM）网络作为控制器,其互不干扰的存储特性可加强模型在长语句上的记忆能力;然后,构建注意力层组织词级上下文信息,使模型可以加强句中核心词的表现力;最后,输入分类器得到语义关系标签。在SemEval 2010 Task 8公共数据集上的实验表明,该模型获得了86.2%的得分,优于其他方法。     

基于深度学习的隐性评价对象识别方法

在线评论文本具有口语化的特点,其评价词缺少对应的评价对象,影响了细粒度情感分析的效果。为此,提出一种利用深度学习自动识别评价对象的方法。设计研究领域的文本序列标注规范,在对评论语料分词后,进行评价词与评价对象的命名实体标注,得到单词序列、词性序列和标注序列。将单词序列、词性序列转为神经网络语言模型的词向量,并用循环神经网络进行训练,采用条件随机场(CRF)输出评价对象标签,得到缺失的评价对象。实验结果表明,与单一CRF模型相比,BiLSTM+CRF模型和BiGRU+CRF模型的识别效果较好,BiGRU+CRF模型的F1值最高可达0.84。     

基于双嵌入卷积神经网络的涉案微博评价对象抽取

涉案微博的评价对象抽取是一个特定领域的任务,其评价对象词表达多样且含义与通用领域不同,仅依赖于通用领域的词嵌入无法很好地表征这些评价对象词.为此,提出了一种综合利用领域词嵌入和通用词嵌入的涉案微博评价对象抽取方法.首先对涉案微博文本进行预训练,得到具有涉案领域特征的嵌入层,其次将微博评论分别输入两个嵌入层,得到不同领域对评价对象的表征结果并进行拼接操作,然后通过卷积层抽取出与案件相关的特征,最后利用分类器对序列进行标记,以提取涉案微博评价对象.实验结果表明,所提方法的F1值在#重庆公交车坠江案#和#奔驰女司机维权案#的两个数据集上分别达到了72.36％和71.02％,较现有的基准模型有所提升,验证了不同领域词嵌入对涉案微博评价对象抽取的影响.     

基于CRFs和领域本体的中文微博评价对象抽取研究

微博情感分析是对微博内容进行细粒度的挖掘,有着重要的研究价值。微博评价对象的抽取是微博情感分析研究的关键问题之一。为了提高中文微博评价对象抽取的准确率,该文在中文微博特征分析和微博评论本体构建研究的基础上,尝试从词、词性、情感词以及本体四个方面进行特征选择,采用CRFs模型对评价对象进行抽取。该文将提出的方法运用到COAE2014测评的Task5评价对象抽取任务中,宏平均准确率达到61.20%,在所有测评队伍中居第一。实验结果表明,将本体特征引入到CRFs模型中,能够有效地提高评价对象抽取的准确率。     

最小窥视孔长短时记忆模型

由于循环神经网络拥有复杂的模型结构,使训练模型达到最优变得困难。因此,提出一种最小窥视孔长短时记忆模型,它只有一个唯一门来更新信息,拥有两个网络层,通过减少一定的模型参数降低模型训练的难度,提高模型性能。实验结果表明,在不同数据集上,该模型性能高于长短期记忆模型,部分高于门循环单元模型,在参数个数、运行时间方面,其远小于长短期记忆模型以及门循环单元模型。     

End-to-end neural opinion extraction with a transition-based model

Fine-grained opinion extraction has received increasing interests in the natural language processing community. It usually involves several subtasks. Recently, joint methods and neural models have been investigated by several studies, achieving promising performance by using graph-based models such as conditional random field. In this work, we propose a novel end-to-end neural model alternatively for joint opinion extraction, by using a transition-based framework. First, we exploit multi-layer bi-directional long short term memory (LSTM) networks to encode the input sentences, and then decode incrementally based on partial output results dominated by a transition system. We use global normalization and beam search for training and decoding. Experiments on a standard benchmark show that the proposed end-to-end model can achieve competitive results compared with the state-of-the-art neural models of opinion extraction.     

LSTM recurrent networks learn simple context-free andcontext-sensitive languages

Previous work on learning regular languages from exemplary training sequences showed that long short-term memory (LSTM) outperforms traditional recurrent neural networks (RNNs). We demonstrate LSTMs superior performance on context-free language benchmarks for RNNs, and show that it works even better than previous hardwired or highly specialized architectures. To the best of our knowledge, LSTM variants are also the first RNNs to learn a simple context-sensitive language, namely a(n)b(n)c(n).     

端到端对话系统意图语义槽联合识别研究综述

目前基于深度学习的端到端对话系统因具有泛化能力强、训练参数少、性能好等优势，在学术界和工业界成为了研究热点。意图识别和语义槽填充的结果对于对话系统的性能至关重要。介绍了端到端任务型对话系统意图和语义槽联合识别的主流方法，对注意力机制、Transformer模型在捕获长期依赖关系方面的效果同循环神经网络、长短时记忆网络进行对比，并分析了因其并行处理导致无法对文本词序位置信息完整捕获的局限；阐述了胶囊网络相较于卷积神经网络在捕获小概率语义信息保证特征完整性方面的优势；重点介绍了基于BERT（Bidirectional Encoder Representations from Transformers）模型的联合识别方法，不仅能够并行处理而且可以解决一词多义的问题，是目前性能最好的方法。最后对未来研究的发展方向进行讨论和分析。     

基于深度学习网络模型的端到端航迹关联

为提高雷达数据处理中航迹关联的智能性,充分利用目标的特征信息,并简化系统处理流程,提出了一种基于深度学习网络模型的端到端航迹关联算法。首先分析了基于神经网络的航迹关联存在样本细节少、处理流程繁杂的问题,然后提出了端到端的深度学习模型。该模型根据航迹关联数据的处理特征,改进了卷积神经网络结构用于特征提取,充分利用了长短期记忆网络对历史信息和将来信息的处理能力,并分析了前后航迹的关联性。在对原始数据进行卡尔曼滤波后,将全部航迹信息特征作为输入,并由基于卷积神经网络特征提取的长短期记忆深度神经网络模型直接输出航迹关联结果。仿真结果表明,提出的模型可以充分学习推演目标的多个特征信息,具有较高的航迹关联准确率,对航迹关联的智能化分析具有一定的参考价值。     

基于卷积长短时记忆神经网络的蛋白质二级结构预测

鉴于不同类型氨基酸的相互作用对蛋白质结构预测的影响不同,文中融合卷积神经网络和长短时记忆神经网络模型,提出卷积长短时记忆神经网络,并应用到蛋白质8类二级结构的预测中.首先基于氨基酸序列的类别信息和氨基酸结构的进化信息表示蛋白质序列,并采用卷积提取氨基酸残基之间的局部相关特征,然后利用双向长短时记忆神经网络提取蛋白质序列内部残基之间的远程相互作用,最后将提取的蛋白质的局部相关特征和远程相互作用用于蛋白质8类二级结构的预测.实验表明,相比基准方法,文中模型提高8类二级结构预测的精度,并具有良好的可扩展性.     

基于CNN-WaveNet的滚动轴承剩余寿命预测

为保证设备正常运行并准确预测轴承剩余寿命,提出二维卷积神经网络与改进WaveNet组合的寿命预测模型.为克服未优化的递归网络在预测训练过程中易出现梯度消失问题,该模型引入了WaveNet时序网络结构.针对原始WaveNet结构不适用滚动轴承振动数据情况,将WaveNet结构改进与二维卷积神经网络结合应用于滚动轴承寿命预测.模型利用二维卷积网络提取一维振动序列的特征,随后特征输入WaveNet并进行滚动轴承的预测寿命.改进模型相比于深度循环网络计算效率更高、结果更准确,相比于原始CNN-WaveNet-O模型预测结果更准确.相比于深度长短期记忆网络模型,改进方法预测结果均方根误差降低了11.04％,评分函数降低了11.34％.     

融合语义与语法信息的中文评价对象提取

鉴于常规的序列化标注方法提取中文评价对象准确率低,存在忽略中文语义与语法信息的缺陷,提出了融合语义与语法信息的中文评价对象提取模型。该模型在原始字向量的基础上通过优化字符含义策略强化语义特征,弥补忽略的字符与词语的内部信息;并通过词性序列标注,对句子的词性信息进行表征,深化输入的语法特征。网络训练使用双向长短期记忆网络并用条件随机场克服标注标签的偏差,提高了提取准确率。该模型在BDCI2017数据集上进行验证,与未融入语义和语法的提取模型相比,中文主题词与情感词提取准确率分别提高了2.1%与1.68%,联合提取的准确率为77.16%,具备良好的中文评价对象提取效果。     

基于参数迁移和卷积循环神经网络的语音情感识别

在语音情感识别研究中,已有基于深度学习的方法大多没有针对语音时频两域的特征进行建模,且存在网络模型训练时间长、识别准确性不高等问题。语谱图是语音信号转换后具有时频两域的特殊图像,为了充分提取语谱图时频两域的情感特征,提出了一种基于参数迁移和卷积循环神经网络的语音情感识别模型。该模型把语谱图作为网络的输入,引入AlexNet网络模型并迁移其预训练的卷积层权重参数,将卷积神经网络输出的特征图重构后输入LSTM（Long Short-Term Memory）网络进行训练。实验结果表明,所提方法加快了网络训练的速度,并提高了情感识别的准确率。     

Recurrent neural networks for minimum infinity-norm kinematiccontrol of redundant manipulators

This paper presents two neural network approaches to minimum infinity-norm solution of the velocity inverse kinematics problem for redundant robots. Three recurrent neural networks are applied for determining a joint velocity vector with its maximum absolute value component being minimal among all possible joint velocity vectors corresponding to the desired end-effector velocity. In each proposed neural network approach, two cooperating recurrent neural networks are used. The first approach employs two Tank-Hopfield networks for linear programming. The second approach employs two two-layer recurrent neural networks for quadratic programming and linear programming, respectively. Both the minimal 2-norm and infinity-norm of joint velocity vector can be obtained from the output of the recurrent neural networks. Simulation results demonstrate that the proposed approaches are effective with the second approach being better in terms of accuracy and optimality