基于多层次语义特征的英文作文自动评分方法

作文自动评分（AES）技术能够自动地对作文进行分析和评分,其已成为自然语言处理技术在教育领域应用的热点研究问题之一。针对目前AES方法割裂了深层和浅层语义特征,忽视了多层次语义融合对作文评分影响的问题,提出了一种基于多层次语义特征的神经网络（MLSF）模型进行AES。首先,采用卷积神经网络（CNN）捕获局部语义特征,并采用混合神经网络捕获全局语义特征,以从深层次获取作文的语义特征;其次,利用篇章级的作文主题向量来获取主题层特征,同时针对深度学习模型难以挖掘的语法错误和语言丰富程度特征,构造了少量人工特征以从浅层获取作文的语言学特征;最后,通过特征融合对作文进行自动评分。实验结果表明,所提出模型在Kaggle ASAP竞赛公开数据集的所有子集上性能均有显著提升,该模型的平均二次加权的卡帕值（QWK）达到79.17%,验证了该模型在AES任务中的有效性。     

植物属性文本的命名实体识别方法研究

植物属性文本的命名实体识别对林业领域的信息抽取和知识图谱的构建起着重要的作用,针对该问题,提出了一种基于双向长短时记忆网络(BiLSTM)、卷积神经网络(CNN)和条件随机场(CRF)模型的植物属性文本命名实体识别方法 BCC-P。分析了植物属性文本的特点,并进行预处理和标注,完成数据集的构建。BCC-P方法通过BiLSTM模型对植物属性文本进行建模,有效捕捉植物属性文本中的上下文语义特征。将获得的特征传递到CNN模型,进一步提取深度特征。最后使用了CRF模型进行植物属性文本的标注,输出在句子序列上最优的标注结果。在植物属性文本语料上的实验表明,该方法的准确率达到了91.8%,因此能够有效应用于植物属性文本的命名实体识别任务。     

基于CNN与双向LSTM的行为识别算法

针对传统行为识别依赖手工提取特征,智能化程度不高,识别精度低的问题,提出一种基于3D骨骼数据的卷积神经网络(CNN)与双向长短期记忆网络(Bi-LSTM)的混合模型。使用3D骨骼数据作为网络输入,CNN提取每个时间步的3D输入数据间的空间特征,Bi-LSTM更深层地提取3D数据序列的时间特征。该混合模型自动提取特征完成分类,实现骨骼数据到识别结果的端对端学习。在UTKinect-Action3D标准数据集上,模型的识别率达到97.5%,在自制Kinect数据集上的准确率达到98.6%,实验结果表明,该网络有效提高了分类准确率,具备可用性和有效性。     

融合CNN与BiLSTM的网络入侵检测方法

针对网络入侵检测准确率偏低而误报率偏高的问题,提出一种融合卷积神经网络(CNN)与双向长短期记忆(BiLSTM)网络的网络入侵检测方法。对KDDcup99数据集进行预处理,并分别使用CNN模型、BiLSTM模型提取局部特征和长距离依赖特征,通过注意力机制计算特征的重要性,利用softmax分类器获得最终的分类结果。实验结果表明,与基于CNN和基于LSTM的方法相比,该方法的网络入侵检测效果较好,其准确率可提高至95.0%,误检率可降低至5.1%。     

基于句内注意力机制多路CNN的汉语复句关系识别方法

复句的关系识别是对分句间语义关系的甄别,是复句语义分析的关键,旨在从文本中识别句间的关系类型。非充盈态汉语复句存在隐式关系的特点给语义关系识别造成了困难。为了深度挖掘复句中隐含的语义信息,正确地实现关系分类,该文提出了一种基于句内注意力机制的多路CNN网络结构Inatt-MCNN。其中句内注意力机制模型是基于Bi-LSTM的,使其能够学习到句子的双向语义特征以及分句间的关联特征。同时,为了充分利用文本特征,联合使用卷积神经网络(CNN)对复句表示再次建模获得句子局部特征。与其他基于汉语复句语料库(CCCS)和清华汉语树库(TCT)的实验结果相比,该文方法的宏平均F₁值为85.61%,提升约6.08%,平均召回率为84.87%,提升约3.05%。     

利用深层语言分析改进中文作文自动评分方法

利用自然语言处理技术对作文进行自动评阅是有重要意义和挑战的研究课题,引起了人工智能领域与教育领域学者的共同关注。该文聚焦于语文作文自动评分任务,提出通过深层语言分析,包括应用高性能别字、语法纠错器分析语言运用能力,采用自动修辞分析、优秀表达识别等手段反映语言表达能力,以及通过细粒度篇章质量分析评估篇章整体质量,来构建有效特征。该文同时提出了结合语言分析特征与深度神经网络编码的自适应混合评分模型。在真实语文作文数据上的实验表明,融入深层语言分析特征可有效提高作文评分效果;年级与主题自适应的模型训练策略,可提高模型的迁移能力和预测效果。消融实验进一步分析和解释了不同类型特征对评分效果的贡献。     

药物-靶点亲和力预测的全局特征提取策略

为有效解决药物靶点亲和力预测中单模型提取特征种类受限问题,结合深度学习混合模型,提出一种深度并行全局特征提取策略.利用卷积神经网络(CNN)和特征存储融合层构建局部特征提取器,实现药物靶点序列局部特征的多层次提取、存储与压缩;利用卷积神经网络(CNN)和双向长短时记忆(BiLSTM)神经网络的串行混合模型构建上下文特征...     

多神经网络协作的电力文本类型识别

电力企业为实现数字资产管理, 提高行业运行效率, 促进电力信息化的融合, 需要实施有效的数据组织管理方法. 针对电力行业中的数据, 提出了基于字级别特征的高效文本类型识别模型. 在该模型中, 将字符通过BERT预训练模型生成电力客服文本动态的高效字向量, 字向量序列输入利用融合注意力机制的双向长短期记忆网络(BiLSTM), 通过注意力机制有效捕捉文本中帮助实现类型识别的潜在特征, 最终利用Softmax层实现对电力文本的类型识别任务. 本文提出的模型在电力客服文本数据集上达到了98.81%的准确率, 优于CNN, BiLSTM等传统神经网络识别方法, 增强了BERT模型的应用, 并有效解决了电力文本类型识别任务中语义的长距离依赖问题.     

基于特征融合的文本情感分类

虽然卷积神经网络（CNN）可以提取局部特征,长短期记忆网络（LSTM）可以提取全局特征,它们都表现出了较好的分类效果,但CNN在获取文本的上下文全局信息方面有些不足,而LSTM容易忽略词语之间隐含的特征信息。因此,提出了用CNN＿BiLSTM＿Attention并行模型进行文本情感分类。首先,使用CNN提取局部特征,同时BiLSTM提取带有上下文语义信息的全局特征,之后将两者提取的特征拼接在一起,进行特征融合。这样使得模型既能捕获局部短语级特征,又能捕获上下文结构信息,并对特征词的重要程度,利用注意力机制分配不同权重,进而提高模型的分类效果。通过与单一模型CNN、LSTM等深度神经网络模型的对比,本文所提的CNN＿BiLSTM＿Attention并行模型在综合评价指标F1 score和准确率上都有提升,实验结果表明,本文所提模型在文本情感分类任务中取得了较好的结果,比其他神经网络模型有更好的实用价值。     

基于新型卷积神经网络构建矿山灾害事件检测模型

事件检测属于自然语言处理的核心任务及难点之一,使用长短时记忆网络(LSTM)和卷积神经网络(CNN)进行的相关研究越来越广泛,但面对篇章级别的事件文本时,参数量庞大的LSTM与语义缺失明显的CNN导致模型检测准确性和收敛性均欠佳。该文结合迭代空洞卷积神经网络和高速神经网络,提出基于混合特征的高速迭代空洞卷积神经网络,力图优化深层模型训练中常见的梯度消失与爆炸现象,提取性能更优的篇章级文本特征。实验结果表明,该方法与当下主流的LSTM和CNN模型相比,矿山灾害事件检测效果更为理想,收敛性及训练效率也表现更优。     

基于BiLSTM模型的定义抽取方法

定义抽取是从非结构化文本中自动识别定义句的任务,定义抽取问题可建模为句子中术语及相应定义的序列标注问题,并利用标注结果完成抽取任务。针对传统的定义抽取方法在抽取定义特征过程中费时且容易造成错误传播的不足,提出一个基于双向长短时记忆(BiLSTM)的序列标注神经网络模型,对输入文本进行自动化定义抽取。通过将原始数据输入到BiLSTM神经网络中,完成输入句的特征表示,并采用基于LSTM的解码器进行解码得到标注结果。在Wikipedia英文数据集上的实验结果表明,该方法的精确率、召回率和F1值分别为94.21%、90.10%和92.11%,有效提升了基准模型效果。     

基于BERT和BiLSTM的语义槽填充

语义槽填充是对话系统中一项非常重要的任务,旨在为输入句子的每个单词标注正确的标签,其性能的好坏极大地影响着后续的对话管理模块.目前,使用深度学习方法解决该任务时,一般利用随机词向量或者预训练词向量作为模型的初始化词向量.但是,随机词向量存在不具备语义和语法信息的缺点;预训练词向量存在"一词一义"的缺点,无法为模型提供具...     

基于图神经网络的联合实体关系抽取

从非结构化文本中联合提取实体和关系是信息抽取中的一项重要任务。现有方法取得了可观的性能,但仍受到一些固有的限制,如错误传播、预测存在冗余性、无法解决关系重叠问题等。为此,提出一种基于图神经网络的联合实体关系抽取模型BSGB（BiLSTM+SDA-GAT+BiGCN）。BSGB分为两个阶段：第一阶段将语义依存分析扩展到语义依存图,提出融合语义依存图的图注意力网络（SDA-GAT）,通过堆叠BiLSTM和SDA-GAT提取句子序列和局部依赖特征,并进行实体跨度检测和初步的关系预测;第二阶段构建关系加权GCN,进一步建模实体和关系的交互,完成最终的实体关系三元组抽取。在NYT数据集上的实验结果表明,该模型F₁值达到了67.1%,对比在该数据集的基线模型提高了5.2%,对重叠关系的预测也有大幅改善。     

基于神经网络的连动句识别

连动句是具备连动结构的句子,是汉语中一种特殊的句法结构,在现代汉语中十分常见且使用频繁.连动句语法结构和语义关系都很复杂,在识别中存在许多问题,对此该文针对连动句的识别问题进行了研究,提出了一种基于神经网络的连动句识别方法.该方法分两步:第一步,运用简单的规则对语料进行预处理;第二步,利用文本分类的思想,使用BERT编...     

上下文感知的树递归神经网络下隐式情感分析

针对现有的序列化模型对中文隐式情感分析中特征信息提取不准确以及对篇章级的文本信息提取存在的梯度爆炸或者梯度消失的问题,提出了双向长短时神经网络和上下文感知的树形递归神经网络(context-aware tree recurrent neutral network,CA-TRNN)的并行混合模型.该模型分别利用双向循环长...     

基于CRT机制混合神经网络的特定目标情感分析

特定目标情感分析的目的是从不同目标词语的角度来预测文本的情感,关键是为给定的目标分配适当的情感词。当句子中出现多个情感词描述多个目标情感的情况时,可能会导致情感词和目标之间的不匹配。由此提出了一个CRT机制混合神经网络用于特定目标情感分析,模型使用CNN层从经过BiLSTM变换后的单词表示中提取特征,通过CRT组件生成单词的特定目标表示并保存来自BiLSTM层的原始上下文信息。在三种公开数据集上进行了实验,结果表明,该模型在特定目标情感分析任务中较之前的情感分析模型在准确率和稳定性上有着明显的提升,证明CRT机制能很好地整合CNN和LSTM的优势,这对于特定目标情感分析任务具有重要的意义。     

基于图神经网络和语义知识的自然语言推理任务研究

自然语言推理任务的目的是推断两个句子之间的语义逻辑关系。该文通过模仿人类的推理过程构造模型,首先利用长短时记忆网络提取词的语境特征,模仿人类粗读句子的过程;然后依据外部语义知识,连接两个句子中有语义联系的词,构造一个以词为节点的语义图;接下来模仿人类比较两个句子的语义角色相似性的思维,用图卷积或图注意力神经网络聚合词在图中的空间特征;最后融合词的语境特征和语义图空间特征,进行推理分类。实验结果证明,基于图神经网络的模型能有效利用外部语义知识来提高自然语言推理的准确率。     

基于CNN-BiLSTM的自动睡眠分期算法

睡眠分期是睡眠数据分析的基础,针对目前睡眠分期存在的依赖人工提取、人工判别效率低、自动睡眠分期准确率不高等问题,本文研究模型是基于卷积神经网络和双向长短时记忆神经网络2个深度学习神经网络相结合的,利用脑电信号来进行自动睡眠分期的模型方法.算法能提取得到原始脑电信号的梅尔频谱,利用卷积神经网络和双向长短时记忆神经网络进行...     

融合句子结构特征的汉老双语句子相似度计算方法

在低资源神经机器翻译中,双语平行句对是重要的数据资源,融合语言结构特点能够较好地解决双语句子由于语言差异性导致的句子相似度计算不准确问题.该文提出一种融合句子结构特征的汉老双语句子相似度计算方法.首先,通过该文提出的特征模板获取汉语和老挝语对应的句子结构特征,预训练含有句子结构特征的汉老双语词向量分布式表示,并使用双语...     

基于问答交互的答案句选择算法

答案选择任务的精度对问答系统、文本处理等应用的效果具有重要的影响.针对答案选择模型问句与候选答案句语义信息和句子浅层特征利用不充分的问题,提出一种基于问答句交互的答案选择模型.给定问句Q和候选答句A,模型首先使用BiLSTM编码器对它们进行编码,然后针对问句Q使用Feed-Forward注意力机制得到句子编码;针对答句...