基于特征融合和代价敏感学习的图像标注方法

针对图像标注数据集中存在的标注对象比例不一致和标签分布不平衡问题,提出基于特征融合和代价敏感学习的图像标注方法.在卷积神经网络中加入特征融合层,改进VGG16原有的网络结构,特征融合层结合注意力机制,对网络中不同卷积层提取的多尺度特征进行选择性融合,提升对不同尺度对象的标注精度;将代价敏感学习融入损失函数对网络模型进行训练,提升网络的泛化性能.实验结果表明,该方法能提升图像标注的准确率,增加对低频标签的召回率.     

融合预训练语言模型和标签依赖知识的关系抽取方法

关系抽取旨在从未经标注的自由文本中抽取实体间的关系.然而,现有的方法大都孤立地预测每一个关系而未考虑关系标签相互之间的丰富语义关联.该文提出了一种融合预训练语言模型和标签依赖知识的关系抽取模型.该模型通过预训练模型BERT编码得到句子和两个目标实体的语义信息,使用图卷积网络建模关系标签之间的依赖图,并结合上述信息指导最...     

多模型融合的多标签图像自动标注

为了实现更为准确的复杂语义内容图像理解,提出一种融合多模型的多标签图像自动标注方法.该方法采用3个不同的模型分别对图像语义内容进行分析:在前景语义概念检测中,提出一种基于多特征的视觉显著性分析方法,并利用多Nystrm近似核对前景对象的语义进行判别分析;对于背景概念检测,提出一种区域语义分析的方法;通过构造基于潜语义分析的语义相关矩阵来消除标注错误的标签.根据前景和背景的语义和视觉特征,分别采用不同的模型提取前景和背景标注词,而语义相关分析能够有效地提高标注的准确性.实验结果表明,该多模型融合标注方法在图像的深层语义分析以及多标签标注方面具有较好的效果;与同类算法相比,能够有效地减少错误标注的标签数目,得到更加准确的标注结果.     

基于主动MCNN-SCRF的新能源汽车命名实体识别

新能源汽车命名实体存在实体边界模糊,多为未登录词,现存标注样本较少等问题,识别精确率和召回率较低。据此,提出了一种基于多通道神经网络（Multiple Channel Neural Network,MCNN）的新能源汽车实体识别模型,该模型融合了字词特征和片段特征,不再将实体识别当作传统的序列标注任务,利用半马尔科夫条件随机场（Semi-Markov CRF,SCRF）针对片段特征建模,对输入的句子切分片段并对片段整体分配标记,同时完成实体边界的识别和实体分类,弥补了传统字词序列标注模型采用局部标记区分实体边界的不足。为解决现存标注样本较少的问题,在训练模型的过程中,引入了一种基于不确定性和相似度相结合的主动学习（Active Learning,AL）。通过多组对比实验表明,该模型在大幅度减少人工标注量的同时,能够提高识别精确率和召回率。     

采用多标签传播的三维模型标注方法

随着数据采集设备与建模技术的进步，如何高效地对三维模型进行分析与检索，成为目前几何处理领域的研究热点。当前，有许多工作都集中在模型的分类上，但是大多仅能处理单一标签。在处理多标签问题时，不仅耗费大量时间还忽略了标签之间和样本之间的关联关系。针对该问题，提出了采用多标签传播的三维模型标注方法。其核心在于利用标签相关性与样本之间的关联关系探索到整个样本空间的多标签标注潜力。具体来说，给定一小部分样本的多标签信息，再将多标签信息通过这些标注样本传播到空间中无标注的样本之上。传播的过程主要依靠迭代融合标签信息与动态度量，充分考虑了标签之间与样本之间的关联关系，最终得到整个空间的标注结果。在一些三维模型的标准数据集上（如普林斯顿形状标准模型数据库）进行实验测试，结果证明，只需要少量的交互就能快速地得到较为精确的结果。     

基于Transformer和双重注意力融合的分层交互答案选择模型

答案选择是问答系统中的关键组成部分,提升其准确性是问答系统研究的重要内容之一。近年来深度学习技术广泛应用于答案选择,获得了良好效果,但仍旧有一定的局限性。其中模型对问题语义信息利用度低、缺乏局部语义重视、句子间交互感知能力差等问题尤为突出。针对上述问题提出了一种基于Transformer和双重注意力融合的答案选择模型NHITAS（new hierarchical interactive Transformer for answer selection）。首先,在信息预处理部分提取问题类别和关键词对答案进行初步筛选,并引入外部知识作为句子额外语义补充;其次,采用分层交互的Transformer对句子进行语义上下文建模,提出了UP-Transformer（untied position-Transformer）和DA-Transformer（decay self-attention-Transformer）两种结构学习语义特征;最后,通过双重注意力融合过滤句子噪声,增强问题和答案之间的语义交互。在WikiQA和TrecQA数据集上对NHITAS的性能进行测试,实验结果表明所提模型对比其他模型,能够有效提升答案选择任务的效果。     

跨模态多标签生物医学图像分类建模识别

目的 生物医学文献中的图像经常是包含多种模式的复合图像,自动标注其类别,将有助于提高图像检索的性能,辅助医学研究或教学。方法 融合图像内容和说明文本两种模态的信息,分别搭建基于深度卷积神经网络的多标签分类模型。视觉分类模型借用自然图像和单标签的生物医学简单图像,实现异质迁移学习和同质迁移学习,捕获通用领域的一般特征和生物医学领域的专有特征,而文本分类模型利用生物医学简单图像的说明文本,实现同质迁移学习。然后,采用分段式融合策略,结合两种模态模型输出的结果,识别多标签医学图像的相关模式。结果 本文提出的跨模态多标签分类算法,在ImageCLEF2016生物医学图像多标签分类任务数据集上展开实验。基于图像内容的混合迁移学习方法,比仅采用异质迁移学习的方法,具有更低的汉明损失和更高的宏平均F1值。文本分类模型引入同质迁移学习后,能够明显提高标签的分类性能。最后,融合两种模态的多标签分类模型,获得与评测任务最佳成绩相近的汉明损失,而宏平均F1值从0.320上升到0.488,提高了约52.5%。结论 实验结果表明,跨模态生物医学图像多标签分类算法,融合图像内容和说明文本,引入同质和异质数据进行迁移学习,缓解生物医学图像领域标注数据规模小且标签分布不均衡的问题,能够更有效地识别复合医学图像中的模式信息,进而提高图像检索性能。     

基于强化学习与自注意力机制的朝鲜语重要句子结构识别

针对构建朝鲜语语料库的人工标注工作过于费时费力,少数民族语言难以与各家资源融合的这一问题,该文从表征学习的角度,意图构建有效的朝鲜语句子结构表示,用来提升后续自然语言处理任务的效果。我们将深度强化学习与自注意力机制相结合,提出了一种分层结构的自注意力模型(Hierarchically Structured Korean,HS-K)。模型利用强化学习中的Actor-Critic思想,将文本分类效果作为强化学习的标签反馈信息,把文本的结构划分任务转化为序列决策任务。实验结果表明,模型可以识别出接近人工标注的朝鲜语重要句子结构,对朝鲜语信息化与智能化有着良好的辅助作用。     

基于本体学习的标签推荐方法研究

由于标注过程简单,Web上标注系统的使用逐渐增长,但是,随意定义的标签缺少标准并且语义模糊.为改善标签系统推荐效果,帮助用户组织、管理及分享网络资源,提高检索效果.提出基于用户标注信息的本体学习方法,针对不同映射情况,设计对应的本体学习模型和语义歧义消除模型,通过基于本体表示标签的语义信息和基于扩展本体语义关系的标签排序方法推荐标签.实验证明,召回率和精度都有提高,方法具有较好的可行性.     

基于强化学习的实体关系联合抽取模型

针对现有的基于远程监督的实体和关系抽取方法存在着标签噪声问题，提出了一种基于强化学习的实体关系联合抽取方法。该模型有两个模块：句子选择器模块和实体关系联合抽取模块。首先，句子选择器模块选择没有标签噪声的高质量句子，将所选句子输入到实体关系联合抽取模型；然后，实体关系联合抽取模块采用序列标注方法对输入的句子进行预测，并向句子选择器模块提供反馈，指导句子选择器模块挑选高质量的句子；最后，句子选择器模块和实体关系联合抽取模块同时训练，将句子选择与序列标注一起优化。实验结果表明，该模型在实体关系联合抽取中的F1值为47.3%，与CoType为代表的联合抽取模型相比，所提模型的F1值提升了1%；与LINE为代表的串行模型相比，所提模型的F1值提升了14%。结果表明强化学习结合实体关系联合抽取模型能够有效地提高序列标注模型的F1值，其中句子选择器能有效地处理数据的噪声。     

基于多任务学习的生成式阅读理解

生成式阅读理解是机器阅读理解领域一项新颖且极具挑战性的研究。与主流的抽取式阅读理解相比,生成式阅读理解模型不再局限于从段落中抽取答案,而是能结合问题和段落生成自然和完整的表述作为答案。然而,现有的生成式阅读理解模型缺乏对答案在段落中的边界信息以及对问题类型信息的理解。为解决上述问题,该文提出一种基于多任务学习的生成式阅读理解模型。该模型在训练阶段将答案生成任务作为主任务,答案抽取和问题分类任务作为辅助任务进行多任务学习,同时学习和优化模型编码层参数;在测试阶段加载模型编码层进行解码生成答案。实验结果表明,答案抽取模型和问题分类模型能够有效提升生成式阅读理解模型的性能。     

面向机器阅读理解的多任务层次微调模型

机器阅读理解与问答一直以来被认为是自然语言理解的核心问题之一, 要求模型通过给定的文章与问题去挑选出最佳答案. 随着BERT等预训练模型的兴起, 众多的自然语言处理任务取得了重大突破, 然而在复杂的阅读理解任务方面仍然存在一些不足, 针对该任务, 提出了一个基于回顾式阅读器的机器阅读理解模型. 模型使用RoBERTa预...     

TransformerG:基于层级图结构与文本注意力机制的法律文本多跳阅读理解

该文针对Cail2020法律多跳机器阅读理解数据集进行研究,提出了TransformerG,一个基于不同层级的实体图结构与文本信息的注意力机制融合的多跳阅读理解模型。该模型有效地结合了段落中问题节点、问题的实体节点、句子节点、句中的实体节点的特征与文本信息的特征,从而预测答案片段。此外,该文提出了一种句子级滑动窗口的方法,有效解决在预训练模型中文本过长导致的截断问题。利用TransformerG模型参加中国中文信息学会计算语言学专委会(CIPS-CL)和最高人民法院信息中心举办的“中国法研杯”司法人工智能挑战赛机器阅读理解赛道,取得了第2名的成绩。     

基于多视角图编码的选择式阅读理解方法

选择式阅读理解通常采用证据抽取和答案预测的两阶段流水线框架,答案预测的效果非常依赖于证据句抽取的效果.传统的证据抽取多依赖词段匹配或利用噪声标签监督证据抽取的方法,准确率不理想,这极大地影响了答案预测的性能.针对该问题,提出一种联合学习框架下基于多视角图编码的选择式阅读理解方法,从多视角充分挖掘文档句子之间以及文档句子和问句之间的关联关系,实现证据句及其关系的有效建模;同时通过联合训练证据抽取和答案预测任务,利用证据和答案之间强关联关系提升证据抽取与答案预测的性能.具体来说,所提方法首先基于多视角图编码模块对文档、问题和候选答案联合编码,从统计特性、相对距离和深度语义3个视角捕捉文档、问题和候选答案之间的关系,获得问答对感知的文档编码特征;然后,构建证据抽取和答案预测的联合学习模块,通过协同训练强化证据与答案之间的关系,证据抽取子模块实现证据句的选择,并将其结果和文档编码特征进行选择性融合,并用于答案预测子模块完成答案预测.在选择式阅读理解数据集ReCO和RACE上的实验结果表明,所提方法提升了从文档中选择证据句子的能力,进而提高答案预测的准确率.同时,证据抽取与答案预测联合学习很大程...     

面向阅读理解复杂问题的句子融合

阅读理解是目前NLP领域的一个研究热点。阅读理解中好的复杂问题解答策略不仅要进行答案句的抽取,还要对答案句进行融合、生成相应的答案,但是目前的研究大多集中在前者。该文针对复杂问题解答中的句子融合进行研究,提出了一种兼顾句子重要信息、问题关联度与句子流畅度的句子融合方法。该方法的主要思想为: 首先,基于句子拆分和词重要度选择待融合部分;然后,基于词对齐进行句子相同信息的合并;最后,利用基于依存关系、二元语言模型及词重要度的整数线性规划优化生成句子。在历年高考阅读理解数据集上的测试结果表明,该方法取得了82.62%的F值,同时更好地保证了结果的可读性及信息量。     

融合BERT语义表示的高考语文阅读理解问答研究

高考语文阅读理解问答相对普通阅读理解问答难度更大,同时高考问答任务中的训练数据较少,目前的深度学习方法不能取得良好的答题效果。针对这些问题,该文提出融合BERT语义表示的高考阅读理解答案候选句抽取方法。首先,采用改进的MMR算法对段落进行筛选;其次,运用微调之后的BERT模型对句子进行语义表示;再次,通过SoftMax分类器对答案候选句进行抽取,最后利用PageRank排序算法对输出结果进行二次排序。该方法在北京近十年高考语文阅读理解问答题上的召回率和准确率分别达到了61.2%和50.1%,验证了该方法的有效性。     

Constructing Arabic Reading Comprehension Datasets: Arabic WikiReading and KaifLematha

Neural machine reading comprehension models have gained immense popularity over the last decade given the availability of large-scale English datasets. A key limiting factor for neural model development and investigations of the Arabic language is the limitation of the currently available datasets. Current available datasets are either too small to train deep neural models or created by the automatic translation of the available English datasets, where the exact answer may not be found in the corresponding text. In this paper, we propose two high quality and large-scale Arabic reading comprehension datasets: Arabic WikiReading and KaifLematha with around +100 K instances. We followed two different methodologies to construct our datasets. First, we employed crowdworkers to collect non-factoid questions from paragraphs on Wikipedia. Then, we constructed Arabic WikiReading following a distant supervision strategy, utilizing the Wikidata knowledge base as a ground truth. We carried out both quantitative and qualitative analyses to investigate the level of reasoning required to answer the questions in the proposed datasets. We evaluated competitive pre-trained language model that attained F1 scores of 81.77 and 68.61 for the Arabic WikiReading and KaifLematha datasets, respectively, but struggled to extract a precise answer for the KaifLematha dataset. Human performance reported an F1 score of 82.54 for the KaifLematha development set, which leaves ample room for improvement.

     

汉语阅读理解中词义判断题的解答研究

阅读理解任务是在给定的单篇文本上,要求计算机根据文本的内容对相应的问题作出回答。以北京语文高考阅读理解为背景,对其中的词义判断题进行了分析与研究,提出了一个基于支持度计算的解答框架,并尝试使用语言模型、点互信息与句子相似度3种方法来计算支持度。通过实验验证,3种方法在真实数据集和自动构造的数据集上均有一定成效。其中,基于点互信息的支持度计算方法在真实数据集上表现最好,获得了75%的选项正确率。     

基于机器阅读理解的中文命名实体识别方法

针对现有命名实体识别方法主要考虑单个句子内的上下文信息,很少考虑文档级上下文影响的问题,文中提出基于机器阅读理解的中文命名实体识别方法,利用阅读理解思想,充分挖掘文档级的上下文特征,支撑实体识别.首先,针对每类实体,将实体识别任务转化为问答任务,构建问题、文本及实体答案三元组.然后,将三元组信息通过双向Transformer编码器进行预训练,再通过卷积神经网络捕捉文档级文本上下文信息.最后通过二进制分类器实现实体答案预测.在MSRA、人民日报公开数据集和自建数据集上的命名实体识别对比实验表明,文中方法性能较优,阅读理解思想对实体识别具有较好的作用.     

基于QU-NNs的阅读理解描述类问题的解答

机器阅读理解是自然语言处理(NLP)领域的一个研究热点,目前大部分的研究是针对答案简短的问题,而具有长答案的问题,如描述类问题是现实世界无法避免的,因此有必要对该类问题进行研究。该文采用QU-NNs模型对阅读理解中描述类问题的解答进行了探索,其框架为嵌入层、编码层、交互层、预测层和答案后处理层。由于该类问题语义概括程度高,所以对问题的理解尤为重要,该文在模型的嵌入层和交互层中分别融入了问题类型和问题主题、问题焦点这三种问题特征,其中问题类型通过卷积神经网络进行识别,问题主题和问题焦点通过句法分析获得,同时采用启发式方法对答案中的噪音和冗余信息进行了识别。在相关数据集上对QU-NNs(Question Understanding-Neural Networks)模型进行了实验,实验表明加入问题特征和删除无关信息可使结果提高2%～10%。