基于深度学习的事件因果关系抽取综述

因果关系抽取是自然语言处理（NLP）中的一种关系抽取任务,它通过构造事件图来挖掘文本中具有因果关系的事件对,已经在金融、安全、生物等领域的应用中发挥重要作用。首先,介绍了事件抽取和因果关系等概念,并介绍了因果关系抽取主流方法的演变和常用数据集;然后,列举了当前主流的因果关系抽取模型,并且在分别对基于流水线的模型和联合抽取模型进行详细分析的基础上,对比了各种方法和模型的优缺点;此外,对各模型的实验性能及相关实验数据进行了归纳分析;最后,给出了当前的因果关系抽取的研究难点和未来的重点研究方向。     

基于双层模型的维吾尔语突发事件因果关系抽取

针对传统事件因果关系识别覆盖范围小和人工标注代价高等不足,提出了一种基于双层模型的维吾尔语突发事件因果关系抽取方法. 该方法采用分治思想,将因果关系抽取问题转化为对事件序列的两次模式识别标注. 采用Bootstrapping算法,在第一次模式识别时,标注因果关系的语义角色,并将标注的语义角色标签作为新的特征传递给第二层模式识别,用于因果关系边界标注. 该方法用于维吾尔语突发事件显式因果关系的抽取准确率为85.39%,召回率为77.53%,证明了本文提出的方法在维吾尔语主题突发事件因果关系抽取上的有效性和实用性.     

基于联合学习的生物医学因果关系抽取

生物医学因果关系抽取是BioCreative社区提出的一项评测任务,旨在挖掘生物医学实体间丰富的语义关系,并用生物医学表征语言(biological expression language, BEL)来表示。与传统的实体关系抽取不同,该任务不仅包含实体间因果关系的抽取,还包含实体功能的识别。此前已经提出了一些该任务的解决方法,但均未考虑这两个子任务间的关联性。该文基于多任务的思想,提出一种二元关系抽取和一元功能识别共同决策的联合学习模式。首先两个任务共享底层向量表示,然后利用长短期记忆(long short-term memory, LSTM)网络和门控机制学习两个任务之间的交互表示,最后分别进行分类预测。实验结果表明,该方法能够融合两个子任务的信息,在2015 BC-V测试集上获得了45.3%的F值。     

PosNet:基于位置的因果关系抽取网络

因果关系抽取是一种从文本中抽取因果实体对的自然语言处理技术,被广泛应用于金融、医疗等领域。传统的因果关系抽取技术需要人工选取文本特征进行因果匹配或使用神经网络多次提取特征,导致模型结构较为复杂,抽取效率不高。针对这一问题,提出一种基于位置的因果关系抽取网络(Position-based Causal Extraction Network, PosNet),以期提高因果关系的抽取效率。首先,预处理文本,构建多粒度文本特征作为网络的输入;然后,将文本特征传入位置预测网络,使用经典的浅层卷积神经网络预测因果实体的开始位置和结束位置;最后,通过组装算法按起始位置组装因果实体,抽取出全部因果实体对。实验结果证明PosNet可以提升因果关系抽取的效率。     

基于混合CNN的自然语言因果关系抽取方法

针对现有自然语言因果关系抽取模型的低准确性和自由参数过多等问题,提出高效的面向知识通道和面向数据通道相结合的混合卷积神经网络(Mixed Convolution Neural Network,MCNN)方法.面向知识通道结合词汇知识库中因果关系的语言知识,自动生成的卷积过滤器以捕获因果关系的重要语言线索.实验表明与Sin-gleCNN和MultiCNN相比,该方法在因果关系提取方面效果更优.     

结合Roberta和Bi-FLASH-SRU的中文事件因果关系抽取

针对现有基于填表的事件关系抽取方法填表数目过多、表格特征获取不充分的问题, 本文提出了结合Roberta和Bi-FLASH-SRU的中文事件因果关系抽取方法TF-ChineseERE. 该方法通过制定填表策略, 利用文本中已标记关系, 将其转化为带有标签的表格; 借助Roberta预训练模型和本文提出的双向内置闪电注意力简单循环单元(bidirectional built-in flash attention simple recurrent unit, Bi-FLASH-SRU)获取主客体事件特征, 再利用表格特征循环学习模块挖掘全局特征, 最后进行表格解码获得事件因果关系三元组. 实验采用金融领域两个公开数据集进行验证, 结果表明, 本文提出的方法F₁值分别达到59.2%和62.5%, 且Bi-FLASH-SRU模型训练速度更快, 填表数目更少, 证明了该方法的有效性.     

基于事件动作方向的隐式因果关系抽取方法

抽取事件之间的因果关系能够应用于自动问答、知识提取、常识推理等方面.隐式因果关系由于缺乏明显的词汇特征和中文复杂的句法结构,使得其抽取极为困难,已成为当前研究的难点.相比而言,显示因果关系的抽取比较容易、准确率高,且因果关系事件之间的逻辑关系稳定.为此,文中提出了一种原创的方法,首先通过对抽取的显示因果事件对进行事件动...     

融合对抗学习的因果关系抽取

因果关系抽取在事件预测、情景生成、问答以及文本蕴涵等任务上都有重要的应用价值.但多数现有的因果关系抽取方法都需要人工定义模式和约束,且严重依赖知识库.为此,本文利用生成式对抗网络（Generative adversarial networks,GAN）的对抗学习特性,将带注意力机制的双向门控循环单元神经网络（Bidirectional gated recurrent units networks,BGRU）与对抗学习相融合,通过重定义生成模型和判别模型,基本的因果关系抽取网络能够与判别网络形成对抗,进而从因果关系解释信息中获得高区分度的特征.实验结果表明,与当前用于因果关系抽取的方法相比较,该方法表现出更优的抽取效果.     

融合RACNN和BiLSTM的金融领域事件隐式因果关系抽取

金融领域的文本信息量大、价值高,尤其是其中的隐式因果关系事件包含着巨大的潜在利用价值。对金融领域文本进行隐式因果关系分析,挖掘隐式因果关系事件中隐含的重要信息,了解金融领域事件更深层的演化逻辑,进而构建金融领域知识库,对金融风险控制、风险预警等具有重要意义。为了提高金融领域中隐式因果关系事件识别的准确度,从特征挖掘的角度入手,提出了一种基于自注意力机制的融合循环注意力卷积神经网络(Recurrent Attention Convolution Neural Network, RACNN)和双向长短时记忆网络(Bidirectional Long Short-Term Memory, BiLSTM)的隐式因果关系抽取方法。该方法结合了基于迭代反馈机制能提取更重要文本局部特征的RACNN、能更好地提取文本全局特征的BiLSTM以及能更深入地挖掘融合特征语义信息的自注意力机制,在SemEval-2010 Task 8数据集和金融领域数据集上进行了实验,结果表明,评估指标F1值分别达到了72.98%和75.74%,均显著优于其他对比模型。     

基于混合神经网络的实体和事件联合抽取方法

实体和事件抽取旨在从文本中识别出实体和事件信息并以结构化形式予以呈现。现有工作通常将实体抽取和事件抽取作为两个单独任务,忽略了这两个任务之间的紧密关系。实际上,事件和实体密切相关,实体往往在事件中充当参与者。该文提出了一种混合神经网络模型,同时对实体和事件进行抽取,挖掘两者之间的依赖关系。模型采用双向LSTM识别实体,并将在双向LSTM中获得的实体上下文信息进一步传递到结合了自注意力和门控卷积的神经网络来抽取事件。在英文ACE 2005语料库上的实验结果证明了该文方法优于目前最好的基准系统。     

基于CNN-BiGRU模型的事件触发词抽取方法

传统事件触发词抽取方法在特征提取过程中对自然语言处理工具产生过度依赖的方法,耗费大量人力,容易出现错误传播和数据稀疏性等问题。为此,提出采用CNN-BiGRU模型进行事件触发词抽取的方法。将词向量和位置向量进行拼接作为输入,提取词级别特征和句子全局特征,提高触发词抽取效果,并通过CNN提取词汇级别特征,利用BiGRU获取文本上下文语义信息。在ACE2005英文语料库和中文突发事件语料库CEC上的实验结果表明,该模型事件触发词识别F1值分别达到74.9%和79.29%,有效提升事件触发词的抽取性能。     

基于多窗口残差网络的单图像超分辨率重建

基于卷积神经网络的单图像超分辨率模型网络结构过深,导致高频信息丢失以及模型体积庞大等问题.提出一种由多个残差模块构成的多窗口残差网络优化模型,通过使用多个不同尺寸的窗口对同一特征图进行提取,获取更丰富的高频与低频信息,并过滤出深层网络的所需特征.残差模块中较大尺寸的窗口采用较小尺寸的滤波器和多层映射层叠加组成,可在减少...     

基于卷积神经网络的图像分类算法综述

卷积神经网络（CNN）是目前基于深度学习的计算机视觉领域中重要的研究方向之一。它在图像分类和分割、目标检测等的应用中表现出色,其强大的特征学习与特征表达能力越来越受到研究者的推崇。然而,CNN仍存在特征提取不完整、样本训练过拟合等问题。针对这些问题,介绍了CNN的发展、CNN经典的网络模型及其组件,并提供了解决上述问题的方法。通过对CNN模型在图像分类中研究现状的综述,为CNN的进一步发展及研究方向提供了建议。     

基于卷积神经网络和流形排序的图像检索算法

针对基于内容的图像检索(CBIR)中低层视觉特征与用户对图像理解的高层语义不一致以及传统的距离度量方式难以真实反映图像之间相似程度等问题,提出了一种基于卷积神经网络(CNN)和流形排序的图像检索算法。首先,将图像输入CNN,通过多层神经网络对图像的监督学习,提取网络中全连接层的图像特征;其次,对图像特征进行归一化处理,然后用高效流形排序(EMR)算法对查询图像所返回的结果进行排序;最后,根据排序的结果返回最相似的图像。在corel数据集上,深度图像特征比基于场景描述的图像特征的平均查准率(mAP)提高了53.74%,流形排序比余弦距离度量方式的mAP提高了18.34%。实验结果表明,所提算法能够有效地提高图像检索的准确率。     

基于深度学习的SIFT图像检索算法

深度学习作为一个新的机器学习方向,被应用到计算机视觉领域上成效显著.为了解决分布式的尺度不变特征转换（Scale-Invariant Feature Transform,SIFT）算法效率低和图像特征提取粗糙问题,提出一种基于深度学习的SIFT图像检索算法.算法思想：在Spark平台上,利用深度卷积神经网络（Convolutional Neural Network,CNN）模型进行SIFT特征抽取,再利用支持向量机（Support Vector Machine,SVM）对图像库进行无监督聚类,然后再利用自适应的图像特征度量来对检索结果进行重排序,以改善用户体验.在Corel图像集上的实验结果显示,与传统SIFT算法相比,基于深度学习的SIFT图像检索算法的查准率和查全率大约提升了30个百分点,检索效率得到了提高,检索结果图像排序也得到了优化.     

基于连接注意力的行人重识别特征提取方法

全民安全意识的逐步提高使得智能监控设备遍布各大公共场所,行人重识别作为视频分析的关键技术之一,被广泛应用于智能安防、自动驾驶等领域。为了提高真实环境下跨摄像头行人检索的识别精度,提出一种基于注意力机制的行人重识别特征提取方法。在数据处理阶段,考虑不同训练数据量下识别效果存在差异的问题,对行人图片采用自动增强方法进行数据增强,以提高数据集规模。在特征提取阶段,将连接注意力模块与ResNet50残差网络相结合构成特征提取网络,提取显著性更强的行人特征。在损失优化阶段,采用三元组损失和圆损失对行人特征进行优化并完成距离度量,最终根据距离的远近得到行人排序结果。实验结果表明,在Market1501数据集上该方法的Rank-1值和mAP值分别达到95.90%和89.66%,在DukeMTMC-reID数据集上Rank-1值和mAP值分别达到91.16%和81.24%,在MSMT17数据集上Rank-1值和mAP值分别达到84.37%和62.73%,与现有经典行人重识别方法PCB、MGN、Pyramid、OSNet等相比,其网络识别性能评价指标均有明显提升。     

基于深度学习的脸部年龄预测算法

为提高脸部年龄预测的准确性,在深度学习的基础上提出一种可有效预测脸部年龄的算法.通过对人脸图像进行预处理,获取左眼、右眼、鼻子和嘴巴四个部分的局部图像,利用迁移TensorFlow深度学习库中的Inception V4模型,提取脸部图像四个部分的多尺度局部特征,并将提取的局部特征使用串联方式相连接以得到融合特征,再将不...     

基于表征学习的网络游戏流量识别

进行基于表征学习的网络游戏流量识别研究.首先,由于流量识别领域公开数据集中缺乏游戏流量,采集各类游戏流量,并建立各种游戏与进程端口的映射关系,基于该映射关系从采集的流量中过滤游戏流量,扩展公开数据集;利用深度学习中的表征学习模型,对经过预处理的原始端到端游戏流量自动进行特征学习和特征选择;最后用分类器进行游戏类别识别.通过构建特征空间由卷积神经网络自学习原始信息的特征,成功避免传统机器学习算法中流量数据集的二次处理导致的信息丢失以及流量分类模型对特征选择的依赖.实验结果表明,相比于原数据集的分类效果,扩充后的数据集在神经网络模型上的分类准确率提高了5％,游戏流量识别准确率达到92％,识别性能明显提升.     

基于深度学习的文本分类技术研究进展

随着深度学习技术的快速发展,许多研究者尝试利用深度学习来解决文本分类问题,特别是在卷积神经网络和循环神经网络方面,出现了许多新颖且有效的分类方法。对基于深度神经网络的文本分类问题进行分析,介绍卷积神经网络、循环神经网络、注意力机制等方法在文本分类中的应用和发展,分析多种典型分类方法的特点和性能,从准确率和运行时间方面对基础网络结构进行比较,表明深度神经网络较传统机器学习方法在用于文本分类时更具优势,其中卷积神经网络具有优秀的分类性能和泛化能力。在此基础上,指出当前深度文本分类模型存在的不足,并对未来的研究方向进行展望。     

基于深度学习的行人再识别技术研究综述

行人再识别（Re-id）作为智能视频监控技术之一,其目的是在不同的摄像机视图中检索出指定身份的行人,因此该项技术对维护社会治安稳定具有重大研究意义。针对传统的手工特征方法难以应对行人Re-id任务中复杂的摄像机环境的问题,大量基于深度学习的行人Re-id方法被提出,极大地推动了行人Re-id技术的发展。为了深入了解基于深度学习的行人Re-id技术,整理和分析了大量相关文献,首先从图像、视频、跨模态这3个方面展开综述性介绍,将图像行人Re-id技术分为有监督和无监督两大类并分别进行概括;然后列举了部分相关数据集,并对近年来在图像和视频数据集上的一些算法进行性能的比较与分析;最后总结了行人Re-id技术的发展难点,并深入讨论了该技术未来可能的研究方向。