融合RACNN和BiLSTM的金融领域事件隐式因果关系抽取

金融领域的文本信息量大、价值高,尤其是其中的隐式因果关系事件包含着巨大的潜在利用价值。对金融领域文本进行隐式因果关系分析,挖掘隐式因果关系事件中隐含的重要信息,了解金融领域事件更深层的演化逻辑,进而构建金融领域知识库,对金融风险控制、风险预警等具有重要意义。为了提高金融领域中隐式因果关系事件识别的准确度,从特征挖掘的角度入手,提出了一种基于自注意力机制的融合循环注意力卷积神经网络(Recurrent Attention Convolution Neural Network, RACNN)和双向长短时记忆网络(Bidirectional Long Short-Term Memory, BiLSTM)的隐式因果关系抽取方法。该方法结合了基于迭代反馈机制能提取更重要文本局部特征的RACNN、能更好地提取文本全局特征的BiLSTM以及能更深入地挖掘融合特征语义信息的自注意力机制,在SemEval-2010 Task 8数据集和金融领域数据集上进行了实验,结果表明,评估指标F1值分别达到了72.98%和75.74%,均显著优于其他对比模型。     

一种无指导的隐式篇章关系推理方法研究

该文提出一种基于信息检索的无指导方法,用于推理隐式篇章片段之间的语义连接关系,如因果关系、转折关系等。该文基于Google搜索引擎,抽取在句子结构以及语义层面上均与原隐式片段相似的显式片段,通过分析和识别相关显式关系来间接推理隐式关系。主要包括以下三个模块 构建高质量查询关键词并抽取候选显式关系;结合三种隐式关系推理模型(相似度、置信度、关联度),综合考察查询关键词以及候选关系的质量;基于排序学习的方法,统计高质量候选关系中的类别分布以实现最终隐式关系的推理。该文采用Penn Discourse TreeBank 2.0篇章语料库,最终方法精确率达到54.3%,与有指导的方法相比,提高了约14.3%。     

基于双层模型的维吾尔语突发事件因果关系抽取

针对传统事件因果关系识别覆盖范围小和人工标注代价高等不足,提出了一种基于双层模型的维吾尔语突发事件因果关系抽取方法. 该方法采用分治思想,将因果关系抽取问题转化为对事件序列的两次模式识别标注. 采用Bootstrapping算法,在第一次模式识别时,标注因果关系的语义角色,并将标注的语义角色标签作为新的特征传递给第二层模式识别,用于因果关系边界标注. 该方法用于维吾尔语突发事件显式因果关系的抽取准确率为85.39%,召回率为77.53%,证明了本文提出的方法在维吾尔语主题突发事件因果关系抽取上的有效性和实用性.     

基于层叠条件随机场的事件因果关系抽取

传统的事件因果关系抽取方法只能覆盖文本中的部分显式因果关系。针对这种不足,提出一种基于层叠条件随机场模型的事件因果关系抽取方法。该方法将事件因果关系的抽取问题转化为对事件序列的标注问题,采用层叠(两层)条件随机场标注出事件之间的因果关系。第一层条件随机场模型用于标注事件在因果关系中的语义角色,标注结果传递给第二层条件随机场模型用于识别因果关系的边界。实验表明,本文方法不仅可以覆盖文本中的各类显式因果关系,并且均能取得较好的抽取效果,总体抽取效果的F1值达到85。3%。     

基于双层CNN-BiGRU-CRF的事件因果关系抽取

针对现有事件因果关系抽取方法关系边界识别能力弱和文本语义表征不足的问题,提出一种基于双层CNN-BiGRU-CRF深度学习模型的事件因果关系抽取方法。将因果关系抽取任务转换为两次序列标注任务分别由两层CNN-BiGRU-CRF模型完成,上层模型用于识别事件因果关系语义角色词,其标注结果作为特征输入下层模型划分因果关系边界。在每层模型中,采用突发事件样本数据对BERT模型进行微调,形成文本表示模型以获取语义特征向量矩阵,利用卷积神经网络和双向门控循环单元分别提取局部和全局深层特征,并将上述特征在每个时间序列步进行线性加权融合以增强语义表征能力,最终基于残差思想将高区分度特征输入CRF模型解码完成序列标注任务。在中文突发事件语料集上的实验结果表明,与BiLSTM-Att-规则特征、GAN-BiGRU-CRF等因果关系抽取方法相比,该方法的事件因果关系抽取效果更好,F值达到91.81%,能有效实现事件因果关系的准确抽取。     

维吾尔语评论文本主题抽取研究

主题抽取是意见挖掘的核心任务之一。该文面向维吾尔语评论文本, 针对显式主题和隐式主题, 提出了一种陈述级的主题抽取方法。该方法采用GLR-Cascaded LDA模型抽取段落级的局部主题、篇章级的全局主题, 建立全局—局部主题关系, 并将这些关系对应到每个意见陈述中; 然后运用Bootstrapping和模式匹配的方法进行显式陈述的主题抽取; 最后使用隐式主题推断算法推断隐式陈述的主题。主题抽取的最终目标是为每个意见陈述建立意见陈述—主题四元组。实验结果证明了该方法在主题抽取任务中的有效性。     

基于异核卷积双注意机制的立场检测研究

针对当前立场检测任务中目标短语在文本中隐式出现导致分类效果差的问题,提出一种基于异核卷积双注意机制（HCDAM）的立场检测模型。采用三段式策略,为提高目标短语和文本的特征表示能力,采用Bert预训练模型获得基于字符级的包含上下文的词向量表示;为提高隐式目标短语的抽取能力,采取异核卷积注意模式获取含不同位置和语义信息的卷积特征;通过再注意力机制利用显隐式目标短语对文本进行立场信息特征抽取,通过softmax分类器进行分类。基于NLPCC语料的实验结果表明,通过采用异核卷积双注意策略,相比Bert-Condition-CNN模型,在总数据集上平均分类准确率提高了0.108,在5个话题上分类准确率分别提高了0.146、0.046、0.133、0.047、0.056。     

基于Siamese-BERT-wwm模型的航空安全事故因果事件的同指消解

针对航空安全事故因果事件的抽取结果复杂难以快速确定事故发展过程的问题,提出一种将孪生神经网络(Siamese Network)与BERT-wwm模型相结合的因果事件同指消解方法。该方法在孪生神经网络中将事件句分别输入到相同权重的两个BERT-wwm模型,经平均池化得到句子级语义向量,再通过Softmax分类器进行同指判断并消解,在同指消解的基础上采用逆遍历去冗余,实现了航空安全事故因果链的构建。实验结果表明,该方法有效提高了航空安全事故因果关系的可解释性,为多事故的关联分析奠定了基础。     

基于深度学习的事件因果关系抽取综述

因果关系抽取是自然语言处理（NLP）中的一种关系抽取任务,它通过构造事件图来挖掘文本中具有因果关系的事件对,已经在金融、安全、生物等领域的应用中发挥重要作用。首先,介绍了事件抽取和因果关系等概念,并介绍了因果关系抽取主流方法的演变和常用数据集;然后,列举了当前主流的因果关系抽取模型,并且在分别对基于流水线的模型和联合抽取模型进行详细分析的基础上,对比了各种方法和模型的优缺点;此外,对各模型的实验性能及相关实验数据进行了归纳分析;最后,给出了当前的因果关系抽取的研究难点和未来的重点研究方向。     

中文篇章级句间语义关系识别

篇章句间关系识别(Discourse Relation Recognition)是篇章分析的重要内容,该文对中文篇章句间关系识别任务进行初步探索,包括显式篇章句间关系识别与隐式篇章句间关系识别两类任务。针对显式篇章句间关系,我们提出基于关联词规则的方法进行识别,取得了很好的效果;针对隐式篇章句间关系,我们抽取词汇、句法、语义等特征,采用有指导模型进行识别。该文的分析和实验结果为后续研究提供了参考和基本对照系统。     

基于贝叶斯网络的民航突发事件因果关系分析方法研究

针对民航突发事件因果关系无法有效评估与关联分析的问题,提出了一种基于贝叶斯网络的民航突发事件因果关系分析方法。在民航突发事件应急管理领域本体的基础上引入贝叶斯理论,首先通过规则设计实现了领域本体中概念、关系与实例的贝叶斯网络转换,然后采用贝叶斯网络知识合成算法E-IPFP构建贝叶斯网络节点的条件概率表,并通过消息传递机制计算父子节点间的概率关系,获得民航突发事件因果关系的概率分布。采用民航突发事件应急管理领域本体和世界民航事故调查跟踪报告中的案例作为实验数据,给出了民航突发事件因果间关系的分析,为基于大数据的突发事件关联分析与推理提供了方法支持。     

基于事件动作方向的隐式因果关系抽取方法

抽取事件之间的因果关系能够应用于自动问答、知识提取、常识推理等方面.隐式因果关系由于缺乏明显的词汇特征和中文复杂的句法结构,使得其抽取极为困难,已成为当前研究的难点.相比而言,显示因果关系的抽取比较容易、准确率高,且因果关系事件之间的逻辑关系稳定.为此,文中提出了一种原创的方法,首先通过对抽取的显示因果事件对进行事件动...     

基于故障树的事故分类方法

故障树的割集分析技术是判定事故原因的常用技术,然而,基于割集的技术仅能通过基本事件的组合判定事故的发生,无法分析事故演化过程的中间事件.本文针对事故分析报告描述的事故成因机理,结合文本分类和故障树分析技术,提出一种面向故障树的事故报告分类方法,实现面向事故演化路径的事故报告的因果定位,能够自动关联事故报告与故障树结构演化信息,实现借鉴专家经验的事故因果演化的精确分析.     

基于 GBDT 的铁路事故类型预测及成因分析

运用数据挖掘技术进行铁路事故类型预测及成因分析, 对于建立铁路事故预警机制具有重要意义. 为此, 本文提出一种基于梯度提升决策树(Grandient boosting decision tree, GBDT)的铁路事故类型预测及成因分析算法. 针对铁路事故记录数据缺失的问题, 提出一种基于属性分布概率的补全算法, 最大程度保持原有数据分布, 从而降低数据缺失对事故类型预测造成的影响. 针对铁路事故记录数据类别失衡的问题, 提出一种集成的GBDT模型, 完成对事故类型的鲁棒性预测. 在此基础上, 根据GBDT预测模型中特征重要度排序, 实现事故成因分析. 通过在开放数据库上进行实验, 验证了本文模型的有效性.     

面向故障间格兰杰因果发现的霍克斯过程研究

现有因果关系建模方法应用于故障事件序列时,难以有效引入因果先验,使得算法结果过于稠密,同时在稀疏、时间精度低的数据上因果关系可靠性较差。将不同故障类型事件的因果关系建模为基于霍克斯过程的格兰杰因果关系,提出一种面向故障序列的格兰杰因果发现的霍克斯过程模型。将霍克斯过程拓展到离散时间域,解决低时间精度数据的建模问题,并通过构造基于贝叶斯信息准则的目标函数,保证因果结构稀疏性,进而利用基于EM算法与爬山法的迭代优化算法引入因果先验,提高模型的可靠性。实验结果表明,该方法在由不同参数生成的模拟数据上均表现突出,且在两个通信网络的真实数据集中,F1评分相比ADM4、MLE-SGL、TSSO和PCMCI算法提升15.18%以上。而通过引入根因标注和因果依赖性先验,算法的F1评分进一步提升22.43%以上,验证了引入先验的有效性。     

Automatic determination of traffic accidents based on KMC-based attribute weighting

In this study, the traffic accidents recognizing risk factors related to the environmental (climatological) conditions that are associated with motor vehicles accidents on the Konya-Afyonkarahisar highway with the aid of Geographical Information Systems (GIS) have been determined using the combination of K-means clustering (KMC)-based attribute weighting (KMCAW) and classifier algorithms including artificial neural network (ANN) and adaptive network-based fuzzy inference system (ANFIS). The dynamic segmentation process in ArcGIS9.0 from the traffic accident reports recorded by District Traffic Agency has identified the locations of the motor vehicle accidents. The attributes obtained from this system are day, temperature, humidity, weather conditions, and month of occurred traffic accidents. The traffic accident dataset comprises five attributes (day, temperature, humidity, weather conditions, and month of occurred traffic accidents) and 358 observations including 179 without accident and 179 with accident. The proposed comprises two stages. In the first stage, the all attributes of dataset have been weighted using KMCAW method. The aims of this weighting method are both to increase the classification performance of used classifier algorithm and to transform from linearly non-separable traffic accidents dataset to a linearly separable dataset. In the second stage, after weighting process, ANN and ANFIS classifier algorithms have been separately used to determine the case of traffic accidents as with accident or without accident. In order to evaluate the performance of proposed method, the classification accuracy, sensitivity, specificity and area under the ROC (Receiver Operating Characteristic) curves (AUC) values have been used. While ANN and ANFIS classifiers obtained the overall prediction accuracies of 53.93 and 38.76%, respectively, the combination of KMCAW and ANN and the combination of KMCAW and ANFIS achieved the overall prediction accuracies of 74.15 and 55.06% on the prediction of traffic accidents. The experimental results have demonstrated that the proposed attribute weighting method called KMCAW is a robust and effective data pre-processing method in the prediction of traffic accidents on Konya-Afyonkarahisar highway in Turkey.     

基于联合学习的生物医学因果关系抽取

生物医学因果关系抽取是BioCreative社区提出的一项评测任务,旨在挖掘生物医学实体间丰富的语义关系,并用生物医学表征语言(biological expression language, BEL)来表示。与传统的实体关系抽取不同,该任务不仅包含实体间因果关系的抽取,还包含实体功能的识别。此前已经提出了一些该任务的解决方法,但均未考虑这两个子任务间的关联性。该文基于多任务的思想,提出一种二元关系抽取和一元功能识别共同决策的联合学习模式。首先两个任务共享底层向量表示,然后利用长短期记忆(long short-term memory, LSTM)网络和门控机制学习两个任务之间的交互表示,最后分别进行分类预测。实验结果表明,该方法能够融合两个子任务的信息,在2015 BC-V测试集上获得了45.3%的F值。     

A Multiobjective Particle Swarm Optimization-Based Partial Classification for Accident Severity Analysis

Reducing accident severity is an effective way to improve road safety. In this article, a novel multiobjective particle swarm optimization (MOPSO)-based partial classification method is employed to identify the contributing factors that impact accident severity. The accident dataset contains only a few fatal accidents but the patterns of fatal accidents are of great interest to traffic agencies. Partial classification can deal with the unbalanced dataset by producing rules for each class. The rules can be evaluated by several conflicting criteria such as accuracy and comprehensibility. A MOPSO is applied to discover a set of Pareto optimal rules. The accident data of Beijing between 2008 and 2010 are used to build the model. The proposed approach is compared with several rule-learning algorithms. The results show that the proposed approach can generate a set of accurate and comprehensible rules, which can indicate the relationship between risk factors and accident severity.