基于知识库实体增强BERT模型的中文命名实体识别

针对预训练模型BERT存在词汇信息缺乏的问题,在半监督实体增强最小均方差预训练模型的基础上提出了一种基于知识库实体增强BERT模型的中文命名实体识别模型OpenKG+Entity Enhanced BERT+CRF。首先,从中文通用百科知识库CN-DBPedia中下载文档并用Jieba中文分词抽取实体来扩充实体词典;然后,将词典中的实体嵌入到BERT中进行预训练,将训练得到的词向量输入到双向长短期记忆网络（BiLSTM）中提取特征;最后,经过条件随机场（CRF）修正后输出结果。在CLUENER 2020 和 MSRA数据集上进行模型验证,将所提模型分别与Entity Enhanced BERT Pre-training、BERT+BiLSTM、ERNIE和BiLSTM+CRF模型进行对比实验。实验结果表明,该模型的F1值在两个数据集上比四个对比模型分别提高了1.63个百分点和1.1个百分点、3.93个百分点和5.35个百分点、2.42个百分点和4.63个百分点以及6.79个百分点和7.55个百分点。可见,所提模型对命名实体识别的综合效果得到有效提升,F1值均优于对比模型。     

面向领域实体关系联合抽取的标注方法

针对传统实体关系标注方法存在效率低下、错误传播、实体冗余等问题,对于某些领域语料中存在“一实体（主实体）同时与多个实体之间存在重叠关系”的特点,提出一种面向领域实体关系联合抽取的新标注方法。首先,将主实体标注为一个固定标签,将文本中与主实体存在关系的其他每个实体标注为对应实体对间的关系类型,这种对实体和关系进行同步标注的方式节省了至少一半的标注成本;然后,直接对三元组进行建模,而不是分别对实体和关系进行建模,通过标签匹配和映射即可获取三元组数据,从而缓解重叠关系抽取、实体冗余以及错误传播等问题;最后,以作物病虫害领域为例进行实验,测试了来自转换器的双向编码器表征量（BERT）-双向长短期记忆网络（BiLSTM）+条件随机场（CRF）端到端模型在1 619条作物病虫害文档的数据集上的性能。实验结果表明该模型的F1值比基于传统标注方式+BERT模型的流水线方法提高了47.83个百分点;与基于新标注方式+BiLSTM+CRF模型、卷积神经网络（CNN）+BiLSTM+CRF等经典模型的联合学习方法相比,该模型的F1值分别提高了9.55个百分点和10.22个百分点,验证了所提标注方法和模型的有效性。     

融合注意力机制的药用植物文本命名实体识别

药用植物文本的命名实体识别对中医药领域的信息抽取和知识图谱构建起着重要作用。针对药用植物属性文本存在长序列语义稀疏的问题,提出一种基于注意力机制的双向长短时记忆网络(BiLSTM)和条件随机场(CRF)模型相结合的疾病实体识别方法（BiLSTM+ATT-CRF,BAC）。首先对药用植物属性文本进行预处理和半自动化标注构建数据集,并进行预训练得到低维词向量;然后将这些低维词向量输入BiLSTM网络中,得到双向语义依赖的特征向量;Attention层把注意力集中到与当前输出特征高度相关的信息上;最后通过条件随机场（CRF）算法获取最优的标签序列并解码输出。实验结果表明,BAC方法针对药用植物属性文本的长序列语义稀疏问题,疾病命名实体识别效果较传统方法更优。利用BAC方法训练好的模型从1680条文本句子中识别疾病命名实体,共抽取出1422个疾病实体。与药用植物名称进行匹配,共抽取出4316个药用植物治疗疾病的三元组数据。     

基于多任务学习的中文事件抽取联合模型

事件抽取旨在从非结构化的文本中提取人们感兴趣的信息,并以结构化的形式呈现给用户.当前,大多数中文事件抽取系统采用连续的管道模型,即：先识别事件触发词,后识别事件元素.其容易产生级联错误,且处于下游的任务无法将信息反馈至上游任务,辅助上游任务的识别.将事件抽取看作序列标注任务,构建了基于CRF多任务学习的中文事件抽取联合模型.针对仅基于CRF的事件抽取联合模型的缺陷进行了两个扩展：首先,采用分类训练策略解决联合模型中事件元素的多标签问题（即：当一个事件提及中包含多个事件时,同一个实体往往会在不同的事件中扮演不同的角色）.其次,由于处于同一事件大类下的事件子类,其事件元素存在高度的相互关联性.为此,提出采用多任务学习方法对各事件子类进行互增强的联合学习,进而有效缓解分类训练后的语料稀疏问题.在ACE 2005中文语料上的实验证明了该方法的有效性.     

基于SoftLexicon和注意力机制的中文因果关系抽取

针对现有中文因果关系抽取方法对因果事件边界难以识别和文本特征表示不充分的问题，该文提出了一种基于外部词汇信息和注意力机制的中文因果关系抽取模型BiLSTM-TWAM+CRF。该模型使用SoftLexicon方法引入外部词汇信息构建词集，解决了因果事件边界难以识别的问题。通过构建的双路关注模块TWAM(Two Way Attention Module),实现了从局部和全局两个角度充分刻画文本特征。实验结果表明，与当前中文因果关系抽取模型相比较，该文所提方法表现出更优的抽取效果。     

基于BERT的端到端中文篇章事件抽取

篇章级事件抽取研究从整篇文档中检测事件,识别出事件包含的元素并赋予每个元素特定的角色。该文针对限定领域的中文文档提出了基于BERT的端到端模型,在模型的元素和角色识别中依次引入前序层输出的事件类型以及实体嵌入表示,增强文本的事件、元素和角色关联表示,提高篇章中各事件所属元素的识别精度。在此基础上利用标题信息和事件五元组的嵌入式表示,实现主从事件的划分及元素融合。实验证明,该文提出的方法与现有工作相比具有明显的性能提升。     

金融领域事件因果关系发现及事理图谱构建与应用

事理图谱是研究事物动态发展的有效手段。针对金融因果事理图谱构建过程中数据集匮乏及构建方案缺少实践对比的现状,该文面向金融领域中发生频率较高的热点事件,研究构建事理图谱的方法。该文提出了一种新的金融领域事件论元的定义,制定了基于ATT+SBV结构的句法分析方案,针对信息抽取任务提出了面向金融因果事件的序列标注定义。该文同时提出了一种基于BERT+Bi-LSTM+CRF模型的信息抽取方案,并与不同神经网络模型进行对比研究。实验结果表明,该模型在信息抽取任务中,F₁值达到95.78%,准确性有较大提升。该文通过Neo4j图数据库存储并构建金融因果事理图谱,以事件关系可视化的方式揭示现实金融事件的演变逻辑规律,分析金融网络的风险传导扩散机制。     

基于情感分析和Transformer模型的微博谣言检测

针对微博文本以实现谣言检测为目标,深度挖掘微博正文内容的语义信息,并且着重强调用户在微博评论中体现的情感倾向性,提升谣言识别效果。为提高谣言检测的准确率,采取基于XLNet的词嵌入方法,使用Transformer的Encoder的模型提取微博正文内容的语义特征,并结合BiLSTM+Attention网络实现微博评论的情感特征的提取,将2种特征向量进行拼接融合,进一步丰富神经网络的输入特征,之后输出微博事件的分类结果,进而实现微博谣言检测。实验结果显示,该模型对谣言识别的正确率达到94.8%。     

基于藏文BERT的藏医药医学实体识别

藏医药文本字符嵌入对藏医药医学实体识别有着重要意义,但目前藏文缺少高质量的藏文语言模型。本文结合藏文结构特点使用普通藏文新闻文本训练基于音节的藏文BERT模型,并基于藏文BERT模型构建BERT-BiLSTM-CRF模型。该模型首先使用藏文BERT模型对藏医药文本字符嵌入进行学习,增强字符嵌入对藏文字符及其上下文信息的表示能力,然后使用BiLSTM层进一步抽取藏医药文本中字符之间的依赖关系,最后使用CRF层强化标注序列的合法性。实验结果表明,使用藏文BERT模型初始化藏医药文本字符嵌入有助于提高藏医药医学实体识别效果,F1值达96.18%。     

融合社会影响力和时间分布的微博关键事件抽取方法

针对现有微博事件抽取方法由于基于事件的内容特征,而忽略事件本身的社会属性与时间特征之间的关系,进而无法识别微博热点传播过程中关键事件的问题,提出了一种融合社会影响力和时间分布的微博关键事件抽取方法。首先通过建模社会影响力来刻画微博事件的重要性,然后融合微博事件演化过程中的时间特性以捕获事件在不同时间分布下的差异,最后抽取出不同时间分布下的微博关键事件。在真实数据集上的实验结果表明,所提方法能有效抽取微博热点中的关键事件,较随机选择、词频-逆文本频率（TF-IDF）、最小权重支配集以及度与聚集系数这四种方法在事件集的完整性指标ROUGE-1上在数据集1上分别提升了21%、18%、26%以及30%,在数据集2上分别提升了14%、2%、21%以及23%,抽取效果优于传统方法。     

基于图卷积网络的微博新闻故事线抽取方法

微博作为人们获取和传播新闻事件的主要平台,隐藏着丰富的事件信息。从微博数据中抽取故事线能为用户提供一种直观的方式来准确理解事件演化,然而微博数据稀疏和上下文缺乏的特点为故事线抽取带来了挑战。因此,通过两个连续的任务从微博数据中自动抽取故事线：1）基于微博传播影响力对事件进行建模,并提取出首要事件;2）基于事件特征建立异构事件图,提出事件图卷积网络（E-GCN）模型来提升对事件间隐式关系的学习能力,从而实现事件的故事分支预测并链接事件。在真实数据集上从故事分支和故事线两个角度进行评测,结果表明所提方法在故事分支生成测评中,相较于贝叶斯模型、斯坦纳树和故事森林在F1值上,在Dataset1上分别高出28个百分点、20个百分点和27个百分点,在Dataset2上分别高出19个百分点、12个百分点和22个百分点;而在故事线抽取评测中,相较于故事时间线、斯坦纳树和故事森林在正确的边准确率上,在Dataset1上分别高出33个百分点、23个百分点和17个百分点,在Dataset2上分别高出12个百分点、3个百分点和9个百分点。     

基于用户传播网络与消息内容融合的谣言检测模型

针对社交媒体平台上消息内容普遍很短、传播结构中存在大量空转发、用户角色与内容间的失配等条件约束,提出了一种基于传播网络中的用户属性信息和消息内容的谣言检测模型GMB_GMU。首先以用户属性为节点、传播链为边构建用户传播网络,并引入图注意力网络（GAT）得到用户属性的增强表示;同时,基于此用户传播网络,利用node2vec得到用户的结构表征,并使用互注意机制对其进行增强。另外,引入BERT建立源帖内容表征。最后,利用多模态门控单元（GMU）对用户属性表征、结构表征和源帖内容表征进行融合,从而得到消息的最终表征。实验结果表明,GMB_GMU模型在公开的Weibo数据上的准确率达到0.952,能够有效识别谣言事件,效果明显优于基于循环神经网络（RNN）和其他神经网络基准模型的传播算法。     

基于标签分层延深建模的企业画像构建方法

标签建模是标签体系建设和画像构建的基本任务。而传统标签建模方法存在模糊标签处理难、标签提取不合理,以及无法有效融合多模实体和多维关系等问题。针对以上问题提出了一种基于标签分层延深建模的企业画像构建方法EPLLD。首先,通过多源信息融合获取多特征信息,并对企业模糊标签（如批发、零售等行业中的不能完整概括企业特点的标签）进行统计和筛选;然后,建立专业领域词库进行特征拓展,并结合BERT语言模型进行多特征提取;其次,利用双向长短期记忆（BiLSTM）网络获取模糊标签延深结果;最后,通过TF-IDF、TextRank、隐含狄利克雷分布（LDA）模型提取关键词,从而实现标签的分层延深建模。在同一企业数据集上进行实验分析,结果表明在模糊标签延深任务中EPLLD的精确率达到91.11%,高于BiLSTM+Attention、BERT+Deep CNN等8种标签处理方法。     

面向政治领域的事理图谱构建

事理图谱是一种描述事件之间顺承、因果等关系的事理演化逻辑有向图,它蕴含了丰富的事件间关系,在各领域都具有重要的研究意义和应用价值.当前研究主要集中于公开域的事件抽取上,而在特定领域,如政治领域,因其事件类型和事件内容较为复杂,相关研究十分有限.该文旨在构建面向政治领域的事理图谱,针对政治事件抽取中存在的语料匮乏、标准缺...     

基于BiLSTM-CRF的社会突发事件研判方法

社会突发事件的分类和等级研判作为应急处置中的一环,其重要性不言而喻.然而,目前研究多数采用人工或规则的方法识别证据进行研判,由于社会突发事件构成的复杂性和语言描述的灵活性,这对于研判证据识别有很大局限性.该文参考"事件抽取"思想,将事件类型和研判证据作为事件中元素,以BiLSTM-CRF方法进行细粒度的识别,并将二者结...     

基于事件表示的机器阅读理解模型

要真正理解一段语篇,在阅读理解过程对原文主旨线索的把握是非常重要的。针对机器阅读理解中主旨线索类型的问题,提出了基于事件表示的机器阅读理解分析方法。首先,通过线索短语从阅读材料中抽取篇章事件图,其中包括事件的表示、事件要素的抽取和事件关系的抽取等;然后,综合考虑事件的时间要素、情感要素以及每个词在文档中的重要性,采用TextRank算法选出线索相关的事件;最后,依据所选出的线索事件构建问题的答案。在收集了339道线索类题组成的测试集上,实验结果表明所提方法在BLEU和CIDEr评价指标上与基于TextRank算法的句子排序方法相比均有所提升,具体来说,BLEU-4指标提升了4.1个百分点,CIDEr指标提升了9个百分点。     

Efficient multi-event monitoring using built-in search engines

Users of the internet often wish to follow certain news events, and the interests of these users often overlap. General search engines (GSEs) cannot be used to achieve this task due to incomplete coverage and lack of freshness. Instead, a broker is used to regularly query the built-in search engines (BSEs) of news and social media sites. Each user defines an event profile consisting of a set of query rules called event rules (ERs). To ensure that queries match the semantics of BSEs, ERs are transformed into a disjunctive normal form, and separated into conjunctive clauses (atomic event rules, AERs). It is slow to process all AERs on BSEs, and can violate query submission rate limits. Accordingly, the set of AERs is reduced to eliminate AERs that are duplicates, or logically contained by other AERs. Five types of event are selected for experimental comparison and analysis, including natural disasters, accident disasters, public health events, social security events, and negative events of public servants. Using 12 BSEs, 85 ERs for five types of events are defined by five users. Experimental comparison is conducted on three aspects: event rule reduction ratio, number of collected events, and that of related events. Experimental results in this paper show that event rule reduction effectively enhances the efficiency of crawling.     

融合用户自身因素与互动行为的微博用户影响力计算方法

由于微博高影响力用户在商品营销、社会舆论引导等方面起着重要的作用,因此挖掘高影响力用户成为了微博社交网络中的热点研究问题。针对微博用户影响力计算中存在交互行为与用户自身因素分析不全面的问题,提出了微博用户影响力计算方法MBUI-SFIM(Micro-blog userinfluence based on user’s self-factors and interaction computing model)。该方法考虑了微博用户直接影响力和间接影响力两个方面:在用户直接影响力计算中,通过对用户的自身因素如微博用户粉丝数、用户活跃度、近期微博质量等的分析,计算出用户的初始影响力,然后分析用户互动行为如用户的微博可见率、微博用户互动系数,计算出用户传播能力,最后将初始影响力与用户传播能力相结合,基于改进PageRank算法计算出用户直接影响力;在用户间接影响力计算中,通过对用户网络图连接结构进行分析,根据不相邻用户连接路径的不同,将用户间接影响具体分为简单路径、重复路径、复杂路径3种情况进行讨论,从而计算出用户间接影响力。实验结果表明,相比PageRank算法和MR-UIRank算法,所提算法在用户排名准确性上分别提高了14.8%和8.3%。