基于BiLSTM-CRF的军事命名实体识别方法

针对军事领域的命名实体识别问题,提出一种基于BiLSTM-CRF的实体识别方法,旨在识别军事文本中的人名、军用地名、军事机构名、武器装备、设施目标、部队番号等军事命名实体。使用词嵌入方法自动学习中文字符的分布式表示作为模型输入;利用双向长短时记忆(Bi-directional Long-Short Term Memory,BiLSTM)神经网络处理输入的字符向量序列,统筹上下文语义学习任务特征;将学习到的特征接入线性链式条件随机场(CRF)进行军事命名实体标注,获得命名实体识别结果并输出。在人工构建数据集上的实验结果表明,提出的方法能够很好地完成军事命名实体识别任务。     

基于多头自注意力机制的基数估计研究

基数估计是数据库查询中关键的一步,数据库的查询优化器会根据基数估计的预期结果来从多个物理执行计划中选择最终要执行的计划。针对传统的基数估计方法没有考虑数据各个列之间可能存在的逻辑关系,在数据量过大时估计准确性较低的问题,本文提出了一种基于神经网络的多头注意力机制的基数估计模型,利用数据列之间的逻辑关系提高SQL特征关系的提取效率,通过针对语句的不同组成部分,采用多种细粒度的编码方式有效提取数据之间的逻辑特征;利用多头自注意力机制对特征数据进行加权计算,提高模型的预判准确性。在IMDb数据集上的实验结果表明,该模型可以有效提高基数估计的准确性。     

融合自注意力和实体类型知识的实体关系联合抽取模型

从非结构化文本中抽取实体关系三元组是自然语言处理中的主要任务形式之一。目前主流的方法是采用联合式抽取,能够在训练过程中自动捕捉到实体与关系间的依赖知识,提高了实体和关系的抽取效果。但这些方法忽略了实体的类型知识,导致大量的冗余计算和错误结果的产生。鉴于此,文中提出一种融合注意力和实体类型知识的实体关系联合抽取方法。首先,采用预训练模型BERT作为编码器得到句子中各字符的向量表示,再经双向LSTM层处理得到最终的语义表示;其次,基于表示层的结果完成头、尾实体的识别;接着,通过融合不同头实体的语义信息到句子表示中,实现头实体类型约束下的潜在语义关系发现;最后,将头实体和关系分别输入自注意力模块识别出对应尾实体,得到实体关系三元组。通过在公开数据集NYT和WebNLG上的大量实验表明：文中所提模型在实体关系联合抽取任务中的F1值达到了93.2%和93.3%,与当前主流模型相比提升显著。     

基于Bert和BiLSTM-CRF的APT攻击实体识别及对齐研究

针对高级可持续威胁（APT）分析报告未被有效利用,缺乏自动化方法生成结构化知识并形成黑客组织特征画像问题,提出一种融合实体识别和实体对齐的APT攻击知识自动抽取方法。首先,结合APT攻击特点设计12种实体类别;其次,构建融合Bert、双向长短期记忆（BiLSTM）网络和条件随机场（CRF）的APT攻击实体识别模型,利用Bert预训练标注语料,BiLSTM学习上下文语义信息,注意力机制突出关键特征,再由CRF识别实体;最后,结合实体对齐方法来生成不同APT组织的结构化知识。实验结果表明,所提方法能有效识别APT攻击实体,其精确率、召回率和F1值分别为0.929 6、0.873 3和0.900 6,均优于现有模型。此外,所提方法能在少量样本标注的情况下自动抽取高级可持续威胁知识,通过实体对齐能生成常见APT组织的结构化特征画像,从而为后续APT攻击知识图谱构建和攻击溯源提供支撑。     

基于层次自注意力的高效场景文本识别

在深度学习技术的发展驱动下,智慧应用场景对文本识别任务提出了更高的要求。现有方法更加侧重构建强大的视觉特征提取网络,忽略了文本序列特征的提取能力。针对该问题,提出了一种基于层次自注意力的场景文本识别网络。通过融合卷积和自注意力可以建立并增强文本序列信息与视觉感知信息间的联系。由于视觉特征和序列特征在全局空间中的充分交互,有效地减小了复杂背景噪声对识别精度的影响,实现了对规则和不规则场景文本的鲁棒性预测。实验结果表明,所提方法在各数据集上均表现出竞争力。尤其是在CUTE数据集上可以实现81.4%,6.24 ms的最佳精度和速度,具备一定的应用潜力。     

基于自注意力的BiGRU和SVM的观点句识别

现有的观点句识别方法大多依赖于人工的特征选择,并且提取的数据稀疏.针对这些问题,提出一种基于自注意力双向门控循环单元(BiGRU)和支持向量机(SVM)相结合的方法.首先,将词向量输入到BiGRU中,引入自注意力机制,为BiGRU的隐藏层状态提供求和权重,使之与隐藏层状态相加权,将句子语义的不同方面分别提取到多个向量表...     

基于XLNet-BiLSTM的中文电子病历命名实体识别方法

中文临床电子病历命名实体识别是实现智慧医疗的基本任务之一.本文针对传统的词向量模型文本语义表示不充分,以及循环神经网络(RNN)模型无法解决长时间依赖等问题,提出一个基于XLNet的中文临床电子病历命名实体识别模型XLNet-BiLSTM-MHA-CRF,将XLNet预训练语言模型作为嵌入层,对病历文本进行向量化表示,解决一词多义等问题;利用双向长短时记忆网络(BiLSTM)门控制单元获取句子的前向和后向语义特征信息,将特征序列输入到多头注意力层(multi-head attention,MHA);利用MHA获得特征序列不同子空间表示的信息,增强上下文语义的关联性,同时剔除噪声;最后输入条件随机场CRF识别全局最优序列.实验结果表明,XLNet-BiLSTM-Attention-CRF模型在CCKS-2017命名实体识别数据集上取得了良好的效果.     

基于深度学习的电力安全作业实体识别方法

针对电力现场作业、设备使用安全等大量文本采用非结构化的形式制定、存储,信息自动挖掘难以实现的问题,提出一种融合注意力机制与ALBERT-BiGRU-CRF的方法.首先将ALBERT作为文本的字向量语义编码层,其次多头注意力机制融合到BiGRU网络模型中作为字符实体信息标签预测层,最终CRF作为全局标签优化层.该方法能够准确捕获专业领域字符间的依赖权重、语境、上下文语义关联等全方位特征.电力安全作业文本实体识别实验结果表明,融合注意力机制与深度学习识别方法比目前常用的算法模型识别F1值高3.05％～11.62％,具有较高准确率,识别效果较好.     

基于视觉自注意力模型与轨迹滤波器的篮球战术识别

通过机器学习分析球员轨迹数据获得进攻或防守战术,是篮球视频内容理解的关键组成部分。传统机器学习方法需要人为设定特征变量,灵活性大大降低,因此如何自动获取可用于战术识别的特征信息成为关键问题。为此,该文基于美国职业篮球联赛(NBA)比赛中球员轨迹数据设计了一个篮球战术识别模型(TacViT),该模型以视觉自注意力模型(ViT)作为主干网络,利用多头注意力模块提取丰富的全局轨迹特征信息,同时并入轨迹滤波器来加强球场线与球员轨迹之间的特征信息交互,增强球员位置特征表示,其中轨迹滤波器以对数线性复杂度学习频域中的长期空间相关性。该文将运动视觉系统(SportVU)的序列数据转化为轨迹图,自建篮球战术数据集(PlayersTrack),在该数据集上的实验表明,TacViT的准确率达到了82.5%,相对未做更改的视觉自注意力S模型 (ViT-S),精度上提升了16.7%。     

基于时空自注意力转换网络的群组行为识别

个体间关系信息的获取是群组行为识别中关键问题.为了获取更加丰富的关系信息,本文提出了一种时空自注意力转换网络(Spatio-Temporal Transformer Network).空间自注意力转换模块可以同时处理群组中的所有个体,包括其外观特征和位置特征,以便提取个体间空间关系信息.使用时序自注意力转换模块进行时序...     

基于多头注意力机制的模型层融合维度情感识别方法

近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合.针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多...     

结合ERNIE2.0的医疗中文命名实体识别模型

针对静态词向量存在无法表示多义词,以及传统深度学习模型特征提取能力不足等问题,提出了结合ERNIE2.0(Enhanced language Representation with Informative Entities 2.0)的医疗中文命名实体识别模型。ERNIE2.0模型通过结合词的上下文具体语境进行动态学习,得到词的动态语义表征,解决了一词多义问题。使用BiSRU模型提取医疗文本高维全局序列特征,软注意力机制用于计算每个词的权重大小,由条件随机场输出命名实体的序列标记结果。在标准化数据集上的实验表明,ERNIE2.0-BiSRU-AT-CRF模型的F1值达到了86.74%,优于实验对比的其他模型,证明了模型的有效性。     

基于自注意力卷积神经网络的实体关系抽取

在自然语言处理解领域中,实体关系抽取作为信息抽取中的一个重要分支,旨在从自然文本中提取出两个实体之间的语义关系。大多数研究工作都是基于NLP系统的特征,特征提取工程和预处理过程十分冗杂,并且由LTP工具提取出来的特征会在模型中迭代而产生错误传播。为了避免对NLP系统的滥用,提出一种基于端到端的自注意力卷积神经网络模型来提取实体对之间的语义关系。实验结果表明,该方法在SemEval-2010 Task 8数据集上的F₁值提高了约1.3%。     

基于融合文本与评分的多头注意力推荐算法

基于协同过滤模型一直被数据的稀疏性问题限制了推荐效果,诸多研究利用深度模型去挖掘评论文本中的抽象特征,但却忽略协同过滤中矩阵分解的隐向量特征。为解决上述问题,文中提出一种融合文本与评分的多头注意力推荐算法模型MTS,将矩阵分解的隐向量特征作为多头注意力的key与CNN抽取的评论特征相结合,并计算用户与物品的相似矩阵,提取用户物品间的相互关联,最终输入FM实现特征融合并预测评分。实验表明,该模型与多个代表模型相比MAE都有较大提升,MAE的误差最大降低了22.17%。     

结合时间注意力机制和单模态标签自动生成策略的自监督多模态情感识别

大多数多模态情感识别方法旨在寻求一种有效的融合机制,构建异构模态的特征,从而学习到具有语义一致性的特征表示。然而,这些方法通常忽略了模态间情感语义的差异性信息。为解决这一问题,提出了一种多任务学习框架,联合训练1个多模态任务和3个单模态任务,分别学习多模态特征间的情感语义一致性信息和各个模态所含情感语义的差异性信息。首先,为了学习情感语义一致性信息,提出了一种基于多层循环神经网络的时间注意力机制(TAM),通过赋予时间序列特征向量不同的权重来描述情感特征的贡献度。然后,针对多模态融合,在语义空间进行了逐语义维度的细粒度特征融合。其次,为了有效学习各个模态所含情感语义的差异性信息,提出了一种基于模态间特征向量相似度的自监督单模态标签自动生成策略(ULAG)。通过在CMU-MOSI, CMU-MOSEI, CH-SIMS 3个数据集上的大量实验结果证实,提出的TAM-ULAG模型具有很强的竞争力：在分类指标($ Ac{c_2} $, $ {F_1} $)和回归指标(MAE, Corr)上与基准模型的指标相比均有所提升;对于二分类识别准确率,在CMU-MOSI和CMU-MOSEI数据集上分别为87.2%和85.8%,而在CH-SIMS数据集上达到81.47%。这些研究结果表明, 同时学习多模态间的情感语义一致性信息和各模态情感语义的差异性信息,有助于提高自监督多模态情感识别方法的性能。     

融合多头注意力机制和BiLSTM的电商评论情感分析研究

针对电商评论数据缺乏深层次的情感分析和语义知识关联,不利于系统挖掘潜在的消费情感和客户满意度信息问题,以京东电商评论数据为例,提出一种融合多头注意力机制和双向长短时记忆网络模型(bi-directional long short-term memory,BiLSTM)的电商评论情感分析模型。首先,通过词嵌入将文本数据转化为句向量;其次,构建融合多头注意力机制的BiLSTM模型,利用BiLSTM捕获长距离依赖关系,利用Transformer突出全局关键特征;最后,构建分类器实现电商评论的情感分析。实验结果表明,文章提出方法优于现有的机器学习和深度学习方法,其F₁值为0.927 6。同时,通过详细的对比实验证明了该方法能实现评论文本情感特征的细粒度提取,并能在少样本标注的情况下取得更好的准确率,具有良好的鲁棒性和准确性。     

基于特征融合和自注意力机制的水下目标识别

海洋水声信道具有时变、空变的特征,被动式声纳接收到的目标信号复杂多变,传统水下目标识别方法难以满足当前任务要求。提出基于注意力机制改进的多特征融合水下目标识别框架,在典型声学特征基础上,通过引入对比学习无监督特征加强目标数据的特征表达,使用多维自注意力机制,分别在特征维度和时间维度高效完成深层次目标弱信息特征抽取,显著提升识别效果。通过对真实录制的水声数据集进行实验对比,证明了所提出方法的有效性。     

基于全局金字塔和注意力机制的双流网络结构

人体行为识别是计算机视觉中最具吸引力和实践性的研究领域之一,近年来,双流卷积神经网络因其可以同时捕获行为的空间信息和运动信息来进行人体行为的识别而越发的流行。然而,现有的基于双流卷积神经网络的行为识别方法的卷积方式无法全面的捕获相邻光流帧之间的运动信息和边缘的表观信息。为了解决这一问题,提出了一种利用全局特征金字塔和空间注意模块的来识别人类行为的双流网络结构。首先,在时间流提出了一个主要由卷积编码器和全局多头自注意（global multi-head self attention,GMSA）机制组成的全局特征金字塔结构.较小的卷积核在早期阶段捕获低维度特性,而较大的卷积核在卷积编码器后捕获其高维特性。而全局多头注意力则捕获全局的运动信息。其次,设计了一个空间注意模块。通过使用平均池化操作来聚合特征映射的空间信息来生成一维映射来表示空间上的平均合并特征,然后经过3*3的卷积核进行卷积来对RGB图像的边缘表观信息进行提取。最后,利用长短期记忆（long short-term memory, LSTM）来提取密集光流中的时间序列信息。在数据集UCF101、HMDB51上进行实验,实验表明,与...     

基于改进自注意力神经网络的X光安检识别

针对X光安检图像中存在背景信息复杂以及物体相互遮挡的情况,以YOLOv5m模型为基础,改进自注意力机制,提出新的视觉自注意力机制与卷积模型结合的叠加混合模型YOLOv5m-CRCS。该网络在视觉自注意力机制中,加入相对位置编码,引入高效变体卷积(TVConv)和动态归一化(DTN),增强图像特征中的全局语义信息和位置信息。在网络特征融合阶段将坐标注意力(CA)与改进后的自注意力机制结合,进一步加强输出特征中的位置关系信息,同时引入改进的双自注意力模块,将残差卷积模块(CSPLayer)与双自注意力叠加混合,使得每个输出在原有特征的基础上增加了全局特征的相关性。在X光安检数据集上的实验结果表明,与原始目标检测网络相比,所提出模型的识别精度提高了4.72%,明显降低了由于X光安检图像中的背景信息复杂、相互遮挡而出现的漏检情况。     

增强实体边界检测的医学命名实体识别

针对中文电子病历报告中专业词汇较多导致的边界识别困难问题,文章提出了一种增强实体边界检测方法来更好地识别医学命名实体,即以实体边界预测为辅助任务,增强模型对实体边界的检测能力,提高模型性能。该文从两个方面增强了实体边界,一是通过在BERT与训练语言模型底层添加自制医学词典,增强模型对词汇边界信息的学习;二是以实体头尾预测作为辅助任务,进一步增强模型对实体边界的识别能力。在1个医学领域的公共数据集上进行了实验,相较于基线模型,F1值得到了1.96%的提升,说明该方法能有效检测实体边界,提升模型性能,验证了该模型的在医学领域的适用性。