基于深度学习的实体关系抽取方法研究 |
| |
引用本文: | 排日旦·阿布都热依木,吐尔地·托合提,艾斯卡尔·艾木都拉.基于深度学习的实体关系抽取方法研究[J].计算机工程与科学,2023(5):895-902. |
| |
作者姓名: | 排日旦·阿布都热依木 吐尔地·托合提 艾斯卡尔·艾木都拉 |
| |
作者单位: | 1. 新疆大学信息科学与工程学院;2. 新疆信号检测与处理重点实验室 |
| |
基金项目: | 国家自然科学基金(62166042,U2003207);;新疆维吾尔自治区自然科学基金(2021D01C076); |
| |
摘 要: | 常用的神经网络,如卷积神经网络(CNN)和循环神经网络(RNN),在关系抽取任务中都表现出了很不错的效果。然而,卷积神经网络擅长捕获局部特征,但不太适合处理序列特征;传统的循环神经网络虽然可以有效提取长距离词之间的特征,但容易出现梯度消失或梯度爆炸问题。针对这些问题,提出了一种结合BiLSTM-CNN-Attention的混合神经网络模型。BiLSTM和CNN的结合使它们优劣互补,而Attention的引入能够突出实体间关系词在整个句子中的重要性。并且,在词嵌入层使用拼接词向量,克服了词向量单一表示的问题。实验结果表明,相比word2vec词向量,拼接词向量能够获取语义更丰富的词向量,使词向量的健壮性更强。与BiLSTM-CNN、CNN-Attention和BiLSTM-Attention模型相比,BiLSTM-CNN-Attention混合模型的准确率和F1值都有所提升。
|
关 键 词: | 关系抽取 卷积神经网络 循环神经网络 注意力机制 混合模型 拼接词向量 |
|