| 基于Transformer与HowNet义原知识融合的双驱动语义蕴含识别 |
| |
| 作者姓名： | 陈帆 黄炎 张新访 |
| |
| 作者单位： | 华中科技大学 机械科学与工程学院, 武汉 430074;华中科技大学 人工智能与自动化学院, 武汉 430074 |
| |
| 基金项目： | 国家重点研发计划（2021YFB2012202）;湖北省科技重大专项（2020AEA011）;湖北省重点研发计划（2020BAB100,2021BAA171,2021BAA038） |
| |
| 摘 要： | 语义蕴含识别旨在检测和判断两个语句的语义是否一致,以及是否存在蕴含关系.然而现有方法通常面临中文同义词、一词多义现象困扰和长文本难理解的挑战.针对上述问题,本文提出了一种基于Transformer和HowNet义原知识融合的双驱动中文语义蕴含识别方法,首先通过Transformer对中文语句内部结构语义信息进行多层次编码和数据驱动,并引入外部知识库HowNet进行知识驱动建模词汇之间的义原知识关联,然后利用soft-attention进行交互注意力计算并与义原矩阵实现知识融合,最后用BiLSTM进一步编码文本概念层语义信息并推理判别语义一致性和蕴含关系.本文所提出的方法通过引入HowNet义原知识手段解决多义词及同义词困扰,通过Transformer策略解决长文本挑战问题.在BQ、AFQMC、PAWSX等金融和多语义释义对数据集上的实验结果表明,与DSSM、MwAN、DRCN等轻量化模型以及ERNIE等预训练模型相比,该模型不仅可以有效提升中文语义蕴含识别的准确率(相比DSSM模型提升2.19%),控制模型的参数量(16 M),还能适应50字及以上的长文本蕴含识别场景.
|
| 关 键 词： | 义原知识融合 Transformer HowNet 蕴含识别 |
| 收稿时间： | 2022-10-02 |
| 修稿时间： | 2022-11-04 |
|
| 点击此处可从《计算机系统应用》浏览原始摘要信息 |
|
点击此处可从《计算机系统应用》下载免费的PDF全文 |
|
