基于BERT提示的矿产资源管理规则检测方法研究 |
| |
引用本文: | 胡容波,张广发,王雅雯,方金云.基于BERT提示的矿产资源管理规则检测方法研究[J].高技术通讯,2023(11):1136-1145. |
| |
作者姓名: | 胡容波 张广发 王雅雯 方金云 |
| |
作者单位: | 1. 中国科学院计算技术研究所;2. 自然资源部信息中心;3. 中国科学院大学 |
| |
基金项目: | 北京科技攻关项目(A201908230146);;河北省重点研发计划(20310106D)资助项目; |
| |
摘 要: | 政策文本中管理规则检测是一个新兴的自然语言处理任务,在政策冲突检测、政策智能检索、事项合规性检查以及政务系统需求工程等方面具有重要应用价值。本文以矿产资源管理规则检测为研究目标,提出基于转换器的双向编码表征(BERT)提示的政策文本管理规则检测方法。该方法通过构建融入管理规则信息、带有MASK]标记的提示模板,可以充分发挥掩码语言模型的自编码优势,有效激发BERT模型提取与管理规则相关的文本特征,增加模型稳定性;提出基于BERT模型进行管理规则检测的新应用模式,放弃使用CLS]隐向量而采用MASK]隐向量进行分类预测;在矿产资源管理规则数据集上的实验结果表明,该方法的准确率、宏平均F1值、加权平均F1值均优于基线方法,在公开数据集上的实验结果也表明了该方法的有效性。
|
关 键 词: | 矿产资源 管理规则 文本分类 基于转换器的双向编码表征(BERT) 提示学习 |
|
|