基于大语言模型的命名实体识别

虽然以ChatGPT为代表的自然语言生成(NLG)大语言模型在自然语言处理中的大多数任务中取得了良好的表现, 但其在序列识别任务, 如命名实体识别任务中的表现暂且不如基于BERT的深度学习模型. 针对这一点, 本文探究性的通过将现有的中文命名实体识别问题改造成机器阅读理解问题, 提出并设计了基于情境学习和模型微调的新方法, 使NLG语言模型在识别命名实体达到了更好的效果, 并且该方法不同于其他方法需要改变基层模型的预训练参数. 同时, 由于命名实体是模型生成的结果而不是对原始数据的分类, 不存在边界问题. 为了验证新框架在命名实体识别任务上的有效性, 本文在多个中文命名实体识别数据集上进行了实验. 其中, 在Resume和Weibo数据集上的F1分数分别达到了96.04%和67.87%, 相较于SOTA模型分别提高了0.4和2.7个百分点, 从而验证了新框架能有效利用NLG语言模型在文本生成上的优势完成命名实体识别任务.     

面向多视角对比学习和语义增强的多模态预训练方法

视觉语言预训练(VLP)模型通过对比学习等方法，在多模态任务上表现出了优异的性能。然而现有研究忽视了多视角描述带来的好处，以及语义和语法的重要性。为了解决这一问题，文中提出了多视角对比学习和语义增强多模态预训练(Multi-view learning and Semantic Enhancement for Multimodal pre-training, MulSE)模型。MulSE主要分为3个部分：1)在融合编码器模型中，引入带有生成器的多视角对比学习；2)提出了一种新的自监督视觉语言预训练任务——多模态文本重排序；3)增加并探寻最优MLM掩码比例，最大化利用视觉信息的能力。通过改进预训练任务，采取多种最优策略，并通过实验验证MulSE增强了模态内部和模态间的理解能力以及对文本语法和语义的理解能力。预训练仅用4×10⁶的数据量，在图文检索任务中就达到了先前大型数据集的效果，且其在视觉问答和视觉蕴含任务上的评估效果优于先前的理解式VLP模型。