基于密令位置信息特征的问题生成

问题生成是指在理解特定陈述句语义的前提下,自动地生成一条或多条关于该陈述句的问题。该文主要针对其中一项子任务开展研究,即一对一的问题生成(Point-wise Question Generation,PQG)。现有PQG研究,主要以端到端的序列化生成模型为框架,相应方法生成的问句,在流畅度方面已达到有限的可接受度(BlEU-4约13%)。尽管如此,现有方法缺乏语块一级的注意力建模,从而无法将“潜在提问对象”的语义独立且整体地纳入表示学习过程。这一不足往往负面影响解码端的问题类型预测和提问词估计。针对这一问题,该文提出了一种融合密令注意力机制的端对端PQG模型。其中,密令是对短语和语块一级的潜在答案的总体概括,其往往表现为陈述句中的一组连续的词项。在方法实现方面,该文在端对端架构的编码过程中,将密令的位置信息与全句语义信息进行融合,而在解码过程中,则加强了针对密令的注意力。实验采用SQuAD语料予以实施,测试结果显示,该文所提方法的性能优于现有主流模型,其获得的BLEU-4指标高于基准系统1.98%。     

基于多模型的新闻标题分类

该文研究中文新闻标题的领域分类方法(domain-oriented headline classification,DHC)。现有研究将DHC限定为一种短文本分类问题,并将传统分类模型和基于卷积神经网络的分类模型应用于这一问题的求解。然而,这类方法忽视了新闻标题的内在特点,即为“标题是建立在凝练全文且弱相关的词语之上的一种强迫性的语义表述”。目前,融合了序列化记忆的循环神经网络在语义理解方面取得了重要成果。借助这一特点,该文将长短时记忆网络模型(long-short term memory,LSTM)及其变型——门控循环单元(gated recurrent unit,GRU)也应用于标题的语义理解与领域分类,实验验证其性能可达81%的F1值。此外,该文对目前前沿的神经网络分类模型进行综合分析,尝试寻找各类模型在DHC任务上共有的优势和劣势。通过对比“全类型多元分类”与“单类型二元分类”,发现在领域性特征较弱和领域歧义性较强的样本上,现有方法难以取得更为理想的结果(F1值<81%)。借助上述分析,该文旨在推动DHC研究在标题语言特性上投入更为充分的关注。