基于迁移学习的知识图谱问答语义匹配模型

针对单一事实类问答系统中问句和关系的语义匹配在小规模标注样本中难以获得较高准确率的问题,提出一种基于循环神经网络（RNN）的迁移学习模型。首先,使用基于RNN的序列到序列无监督学习算法,通过序列重构的方式在大量无标注样本中学习问句的语义空间分布,即词向量和RNN;然后,通过给神经网络参数赋值的方式,使用此语义空间分布作为有监督语义匹配算法的参数;最后,通过使用问句特征和关系特征计算内积的方式,在有标注样本中训练并生成语义匹配模型。实验结果表明,在有标注数据量较少而无标注数据量较大的环境下,与有监督学习方法Embed-AVG和RNNrandom相比,所提模型的语义匹配准确率分别平均提高5.6和8.8个百分点。所提模型通过预学习大量无标注样本的语义空间分布可以明显提高在小规模标注样本环境下的语义匹配准确率。     

融合事件信息的中文问答系统问题语义表征

复杂类问题理解是中文问答系统研究的难点,基于组块的问句分析方法将整个问句转化为若干组块,降低了问句分析的难度和复杂性。针对以含有事件(动作)信息的复杂类问题,提出基于语义组块的中文问答系统问题语义表征模型,采用语义组块的思想将问题的语义成分定义为疑问焦点块、问题主题块和问题事件块三个语义组块,对问句中的事件语义信息,建立了问题事件语义结构,将一个问句表征为一个基于语义组块的问题语义表征结构,用于问答系统的问题理解。通过序列标注学习方法实现问题语义表征中语义组块自动标注。实验结果表明:问题语义组块标注效果较好,问题语义表征模型获取了问题的关键语义信息,为语义层面上的问题理解提供基础。     

基于知识图谱的生物学科知识问答系统

为提升用户获取生物学科相关知识的准确性和简洁性,设计并实现基于中文知识图谱的生物领域知识问答系统。针对生物学科领域实体的特殊性,基于改进的文档迁移距离算法结合逻辑回归模型实现实体链接;通过构建标注问题库并结合短文本相似度算法,实现问句语义理解。实验结果表明,系统对生物学科领域专有实体识别和问句语义理解两方面都具有较高的准确率,在生物学科领域问答应用中具有应用价值。     

基于问句语料库的受限领域自动应答系统

自动应答系统中对用户所提问句的理解是系统实现的关键,同样也是一个难点,通过在受限领域内建立问句语料库来协助理解用户问句是一种非常有效的实现方法。文章分析了建行领域业务咨询系统的问句收集、分词和词性标注、语义标注、问句语料统计等问句语料库的建设过程,并详细介绍了采用词向量空间法和语义向量空间法从问句语料库中寻找和目标问句相似问句的计算方法及提取答案的实现过程。     

基于浅层句法分析和最大熵的问句语义分析

为了使中文问答系统能够准确高效地识别问句的语义,在构建生物医学领域本体的基础上,提出了一种基于浅层句法分析和最大熵模型的语义分析算法。该算法首先对自然语言问句进行语义块识别,如果识别成功,则形成问句向量,然后利用本体进行SPARQL查询;如果识别失败,则调用最大熵模型,判断问句的语义角色。最大熵模型利用标注好语义的熟语料进行训练,提取语义组块特征,从而判断出最可能的句型,形成问句向量,然后再利用本体进行查询,获取答案。通过实验与其他方法相比,新算法具有更高的查准率和召回率。     

基于最大熵模型的汉语问句语义组块分析

问句分析是问答系统的关键,为降低问句完整语法分析的复杂度,该文应用浅层句法分析理论,采用问句语义组块方式来分析问句。以“知网”知识库为基础,提取和定义了表达汉语问句的6种语义块,定义了语义组块最大熵模型的特征表示,通过最大熵原理实现了语义组块特征抽取和特征选取学习算法,并以模型为基础实现了真实问句的语义块的标注,从而为在语义层面上理解汉语问句奠定了基础。实验结果说明最大熵模型应用于汉语问句语义组块分析具有较好的效果。     

基于语义空间距离的相似问句识别方法研究

前沿相关研究将相似问句识别转化为二元问句匹配识别并取得很大进展。但是在自动问答系统的实际应用场景中存在大量数据,这些方法受限于二元问句匹配识别模式,导致时效性不高。针对这一问题,受人脸识别相关研究的启发,该文提出基于语义空间距离衡量的相似问句识别方法（Semantic Space Distance Method,SSDM）。该方法将相似问句识别作为多分类问题进行训练,通过利用人脸识别任务中Margin Softmax损失函数得到语义编码模型。该语义编码模型能够将相似问句在语义空间中聚合,不相似问句在语义空间中远离。SSDM方法将相似问句识别转化成语义空间中的向量距离计算,突破二元问句匹配的方式,保证了一定的高时效性,并且仍然能够在深层语义层面对相似问句进行识别。该方法在Biendata的ASQD数据集中实验测试,取得了比基线方法更优的性能,验证了SSDM方法的有效性。     

基于BERT模型的知识库问答方法研究

基于知识库的问答是自然语言处理研究热点之一,在针对知识库问答的方法中,传统的字向量和词向量无法很好地表示问句上下文的语义信息、循环神经网络并行计算能力不足和没有考虑句子中周围词对当前词的影响、卷积神经网络不考虑字在问句中位置信息等问题。为了解决上述问题,论文提出了使用BERT模型结合循环神经网络和卷积神经网络模型的研究方法。在开源SimpleQuestion数据集上使用文中提出的方法,可使问句命名实体识别任务中f1-score提升了3%,问句关系分类任务准确率提升1%,最终答案生成任务准确率提升3.5%。实验表明,使用BERT模型可以增强这些传统模型的效果。     

基于知识表示的联合问答模型

基于知识库的问答系统旨在通过解析用户的自然语言问句直接在知识库中提取出答案.目前,大多数知识库问答模型都遵循实体检测和关系识别这两个步骤,但是此类方法忽略了知识库本身所蕴含的结构信息以及这两个步骤之间的联系.文中提出了一种基于知识表示的联合问答模型.首先应用知识表示模型将知识库中的实体与关系映射到低维的向量空间,然后通过神经网络将问句也嵌入相同的向量空间,同时检测出问句中的实体,并在此向量空间内度量知识库三元组与问句的语义相似度,从而实现将知识库嵌入和多任务学习引入知识库问答.实验结果表明,所提模型可以极大地提高训练速度,在实体检测和关系识别任务上的准确率达到了主流水平,证明了知识库嵌入及多任务学习可以提升知识库问答任务的性能.     

基于问答社区的海量问句检索关键技术研究

提出一个深层次的问句语义分析算法,实现问句从文字空间到语义空间的映射。在问句语义分析算法的基础上,提出面向海量问答数据的检索模型,该模型采用搜索引擎的检索技术,利用问句语义分析的结果,将问句相似度计算结合到信息检索过程中,既保证了检索的效率又保证了检索的精度。