支持向量机算法在MOOC 课程答疑系统中的研究

随着互联网技术和近期MOOC课程的发展,智能答疑系统也受到了更多的关注,应用它能够及时给学生提供学生疑惑的问题答案。智能答疑系统通常包括问句理解、信息检索、答案抽取和选择三个主要部分,且问句分类是问句理解的关键,因为它的准确性将直接影响到最后答案的准确性。以高校计算机基础课程为实际背景,在已有基于支持向量机算法基础上,对该方法进行了改进,并通过训练集和测试集进行了验证。从实验结果看,该方法在高校计算机基础智能答疑系统中有比较好的应用效果。     

多领域自然语言问句理解研究

问句理解是问答系统的主要任务之一。现有的问句理解方法大多是针对简单句的,且侧重于某种句式结构的理解。提出一种多领域问句理解研究方法,其涉及领域包括人物类、电影类、音乐类、图书类、游戏类、应用类。首先基于CRF算法对问句进行分类和主体识别,然后使用谓词词典和句法分析识别出问句的谓词,最后提出一种谓词消歧方法来解决相同问句具有不同表达方式的问题。实验结果表明,在封闭测试中,所提方法的问句分类和主体识别的平均F-measure值分别为93.88%和92.44%,谓词识别和问句理解的平均准确率分别为91.03%和81.78%。因此,所做的工作基本能满足问句理解的需求。     

结合BERT与多尺度CNN的民事纠纷问句意图分类

问句意图分类作为问答系统的关键任务之一,其能否正确分类对于后续的问答任务十分重要。针对民事纠纷问句中存在的长短不一、特征分散、种类繁多的问题,以及传统卷积神经网络和词向量的不足,为了准确获取民事纠纷问句意图类别,构建了结合BERT与多尺度CNN的民事纠纷问句意图分类模型。对民事纠纷问句数据集进行预处理;采用BERT预训练模型对问句进行语义编码和语义补充;使用4个不同的卷积通道进行卷积运算,每个卷积通道由不同尺度的卷积核进行卷积,将4种不同尺度的问句特征进行拼接得到多层次问句特征信息;通过全连接层和Softmax对问句进行分类。实验结果表明,所提出的模型在中文民事纠纷问句数据集上取得了87.41%的准确率,召回率、F1值分别达到了87.52%、87.39%,能够有效解决民事纠纷问句意图分类的问题。     

基于BERT的常见作物病害问答系统问句分类

问句分类作为问答系统的关键模块，也是制约问答系统检索效率的关键性因素。针对农业问答系统中用户问句语义信息复杂、差异大的问题，为了满足用户快速、准确地获取常见作物病害问句的分类结果的需求，构建了基于BERT的常见作物病害问答系统的问句分类模型。首先，对问句数据集进行预处理；然后，分别构建双向长短期记忆(Bi-LSTM)自注意力网络分类模型、Transformer分类模型和基于BERT的微调分类模型，并利用三种模型提取问句的信息，进行问句分类模型的训练；最后，对基于BERT的微调分类模型进行测试，同时探究数据集规模对分类结果的影响。实验结果表明，基于BERT的微调常见作物病害问句分类模型的分类准确率、精确率、召回率、精确率和召回率的加权调和平均值分别高于双向长短期记忆自注意力网络模型和Transformer分类模型2～5个百分点，在常见作物病害问句数据集（CCDQD）上能获得最高准确率92.46%，精确率92.59%，召回率91.26%，精确率和召回率的加权调和平均值91.92%。基于BERT的微调分类模型具有结构简单、训练参数少、训练速度快等特点，并能够高效地对常见作物病害问句准确分类，可以作为常见作物病害问答系统的问句分类模型。     

基于支持向量机的问句分析

为提高问答系统对问句理解的准确率,以概念层次网络理论结合传统计算语言学为思路,提出了适用于限定领域中问句分析模型,根据限定领域的知识特点,设计了新的问句分类方法。在此问句分类方法的基础上,构建了基于支持向量机理论的问句分类器。在以实际教学过程中所收集的真实问句为问题集和训练集的测试中,取得了较好的实践效果。     

基于支持向量机的问句分析

为提高问答系统对问句理解的准确率,以概念层次网络理论结合传统计算语言学为思路,提出了适用于限定领域中问句分析模型,根据限定领域的知识特点,设计了新的问句分类方法。在此问句分类方法的基础上,构建了基于支持向量机理论的问句分类器。在以实际教学过程中所收集的真实问句为问题集和训练集的测试中,取得了较好的实践效果。     

基于Bi-LSTM和CNN并包含注意力机制的社区问答问句分类方法

问句分类的目标是将用户提出的自然语言问句分到预先设定的类别.在社区问答中,如何准确高效的对问句进行分类是一项重要任务.本文提出了一种基于深度神经网络的问句分类方法,该方法首先将问句用词向量进行表示,然后用融合双向长短时记忆网络（Bi-LSTM）和卷积神经网络（CNN）结构并包含注意力机制的深度学习模型提取问句特征进行分类.该方法的特色在于利用Bi-LSTM和CNN在句子级文本表示的优点,充分捕捉问句特征,并结合问句的对应答案来表示问句,丰富了问句信息.实验表明,该问句分类方法准确率较高,在多个数据集上取得不错结果.     

基于依存关系的问句理解与问句分类

问句理解是问答系统的首要过程，问句分类是问句理解的主要组成部分，它在问答系统中具有非常重要的作用，因为问句类型有助于在文档中定位和抽取答案。问句分类的目标是基于预期的答案类型，准确地分类问句。本文提出依存关系规则与统计方法相结合，实现了基于依存关系的中文问句理解与问句分类机制。实验表明：支持向量机结合依存关系的特征抽取方法，获得了较高问句分类正确率。     

基于问句类型的问句相似度计算

目前,问句相似度的计算主要借鉴普通陈述句的相似度计算方法。由于普通陈述句的相似性更多反映的是语句间语义上的匹配符合程度,而衡量问句间的相似性则须同时考虑问句及其答案句之间的相似程度,为此,设计了一种新的问句相似度计算方法。该方法不仅利用问句之间的语义和语法特征考察问句之间的匹配程度,还利用问句的问题类型等信息来间接刻画答案句之间的特征形象,从而以获取问句的深层语义信息,以提高问句相似度计算的准确性。实验验证了该方法的有效性。     

基于HNC句类的社区问答系统问句检索模型构建

社区问答系统中充斥着大量的噪声,给用户检索信息造成麻烦,以往的问句检索模型大多集中在词语层面。针对以上问题构建句子层面的问句检索模型。新模型基于概念层次网络（hierarchincal network of concept,HNC）理论当中的句类知识,从句子的语用、语法和语义三个层面计算问句间相似度。通过问句分类算法确定查询问句和候选问句的问句类别,得到问句间的语用相似度,利用句类表达式的结构和语义块组成分别计算问句间的语法及语义相似度。在真实数据集上的实验表明,基于HNC句类的新模型提高了问句检索结果的准确性。     

一种新的层次化结构问题分类器

问题分类是自动问答系统中关键技术之一,而问题中的关键词语是问题分类的重要依据。本文主要探讨问题词和中心词在问题分类中所起的作用,提出一种基于问题词和中心词的层次化结构问题分类器。分类器首先利用问题词将句子集分为三类,然后对于每个类别分别建立相应的分类器,对于what型问题,本文构造了基于关联规则的中心词分类器。本文实现的层次化结构分类器在TREC 2007 QA问题集和UIUC数据集上精度分别达到了90.6%和84.0%,充分显示了问题词和中心词在问题分类中至关重要的作用。     

面向问答社区的中文问题分类

传统的问题分类体系大都基于事实类问题,传统的问题分类方法也比较依赖于疑问词这一分类特征,但问答社区(CQA)中非事实类问题居多,且许多问题并不包含疑问词,为此,提出一种面向问答社区的粗粒度分类体系,并在此基础上提出一种基于疑问词的层次化结构问题分类方法。该方法首先自动识别问题中的疑问词,若疑问词存在,则用支持向量机(SVM)模型进行分类;而对没有疑问词的问题,则用所构造的基于焦点词的分类器进行分类。通过在从中文问答社区知乎中所爬取的问题数据集上进行实验,与传统的基于SVM模型的分类方法相比,该方法的分类准确率提高了4.7个百分点。实验结果表明,这种根据问题是否含有疑问词而选择不同分类器的方法,减轻了分类方法对疑问词的依赖,能有效提高问答社区中问题分类的准确率。     

基于语义扩展的短问题分类

问题分类是问答系统任务之一。特别是语音交互方式中,用户的提问较短,具有口语化特征,利用传统文本分类方法对问题进行分类的效果不佳。为此提出一种基于语义扩展的短问题分类方法,该方法使用搜索引擎对问题进行知识扩展;然后,使用主题模型进行特征词选择;最后,利用词语相似度计算获取问题的类别。实验结果表明,所提方法在1365条真实问题集上平均F-measure值达到0.713,其值高于支持向量机(SVM)、K近邻(KNN)算法和最大熵方法。因此,该方法在问答系统中可以帮助系统提升问题分类的准确率。     

基于Word2vec和句法规则的自动问答系统问句相似度研究

自动问答系统问句相似度计算的准确率直接影响系统返回答案的准确率,对此提出一种基于Word2vec和句法规则的问句相似度计算方法。构造Text-CNN问句分类模型将问句进行分类,再构造Word2vec词向量模型将问句中词与词的空间向量相似度转换成语义相似度,并加入句法规则的分析。随机从搜狗公开问答数据集中抽取200条数据进行测试,结果表明,该方法与TF-IDF方法相比,自动问答系统返回答案的准确率和召回率分别提高了0.259和0.154。     

汉语情感问题类型分类研究

随着网络搜索引擎技术的飞速发展,对于问答系统的需求愈发迫切。而问答系统处理问题的第一步就需要分辨情感问题和非情感问题并对情感问题进行分类。该文首先分析了当前问答系统和问题分类领域的研究现状,总结了一些存在的问题。然后针对情感问题从三个方面进行分类。在语义层面,提取了三个关键词;在语法层面,通过规则的制定,将其分成五种疑问句类型;在领域层面,通过搜索引擎的相关网页数量来进行判断。再对综合上述三个方面所开发出的测试系统进行分析。实验结果表明:对于情感问题的分类,从三个层面进行分析比较全面。     

结合问题类型及惩罚机制的问题生成

问题生成旨在理解输入端的语义,从而自动生成疑问句。该文主要解决目标答案可知的问题生成任务,输入为陈述句和目标答案,输出为疑问句,该疑问句的答案为给定的目标答案。为了提高问题类型的准确率,使问句的表述更确切,该文提出一种融合问题类型及惩罚机制的问题生成模型,首先使用预训练BERT模型对问题类型进行分类,得到对应问题类型的表示。在编码端,通过门控机制将源端陈述句与问题类型进行融合,得到具有问题类型信息的源端表示。此外,在现有工作中观测到生成的问句和目标答案存在重复词的现象。为了缓解上述问题,该文提出一种惩罚机制,即在损失函数中加入对重复词的惩罚。实验证明,该文所提方法有效提高了问题类型的准确率,并在一定程度上降低了生成重复词的情况。在SQuAD数据集上BLEU-4值达到18.52%,问题类型的准确率达到93.46%。     

基于Chunk-CRF的情感问答研究

相对于事实性问答系统而言,观点或情感问答系统的研究除了需要考虑观点持有者及情感倾向性等与情感相关问题以外,其难点还在于答案形式更复杂更分散.从百度知道人工搜集了大量的情感问题,并根据情感问题的特征,统计并归纳了五大情感问题类型.问题分类模式与传统事实性问答系统不同,不能仅仅根据疑问词对其进行分类,还需要考虑到观点以及受众的反应.问题分类使用基于Chunk的CRF模型与规则相结合的情感问题分类方法.在答案抽取时结合组块识别的结果和情感的倾向性,并根据情感问题类型的不同采取不同的方法以获取答案.实验结果表明了评价体系的有效性.     

基于自学习规则和改进贝叶斯结合的问题分类*

根据对中文问题的分析可知,问题中的疑问词和中心词等关键词对问题所属类型起着决定性的作用。提出利用自学习方法建立疑问词—类别和疑问词+中心词—类别两种规则,并结合改进贝叶斯模型的问题分类方法。该方法充分利用了关键词对分类的贡献。实验结果表明,该分类方法有很大的改进,准确率达到了84%。     

基于增量式贝叶斯模型的中文问句分类研究

固定训练集生成的分类器性能不理想且不能跟踪用户需求,为此,提出一种将增量式贝叶斯思想用于问句分类的方法。采用遗传算法选取最优特征子集优化分类器,从而避免训练集特征过分冗余,使分类器在学习过程中动态地扩大训练集并修改分类器参数。在对问句进行分类时,提取问句的疑问词、句法结构、疑问意向词和疑问意向词在知网的首项义原作为分类特征。为了验证增量式贝叶斯方法的有效性,从语料库中随机抽取不同规模的问句构成增量集,基于不同的增量集对同一测试集中的问句进行分类。实验结果表明,增量式贝叶斯分类器较朴素贝叶斯分类器有更高的分类精度,大类和小类的准确率分别达到90.2%和76.3%,在提高准确率的同时优化了运行效率。     

基于答案辅助的半监督问题分类方法

问题分类旨在对问题的类型进行自动分类,该任务是问答系统研究的一项基本任务。提出了一种基于答案辅助的半监督问题分类方法。首先,将答案特征结合问题特征一起实现样本表示;然后,利用标签传播方法对已标注问题训练分类器,自动标注未标注问题的类别;最后,将初始标注的问题和自动标注的问题合并作为训练样本,利用最大熵模型对问题的测试文本进行分类。实验结果表明,本文提出的基于答案辅助的半监督分类方法能够充分利用未标注样本提升性能,明显优于其他的基准方法。