基于知网的、受限领域的中文命题相似度计算

简单命题的语义识别是进行自然命题逻辑推理的重要基础之一,知网在中文词汇和句子的相似度计算方面扮演着越来越重要的角色。在对领域命题进行了预处理后,针对简单命题的句型结构和构成成分的特点,通过改进义原相似度、词语相似度、句子相似度的计算方法,提出了一种基于知网的、新的句子相似度计算方法。实验表明:该方法可以简单而有效地计算词语相似度;在句子相似度计算时,可以减少助动词、修饰词的影响,更适合判断两个命题是否高度相似。     

基于角度—相似度转换模型的义原相似度计算

义原的相似度是基于《知网》计算词语、句子相似度的基础.最早的义原相似度计算方法是刘群等提出的根据义原距离转换为义原相似度的方法,之后许多研究者在计算公式中引入了其他影响相似度计算的因素.这些因素本质上都可以由父节点深度、父节点到第一个义原的深度和父节点到第二个义原的深度等三个基本因素组成.将这三个因素作为基本变量,分析变量对义原相似度的影响方式并构建角度—相似度转换模型,实现了根据义原角度转换为义原相似度的方法.最后,通过实验分析比较新方法与同类方法在区分度、正区分度和距离误差上的优势,验证了其合理性.     

中文语句相似度计算的方法初探

分析了中文自然语言处理中句子相似度的计算方法,介绍了基于向量空间模型的TF—IDF的、基于句子语义和基于句子依存关系的三种句子相似度计算模型,并对它们的计算原理、计算方法进行了分析,给出了他们的优缺点．基于向量空间模型的句子相似度计算模型已经比较成熟,一般情况下能够产生较好的效果．由于TF—IDF方法没有考虑这种语义信息,所以传统的TF—IDF方法具有一定的局限性．而基于句子语义或句子的依存结构来进行相似度计算,能达到更好的效果．     

基于语义依存的汉语句子相似度改进算法

现有的基于语义依存的汉语句子相似度算法仅考虑了基于核心词的有效搭配对,根据两个句子有效搭配对的对应词是否是相同词和同义词将匹配权重简单地处理为0,0.5和1,而且未考虑不直接依存于核心词的其他词语,导致在计算句子相似度时区分度较低.改进算法通过综合计算核心词、关键词的语义相似度来确定更为精确的匹配权重,并且将不直接依存于核心词的其他词语对句子的影响也纳入句子相似度计算,以期达到全面刻画句子语义、提高算法的准确率和区分度的目的.实验结果表明改进算法比原算法具有更高的准确率以及更好的对句子的区分能力.     

Research of Word Similarity Calculation Based on HowNet

词语之间相似度的计算通常有基于统计和基于世界知识2种方法.中文词语相似度的计算,可以通过计算义原的相似度进而计算词语的相似度,在此基础之上深入分析《知网》的义原层次体系,提出了一种将义原在层次体系树上的深度和区域密度2个因素添加到义原相似度计算中的方法.通过实验发现,考虑义原在层次体系树上的深度和区域密度得到的结果比不考虑这2个因素得到结果更符合实际.     

一种基于语义与结构的句子相似度计算方法

在对已有方法进行分析的基础上,提出语义与结构相结合计算句子相似度的方法,并系统地介绍了此方法的实现过程。首先对输入的句子进行预处理,得到词语序列,使用基于知网的方法得到词语间的语义相似度;然后使用词形和句长特征表示句子的结构相似度;最后加权得到两个句子的相似度。实例证明,提出的方法计算得到的句子相似度取得了较好的效果。     

基于自然语言处理的主观题评分算法研究

从自然语言处理的角度来看,现有的主观题评分算法都以相似度计算为核心的,没有考虑语义对立度问题.提出了一种基于中文分词技术、相似度计算和对立度计算的新的主观题评分算法.对主观题评分算法的以下三个方面进行了重点研究:怎样改进中文分词算法中的歧义切分的方法;怎样引入参数限制计算中分数过高或过低;怎样设计一个融合相似度计算和对立度计算的主观题分数的计算公式.     

基于常问问题集的中文问答系统研究

首先根据用户的提问建立一个候选问题集,然后通过计算句子语义相似度,在候选问题集中找到相似的问句,并将答案返回给用户。该系统还能够自动地更新和维护FAQ库。实验表明,与基于关键词的句子相似度计算相比,基于语义的句子相似度计算提高了问题匹配的准确率。     

基于常问问题集的中文问答系统研究

首先根据用户的提问建立一个候选问题集，然后通过计算句子语义相似度，在候选问题集中找到相似的问旬，并将答案返回给用户。该系统还能够自动地更新和维护FAQ库。实验表明，与基于关键词的句子相似度计算相比，基于语义的句子相似度计算提高了问题匹配的准确率。     

一种改进的句子相似度计算模型

在基于实例的机器翻译中,句子相似度计算是实例匹配的有效机制。该文对基于相同词的句子相似模型作进一步的改进,包括关键词抽取,以及在句子相似度的定义中引入同义词的情形。实验结果表明,改进方法比原方法具有较高的准确率。     

使用有序词语移动距离特征进行中文文本蕴含识别

提出了一种基于有序词语移动距离的中文文本蕴含识别方法,该方法基于word2vec词向量计算有序词语移动距离特征,进而利用有序词语移动距离特征和传统语言学特征通过支持向量机生成分类模型,然后使用分类模型进行蕴含识别,最终得到蕴含结果.该方法在RITE-VAL评测任务的CS数据上的MacroF1为0.629,超过RITE-VAL的最优评测结果(BUPTTeam,0.615).实验结果表明,该方法可以提升中文文本蕴含识别系统的性能.     

基于句子语义距离的释义识别研究

针对释义识别任务如何学习上下文语义的问题,提出了利用词向量来表示句子语义距离的模型。首先,利用word2vec训练大规模的词向量模型,把词的语义信息利用向量分布式表示;然后通过欧氏距离来计算句子间词的移动开销;最后基于EMD模型实现了从词语义距离到句子语义距离的建模,通过采用句子变换矩阵来实现句子间语义距离的度量,进而从语义相似性方面进行句子释义识别。实验基于SemEval-2015 PIT任务,与作为实验基线的逻辑回归和加权矩阵因数分解方法进行比较,提出的模型采用有监督实验时, 值非常接近实验基线,而采用无监督方法实验时, 值提高了5.8%。     

汉语环境中英语词汇磨蚀影响因素分析

探讨汉语环境中易磨蚀英语词汇的语言学特征、中国英语学习者词汇学习策略、社会情感因素与英语词汇磨蚀之间的关系。研究结果表明,相似性、词长等语言学特征、《大学英语课程教学要求》的不同要求级别对词汇磨蚀影响明显,词汇学习策略使用、学习动机与词汇磨蚀之间也有密切的联系。最后,从外语习得理论研究和外语教学两个方面,分析汉语环境中英语词汇磨蚀影响因素研究对大学英语教学的启示。     

一种应用分治策略的中文分词方法

自动分词是中文信息处理的关键步骤。由于具有结构简单、易于实现和开发周期短等优点,基于词典的分词方法被广泛应用。结合中文多字词数量少,使用频度低的特点,设计实现了一种新的词典机制,在此基础上,把分治策略引入到分词中,提出了一种新的分词算法,幷对该算法进行了理论分析和实验验证。     

一个全文词义自动标注系统的实现

为研究在给定上下文中如何确定多义词的词义,介绍了一种无指导的词义消歧技术和一个汉语全文词义标注系统的设计实现过程．该系统基于贝叶斯模型,使用大规模语料进行训练,较好地解决了知识获取中数据稀疏的问题．该系统具有标注正确率高和运行速度快等特点,适合大规模文本的词义标注工作．     

针对中国学生英文文章的词性标注方法

提出了一种基于词向量的两层词性标注方法,使用少量人工提取的特征,大部分特征可使用词向量和第1层标注向量自动训练得到.该方法将标注集分成两类,分别作为不同层的标注集.首先,对容易标注的类别进行标注;然后,对难以标注的动词或者名词进行第2层标注,将其标注为具体的某类动词或名词.利用该方法对中国学生写的英语文章进行词性标注的准确率可从95.23%提高到95.63%,超过了现有基于词向量词性标注器对相同语料词性标注的准确率.     

基于Expression Blend的WPF程序调用swf文件与word文档的方法

基于Expression Blend的WPF程序无法直接调用swf文件和word文档,给课件的设计工作带来诸多不便．通过1个实例介绍了在基于Expression Blend的WPF程序中,利用process对象调用swf文件和word文档的方法,以便能够充分地利用现有swf文件、word文档等优秀的教学资源进行课件制作．实践表明,该方法简单、有效、灵活且易于实现．     

基于词贡献度的垃圾短信分类方法

针对垃圾短信分类问题, 提出了一种以词贡献度为基础的分类方法。该方法引入词贡献度的概念表达词在不同短信分类中的权重差别,通过构建词贡献度——分类矩阵和计算矩阵行均方差来实现降维,以词贡献度为基础计算短信隶属于短信分类的隶属度,并通过比较隶属度密度的方法解决分类冲突问题。实验结果表明,该方法在分类效果和实时性方面优于其他常用垃圾短信分类方法。     

无监督的动态分词方法

介绍了一种变长汉语语料自动分词方法,这种方法以信息理论中极限熵的概念为基础,运用汉字字串间最大似然度的概念,对汉语语料进行自动分词。讨论了这些方法的局限性,并列出了一些试验结果。     

一个书面汉语词库系统的设计与实现

给出了一个词库维护及检索系统,它采用基于PATRICIA tree的分词词典机制及灵活的词库维护及检索方法,不仅适用于传统的机械切分,更适合于串行和并行全切分.该词库系统已在一个全切分系统应用.