基于《知网》的词语语义相似度算法

词语语义相似度计算在信息检索、文本聚类、语义消歧等方面有着广泛的应用。基于《知网》提出一种词语语义相似度算法。设计一种义原分类,将义原分为第一基本义原、其他基本义原和间接义原3类。与以往义项相似度计算方法不同,根据不同类义原对义项相似度影响的大小,分别使用不同的义原相似度计算方法进行义项相似度的计算。利用词语之间第一基本义原相似度最高的义项组合进行词语语义相似度计算,剔除相似度较低的组合对词语语义相似度结果的影响。实验结果表明,该算法能有效提高运算效率和精确度。     

基于知网的词语语义相似度改进算法研究

词语语义相似度计算在很多自然语言处理相关领域都有着广泛应用.基于知网的现有词语语义相似度计算方法未深入考虑同棵义原层次树的义原距离、义原深度、义原密度及主次关系的影响,致使相似度计算结果并不够精确.针对该问题,提出一种词语语义相似度改进算法,通过分析知网中的义项表达式和义原层次树,用集合的加权平均值代替了义项相似度最大...     

基于《知网》的词语语义相似度改进算法研究

现有词语相似度计算方法未深入考虑义原之间的距离与义原深度的主次关系,或直接指定含具体词概念的相似度,导致计算结果不够精确。针对该问题,通过义原之间的距离限制义原深度对义原相似度的影响,分析统计《知网》中概念的义项表达式,使用第一基本义原(能反映具体词本质)替换概念义项表达式中出现的具体词,从而提出一种改进的词语语义相似度计算算法。实验结果表明,该算法能有效提高词汇相似度计算的精确度。     

一种改进的基于《知网》的词语语义相似度算法

词语语义相似度计算在信息检索、文本聚类、语义消歧等方面有着广泛的应用。针对《知网》中现有词语语义相似度计算方法未考虑义原距离与义原深度的主次关系进行了研究,通过约束义原深度因素来改进了义原相似度算法。另外,提出了以词语间第一基本义原相似度最高的概念组合为计算对象,并引入动态加权因子实现了对词语语义相似度算法的改进。对改进前后的算法分别进行了实验,结果表明改进后的算法提高了词语语义相似度的准确性和客观性。     

一种基于《知网》知识描述语言结构的词语相似度计算方法

在中文信息处理中,词语相似度计算是一项基础而又核心的研究课题。基于《知网》的描述语言结构,改进了现有词语相似度计算方法。该方法考虑了词语的词性在相似度计算中的作用,同时对词语的第一义原作比对,减少了抽象义原的决定作用,改进了其他义原描述式的相似度计算方法,减少了搜索时间。实验证明,该方法提高了计算效率和计算结果的准确率,使词语相似度计算结果比较合理。     

多特征结合的词语相似度计算模型

词语相似度计算在基于实例的机器翻译、信息检索、自动问答系统等有着广泛的应用。词语相似度的计算一般都是在基于《知网》的义原的基础上,通过计算概念之间的相似度来获取。文中在综合考虑义原距离、义原深度、义原宽度、义原密度和义原重合度的基础上,利用多特征结合的方法计算词语相似度。为了验证算法的合理性,利用Miller和Charles文献给出的基准词作为测试集合,将计算得到的词语相似度的值与专家值进行比较,计算其皮尔逊相关系数,计算结果达到了0.852。实验结果表明多特征结合的词语相似度计算和专家评定的词语相似度计算非常吻合。     

一种实体描述短文本相似度计算方法

中文实体描述短文本具有词语稀疏、语义离散、用词随意等特点。本文分析《知网》义原网络和词语相似度的关系,提出了短文本间语义相似度部分和短文本分类部分相结合的实体描述短文本间相似度计算方法。语义相似度部分分析《知网》义原网络和词语间相似度的关系,在计算词语间相似度和短文本间相似度的过程中弱化了浅层《知网》义原影响并均衡了义原权重,使义原相似度计算结果更加合理。短文本分类部分将短文本分解为义原向量,根据特定领域短文本的义原分布情况进行短文本分类。两部分结合得到实体描述短文本间相似度。本文方法的有效性在百度知识图谱数据分析竞赛任务1的测试结果中得到了证明。     

一种基于语义与句法结构的短文本相似度计算方法

为了提高短文本语义相似度计算的准确率,提出一种新的计算方法:将文本分割为句子单元,对句子进行句法依存分析,句子之间相似度计算建立在词语间相似度计算的基础上,在计算词语语义相似度时考虑词语的新特征——情感特征,并提出一种综合方法对词语进行词义消歧,综合词的词性与词语所处的语境,再依据Hownet语义词典计算词语语义相似度;将句子中词语之间的语义相似度根据句子结构加权平均得到句子的语义相似度,最后通过一种新的方法——二元集合法——计算短文本的语义相似度。词语相似度与短文本相似度的准确率分别达到了87.63%和93.77%。实验结果表明,本文方法确实提高了短文本语义相似度的准确率。     

基于知网与词林的词语语义相似度计算

该文提出了一种综合知网与同义词词林的词语语义相似度计算方法。知网部分根据义原层次结构的特征,采用了顶部平缓而底部陡峭的曲线单调递减的边权重策略,改进了现有的义原相似度算法;词林部分采用以词语距离为主要因素、分支节点数和分支间隔为微调节参数的方法,改进了现有的词林词语相似度算法。然后再根据词语的分布情况,采用综合考虑知网与同义词林的动态加权策略计算出最终的词语语义相似度。该方法充分利用了词语在知网与词林中的语义信息,极大地扩充了可计算词语的范围,同时也提高了词语相似度计算的准确率。     

基于路径与深度的同义词词林词语相似度计算

该文提出了一种基于路径与深度的同义词词林词语语义相似度计算方法。该方法通过两个词语义项之间的最短路径以及它们的最近公共父结点在层次树中的深度计算出两个词语义项的相似度。在处理两个词语义项的最短路径与其最近公共父结点的深度时,为提高路径与深度计算的合理性,为分类树中不同层之间的边赋予不同的权值,同时通过两个义项在其最近公共父结点中的分支间距动态调节词语义项间的最短路径,从而平衡两个词语的相似度。该方法修正了目前相关算法只能得出几个固定的相似度值,所有最近公共父结点处于同一层次的义项对之间的相似度都相同的不合理现象,使词语语义相似度的计算结果更为合理。实验表明,该方法对MC30词对的相似度计算值与人工判定值相比,取得了0.856的皮尔逊相关系数,该结果高于目前大多数词语相似度算法与MC30的相关度。
     

基于知网与搜索引擎的词汇语义相似度计算

提出一种基于知网与搜索引擎的词汇语义相似度计算方法。利用义原在层次体系树的深度、密度、信息量优化义原的相似性计算。将逐点共有信息（PMI）算法与归一化谷歌距离（NGD）算法结合优化基于搜索引擎的词汇语义相似度计算。将词汇的词性作为权重因子融合知网与搜索引擎的词汇相似度计算结果。实验结果表明,与基于知网和基于搜索引擎的语义相似度计算方法相比,所提出的方法在NLPCC测试集上的平均相似度更接近于测试集的评测标准,在汽车票务领域的词汇相似度计算中具有较好的应用效果。     

基于词汇语义信息的文本相似度计算

传统的文本相似度计算大多基于词匹配的方法,忽略了词汇语义信息,计算结果很大程度上取决于文本的词汇重复率。虽然分布式词向量可以有效表达词汇语义关系,但目前基于词向量的文本处理方法大都通过词汇串联等形式表示文本,无法体现词汇在语料库中的分布情况。 针对以上问题,本文提出了一种新的计算方法, 该方法认为基于统计的文本向量各元素之间存在相关性,且该相关性可通过词汇语义相似度表示。 因此, 本文利用词汇相似度改进了基于余弦公式的文本相似度计算方法。 实验表明该方法在 F1 值和准确度评价标准上优于其他方法。     

基于句子的多属性融合相似度计算方法

针对现有的句子相似度计算方法没有考虑句子中的关键词的多属性信息, 无法更好衡量句子相似度的问题, 综合考虑句子的结构和包含的属性, 提出一种基于句子的多属性融合相似度计算方法. 该方法通过提取句子的词频属性、词序属性、词性属性及句长属性, 采用层次分析法(AHP)计算出各属性的权重, 并验证权重值的合理性, 继而加权融合4种属性的相似度. 将本文提出的多属性融合相似度计算方法在构建的数据集上进行实验, 验证此方法的可靠性及可行性, 并以召回率、准确率以及归一化F度量值为标准和其他传统方法进行对比分析, 结果表明, 该方法不仅有着均衡的召回率和准确率, 且F-度量值较高, 达到83.57%.     

基于多特征的汉语句子相似度计算模型的研究

句子相似度的计算在自然语言处理的各个领域中都占有很重要的地位。文中深入分析了现有的一些句子相似度计算的方法,这些方法各自从词特征、词义特征或句法特征等某一侧面描述了句子相似的情况,未能全面地描述一个句子的完整信息。文中提出了一种新的基于多特征的汉语句子相似度的计算模型。该方法在基于词的基础上,从句子中词的表层到词的逻辑联系,从句子的局部结构到整体结构,用句子的区分度、相同词的相似度、长度相似度、词性相似度及词序相似度五个方面来综合考虑两个句子相似度的计算。实验结果表明,该方法合理、简便、可行。     

基于多语义因子分层聚类的文本特征提取方法

针对同类文本中提取的关键词形式多样,且在相似性与相关性上具有模糊关系,提出一种对词语进行分层聚类的文本特征提取方法。该方法在考虑文本间相同词贡献文本相似度的前提下,结合词语相似性与相关性作为语义距离,并根据该语义距离的不同,引入分层聚类并赋予不同聚类权值的方法,最终得到以词和簇共同作为特征单元的带有聚类权值的向量空间模型。引入了word2vec训练词向量得到文本相似度,并根据Skip-Gram+Huffman Softmax模型的算法特点,运用点互信息公式准确获取词语间的相关度。通过文本的分类实验表明,所提出的方法较目前常用的仅使用相似度单层聚类后再统计的方法,能更有效地提高文本特征提取的准确性。     

结合学科情感分析与依存关系的相似度评分

通过对语文古诗文阅读类主观题的分析,提出了结合学科情感分析与依存关系的相似度评分算法,并将其应用于高中语文古诗文阅读类主观题的评分中。首先,以中文维基百科语料为基础,增加了与评分相关的古诗文语料81 927条,通过文本向量化算法Word2vec进行词向量训练,完成了对古诗文语料库的构建;基于学科评分特性建立了对应的古诗文过滤词表,提出了基于词性的关键词提取及词向量的相似度计算方法;之后,针对情感分析模型对古诗文语句分析不准确的问题,结合同义词词林,建立了古诗文情感词库;并构建了学科情感分析模型,实现了基于学科情感分析的相似度计算方法;最后,通过关键词、学科情感分析以及依存句法分析,从多个维度计算学生答案与标准答案文本之间的加权语义相似度。并将构建的古诗文语料库、古诗文情感词库和学科情感分析模型,用于相似度综合评分算法,以此实现了结合学科情感分析与依存关系的相似度评分算法。实验表明,该算法的平均评分准确率达到了89.42%。     

一种PST_LDA中文文本相似度计算方法

为了降低中文文本相似度计算方法的时间消耗,提高文本聚类的准确率,提出了一种PST_LDA(词性标注潜在狄利克雷模型)中文文本相似度计算方法。首先,对文本中的名词、动词和其他词进行词性标注;然后,分别对名词、动词和其他词建立相应的LDA主题模型;最后,按照一定的权重比例综合这三个主题模型,计算文本之间的相似度。由于考虑了不同词性的词集对文本相似度计算的贡献差异,利用文本的语义信息提高了文本聚类准确率。将分离后的三个词集的LDA建模过程并行化,减少建模的时间消耗,提高文本聚类速度。在TanCorp-12数据集,分别用LDA方法和PST_LDA方法进行中文文本相似度计算模拟实验。实验结果显示,PST_LDA方法不仅减少了建模时间消耗,同时在聚类准确率上有一定的提高。     

基于图核算法的文本分类

在文本分类研究中,向量空间模型具有表示形式简单的特点,但只能表示特征词的词频信息而忽视了特征词间的结构信息和语义语序信息,所以可能导致不同文档被表示为相同向量。针对这种问题,本文采用图结构模型表示文本,把文本表示成一个有向图（简称文本图）,可有效解决结构化信息缺失的问题。本文将图核技术应用于文本分类,提出适用于文本图之间的相似度计算的图核算法--间隔通路核,然后利用支持向量机对文本进行分类。在文本集上的实验结果表明：与向量空间模型相比,间隔通路核相比于其他核函数的分类准确率更高,所以间隔通路核是一种很好的图结构相似性计算算法,能广泛应用于文本分类中。