中文语义相关度计算模型研究

现有的中文语义相关度计算模型对相关度的定义并不明确和统一,且计算方法多以相似度计算为基础,导致应用语义相关度存在局限。提出了一个新的语义相关的定义,认为两个词所表达的概念之间,如果存在用类似“知网”的知识描述体系所描述的语义关系,那么这两个概念之间就是语义相关的。通过挖掘这些直接或间接的关系,提出了一种新的语义相关度的计算模型,适用于所有类似知网的知识体系中语义相关度的计算。最后将该计算模型应用于词义排歧,验证了该计算模型的有效性。     

一种基于语义关系图的词语语义相关度计算模型

词语的语义计算是自然语言处理领域的重要问题之一,目前的研究主要集中在词语语义的相似度计算方面,对词语语义的相关度计算方法研究不够.为此,本文提出了一种基于语义词典和语料库相结合的词语语义相关度计算模型.首先,以HowNet和大规模语料库为基础,制定了相关的语义关系提取规则,抽取了大量的语义依存关系;然后,以语义关系三元组为存储形式,构建了语义关系图;最后,采用图论的相关理论,对语义关系图中的语义关系进行处理,设计了一个基于语义关系图的词语语义相关度计算模型.实验结果表明,本文提出的模型在词语语义相关度计算方面具有较好的效果,在WordSimilarity-353数据集上的斯皮尔曼等级相关系数达到了0.5358,显著地提升了中文词语语义相关度的计算效果.     

基于Wikipedia的语义相关度计算

在意见挖掘中,为实现特殊领域知识的语义相关度计算,提出基于Wikipedia的语义相关度计算方法。在构建Wikipedia类别树的基础上,通过Wikipedia类别向量表示Wikipedia中的词汇,形成一部包含各种领域知识的Wikipedia词典,利用该词典计算语义相关度。实验结果表明,该方法的斯皮尔曼等级相关系数可达到0.77。     

基于中文维基百科链接结构与分类体系的语义相关度计算

自然语言词汇的语义相关度的计算需要获取大量的背景知识,而维基百科是当前规模最大的百科全书,其不仅是一个规模巨大的语料库,而且还是一个包含了大量人类背景知识和语义关系的知识库,研究表明,其是进行语义计算的理想资源,本文提出了一种将维基百科的链接结构和分类体系相结合计算中文词汇语义相关度的算法,算法只利用了维基百科的链接结构和分类体系,无需进行复杂的文本处理,计算所需的开销较小.在多个人工评测的数据集上的实验结果显示,获得了比单独使用链接结构或分类体系的算法更好的效果,在最好的情况下,Spearman相关系数提高了30.96％.     

基于本体的语义相似度和相关度计算研究综述

语义相似度和相关度计算广泛应用于自然语言处理中,已有大量语义相似度和相关度算法被提出。分析总结了树和图结构中影响概念相似度或相关度的因素,综述了基于本体的英文语义相似度和相关度计算方法,明确了语义相似度和相关度的区别与联系,系统地对算法进行了分类,最后对每类算法进行了详细的比较。     

应用搜索引擎计算语义相关度的实现

具备模仿人类判断能力的语义相关度在很多方面尤其是自然语言处理领域中处于非常重要的地位。已有的算法或依赖于WordNet层级结构或由于自身局限性无法满足精确计算的要求,由此提出了一种基于搜索引擎的语义相关度算法,根据对两关键词网络搜索时系统返回的搜索页数来计算二者的语义相关度值。通过与其他算法进行对比实验可看出该算法与专家值重合度要远高于其他算法,而且对于计算对象无词性、语法以及语言等方面的限制,优越性较为明显。     

基于中文维基百科的词语语义相关度计算

语义相关度计算在信息检索、词义消歧、自动文摘、拼写校正等自然语言处理中均扮演着重要的角色。该文采用基于维基百科的显性语义分析方法计算汉语词语之间的语义相关度。基于中文维基百科,将词表示为带权重的概念向量,进而将词之间相关度的计算转化为相应的概念向量的比较。进一步,引入页面的先验概率,利用维基百科页面之间的链接信息对概念向量各分量的值进行修正。实验结果表明,使用该方法计算汉语语义相关度,与人工标注标准的斯皮尔曼等级相关系数可以达到0.52,显著改善了相关度计算的结果。     

基于关系运算的汉语词汇语义相关度计算

提出一种基于关系运算的汉语词汇语义相关度计算方法。该方法首先以知网为语义资源,根据义原特征文件构造知识库概念图;然后从集合论角度对语义关系的运算进行研究,形式化不同语义关系间的运算规律;接着根据语义运算,提出不同情况下义原相关度的计算方法;最后根据知网知识词典,提出不同情况下词汇语义相关度的计算方法。该方法在计算过程中不但能够充分利用知网中的语义信息,而且考虑到了语义间蕴含的规律,实验证明其是有效的。     

基于分布的词汇级语义相关度计算综述

在数字化智能信息处理领域,词汇级语言对象在语义上的相关关系可以为多种研究问题提供有效的特征线索。语义相关度计算是语义相关关系的量化手段,而基于分布相似度的计算方法是一类最典型的方法。这类方法将语言对象被转化为语义空间上的一个分布,通过分布的相似性评估对应语言对象的语义相关度。本文详细介绍了基于上下文分布、基于知识资源元素分布两种形式的代表性方法,并从基础资源的规模、质量、可扩展性三个角度,对这些方法进行了总结。     

基于Wikipedia的短文本语义相关度计算方法

语义相关度计算是自然语言处理领域的研究热点。现有的以文本相似度计算代替文本相关度计算的方法存在不足之处。提出从语形相似性和组元相关性两个方面来综合度量短文本之间的语义相关性,并提出2个以Wikipedia作为外部知识库的短文本相关度计算算法:最大词语关联法和动态组块法。在一个网络短文本测试集上对算法进行测评。实验结果表明,该算法与典型相似度计算算法比较,在正确率方面提高了20%以上。     

基于文本与语义相关性分析的图像检索

为了更加有效地检索到符合用户复杂语义需求的图像，提出一种基于文本描述与语义相关性分析的图像检索算法。该方法将图像检索分为两步：基于文本语义相关性分析的图像检索和基于SIFT特征的相似图像扩展检索。根据自然语言处理技术分析得到用户文本需求中的关键词及其语义关联，在选定图像库中通过语义相关性分析得到“种子”图像；接下来在图像扩展检索中，采用基于SIFT特征的相似图像检索，利用之前得到的“种子”图像作为查询条件，在网络图像库中进行扩展检索，并在结果集上根据两次检索的图像相似度进行排序输出，最终得到更加丰富有效的图像检索结果。为了证明算法的有效性，在标准数据集Corel5K和网络数据集Deriantart8K上完成了多组实验，实验结果证明该方法能够得到较为精确地符合用户语义要求的图像检索结果，并且通过扩展算法可以得到更加丰富的检索结果。     

一种基于节点语义相关性的XML关键字查询算法

现有的XML关键字查询算法,通常只考虑节点间的结构信息,以包含关键字匹配节点的子树作为查询的结果,而节点间的语义相关性一直没有被充分利用。这也是导致现有查询算法的结果中普遍含有大量语义无关的冗余信息的主要原因。在该文中,我们首先对查询关键字的环境语义及节点间的语义相关性进行了定义,在此基础上,提出了一种新的关键字查询算法,寻找语义相关单元作为关键字查询的结果。这样获得的查询结果,一方面不含语义无关的冗余信息,另一方面也与用户的查询意图更加匹配。实验表明,该文提出的算法在查询效率和精确性上都有较大改进。     

基于实体语义扩展的跨境民族文化文本检索

由于跨境民族相关的文化实体常出现相同实体具有不同名称表达的情况,使用当前主流的文本检索方法在跨境民族文化数据集上将面临语义稀疏的问题。该文提出一种基于实体语义扩展的跨境民族文化检索方法,利用跨境民族文化知识图谱,以知识三元组的形式将跨境民族文化之间的实体关联起来,并添加实体类别标签,以此缓解跨境民族文化实体中语义信息不充分的问题。通过TransH模型对实体及扩展语义信息进行向量化表示,融合到查询文本中进行语义增强,以此提升跨境民族文化文本检索的准确性。实验结果表明,该方法比基线模型提高了5.4%。     

基于FSRM的相关反馈图像检索算法

在基于内容的图像检索中,低层视觉特征和高层语义之间的“语义鸿沟”一直是基于内容图像检索技术前进的一大障碍。相关反馈机制在一定程度上缩小了图像检索中的“语义鸿沟”。提出了一种基于模糊语义相关矩阵(FSRM)的相关反馈算法。该算法根据用户对检索结果的反馈调整模糊语义相关矩阵中的权值,从而捕捉用户的检索企图,通过对模糊语义相关矩阵中数据的学习不断修正语义矩阵,达到低层视觉特征到高层语义特征的过渡,最终提高了查询的准确度。实验结果证明了该算法的有效性。     

标题与正文语义融合的新闻向量表示方法

针对新闻正文文本长度大、语义信息复杂的问题,提出了一种标题与正文语义融合的新闻向量表示方法（NRTA模型）。以新闻标题为查询,从正文的多个区域中挖掘标题的补充信息,关注前文语义的同时也关注后文语义,减少对新闻正文理解的偏差。在两个真实新闻推荐数据集MIND和Adressa上的实验表明,该方法较基线方法在各评价指标上的提升幅度在0.86%到3.95%之间,验证了正文后文语义信息的重要性,进一步丰富了新闻向量表示。     

基于语义增强的短文本主题模型

传统主题模型方法很大程度上依赖于词共现模式生成文档主题, 短文本由于缺乏足够的上下文信息导致的数据稀疏性成为传统主题模型在短文本上取得良好效果的瓶颈. 基于此, 本文提出一种基于语义增强的短文本主题模型, 算法将DMM (Dirichlet Multinomial Mixture)与词嵌入模型相结合, 通过训练全局词嵌...     

Semantic and secure search over encrypted outsourcing cloud based on BERT

Searchable encryption provides an effective way for data security and privacy in cloud storage. Users can retrieve encrypted data in the cloud under the premise of protecting their own data security and privacy. However, most of the current content-based retrieval schemes do not contain enough semantic information of the article and cannot fully reflect the semantic information of the text. In this paper, we propose two secure and semantic retrieval schemes based on BERT (bidirectional encoder representations from transformers) named SSRB-1, SSRB-2. By training the documents with BERT, the keyword vector is generated to contain more semantic information of the documents, which improves the accuracy of retrieval and makes the retrieval result more consistent with the user’s intention. Finally, through testing on real data sets, it is shown that both of our solutions are feasible and effective.     

一种基于统计语义聚类的查询语言模型估计

如何有效生成文档聚类并使用聚类信息提高检索效果是信息检索中的重要研究课题.如果假设文档中存在若干隐含的独立主题,那么文档可以看成是由这些隐含的独立主题混合噪声相互作用的结果.基于这个假设提出了一种基于独立分量分析的语义聚类技术,试图借助于独立分量分析的良好主题区分能力,将一组文档按照实际隐含的主题在语义空间上聚类.在语言模型的框架下,语义主题聚类将由用户初始查询按照一定的度量方式激活.利用激活语义聚类的信息估计一个反馈语义主题模型,并与初始查询模型一起形成新的查询模型.在5个TREC数据集上的实验结果表明：基于统计语义聚类估计的查询模型相比传统的查询模型以及其他基于聚类的语言模型在检索性能上有显著性提高.其主要原因是应用了和用户查询最相似的语义聚类信息来估计查询模型.     

基于多角度信息交互的文本语义匹配模型

现有的文本语义匹配方法大多基于简单的注意力机制进行交互,较少考虑文本自身结构信息和文本之间原始信息的的交互.针对2个中文文本的语义匹配问题,构建一个多角度信息交互的文本匹配模型MAII.分别从颗粒、局部、全局3个角度计算2个文本深层次的语义交互矩阵,同时考虑语序信息之间和结构信息之间的交互以及文本内部的依赖关系,从而得...     

综合底层、语义特征和相关反馈的医学图像检索

医学图像数据库的不断庞大使得医学图像检索成为研究热点。文章根据胸片图像的特点,提出了一种结合图像纹理、形状和语义信息的胸片图像检索方法。同时,还将相关反馈技术融合到算法中。据此,实现了一个图像检索原型系统,依据所设计的评价实验,将不同实验的检索结果进行了比较和分析。实验证明,该文提出的方法具有良好的检索效果。