基于子树匹配的文本相似度算法

为降低文本向量维度,提高文本间语义相似度度量性能,综合利用统计方法与语义词典的优势,提出一种文本相似度算法.基于文本生成元数据特征向量,减少向量空间维度,设计基于子树匹配的文本相似度算法,借助子树加速对文本相似度的计算,并通过将文本元数据特征向量与子树进行相似度语义匹配,提高文本相似度计算时语义相似度度量的准确性.该算法考虑到对元数据中同义词的语义理解,加强文本之间相似度度量时的语义覆盖能力.实验结果表明文中所提出的方法是可行和有效的.     

基于文本-语义相似度的云制造资源功能匹配

云制造资源功能匹配受到高计算量的影响,导致匹配性能大大降低.为了提高云制造资源功能匹配性能,提出了基于文本-语义相似度的云制造资源功能匹配.将云制造资源的概念进行抽象化,通过定义类别与属性之间的关系,构建云制造资源本体模型,利用处理函数对云制造资源进行归一化处理,得到多维功能匹配向量;根据文本向量和语义向量的位置关系,分析影响向量之间关系的主要因素,计算云制造资源文本向量与语义向量之间的相似度,通过从输入输出匹配和前提效果匹配两个方面,计算了云制造资源功能之间的相似度,实现云制造资源功能的匹配.实验结果表明,基于文本-语义相似度的云制造资源功能匹配方法在匹配效率和匹配精度方面,具有较高的匹配性能.     

基于增量式相似度的样本评估方法

现有的强化学习算法存在样本利用率低的问题,导致智能体寻找最优策略的能力下降.为解决这个问题,提出了基于增量式相似度的样本评估方法.设计了一个状态新颖度度量方法和一个样本价值评价函数.计算新状态与基准状态之间的相似度,基于状态的相似度计算状态的新颖程度,再增量式更新基准状态,直到训练结束.计算样本价值时,将状态的新颖程度考虑在内,再针对样本奖励值是否大于零分别进行计算.最后根据其样本价值结合排名选择和随机选择进行采样.该方法在Playing Atari 2600的控制问题中取得了更高的奖励值,说明该方法缓解了样本利用率低的问题,且通过增量式计算相似度减少了计算量.     

基于孪生网络和字词向量结合的文本相似度匹配

文本相似度匹配是许多自然语言处理任务的基础,本文提出一种基于孪生网络和字词向量结合的文本相似度匹配方法,采用孪生网络的思想对文本整体建模,实现两个文本的相似性判断.首先,在提取文本特征向量时,使用BERT和WoBERT模型分别提取字和词级别的句向量,将二者结合使句向量具有更丰富的文本语义信息;其次,针对特征信息融合过程中出现的维度过大问题,加入PCA算法对高维向量进行降维,去除冗余信息和噪声干扰;最后,通过Softmax分类器得到相似度匹配结果.通过在LCQMC数据集上的实验表明,本文模型的准确率和F1值分别达到了89.92%和88.52%,可以更好地提取文本语义信息,更适合文本相似度匹配任务.     

基于相似度算法的英语智能问答系统设计与实现

智能问答系统是在搜索引擎的基础上融合了自然语言知识和应用的人工智能产品,相比较传统的依靠关键字匹配的搜索引擎,能够更好地满足用户的查询需求。针对现有的英语智能问答系统中知识呈现的单一化以及系统查询效率低等现状,采用基于距离的相似度算法,设计并实现了基于相似度算法的英语智能问答系统。实验结果表明该系统能够较为准确地回答小学生的英语问题,对远程教育中小学英语智能问答系统的构建起到参考和借鉴的作用。     

改进Bi-LSTM的文本相似度计算方法

为提高自然语言处理任务中文本相似度检测的准确率,提出一种改进双向长短期记忆网络(Bi-LSTM)的文本相似度计算方法。将输入的句子转换成多个单词向量,通过Bi-LSTM提取出每个单词向量的最佳词特征,引入注意力机制,减小非关键因素的影响;采用多层相似加权对两个句子分别从词与词、句子与句子、词与句子3个层面进行多层比较,加权得到其最终的相似度;基于SMTeuroparl、MSRvid和MSRpar这3个数据集对所提方法的性能进行评估。实验结果表明,相比于其它方法,所提方法的文本相似度计算更佳,适用于处理复杂的长文本。     

基于矩阵相似度的最佳样本块匹配算法及其在图像修复中的应用

在基于纹理合成的图像修复算法中,最佳样本块匹配算法存在匹配精度不高和时间复杂度高等问题。针对上述问题,首先构造了块匹配算法,采用矩阵相似度来计算模板块与样本块之间的匹配度,以相对较粗的粒度初步选出最佳样本块的候选集。然后,又构造了像素点匹配算法,采用模板块与候选最佳样本块之间的误差矩阵的内积来计算对应像素点之间的匹配度,以更细的粒度来确定最终的最佳样本块。块匹配算法降低了时间复杂度,像素点匹配算法提高了匹配精度,因此,在此基础上构造的基于相似矩阵的最佳样本块匹配算法能够在不增加时间复杂度的情况下提高算法的匹配精度。实例验证结果表明,与当前基于纹理的图像修复算法相比,该算法的匹配精度提高,时间复杂度降低。     

基于词汇相似度的元素级本体匹配

随着语义Web的不断发展，本体数量日益增加。本体匹配作为本体映射、比较和集成的基础，具有重要的实际意义。由第3届国际语义Web大会(3th ISWC)主办的本体匹配竞赛(EON2004)对多种本体匹配工具进行比较和评估。该文提出了一种元素级本体匹配算法LANA(Lexical Analyzer)，该算法通过计算词汇相似度得到两本体间的元素匹配对。与EON2004中的其它元素级本体匹配方法相比，LANA在没有增加匹配复杂度的基础上，具有较好的准确率和召回率。     

基于框架结构的智能预案相似度匹配研究

目前国内外数字化预案尚没有统一的标准,各类预案特别是操作性预案还不完备,而且大都以纸质文档或文本方式存储,结构多样化、复杂化,很难帮助决策者进行信息筛选与整合。本文通过对现有应急预案和应急响应过程的分析,对应急预案的知识利用框架技术进行表示,研究了预案的匹配算法,给出了预案相似度以及价值评估的计算方法。     

问句相似度计算综述

近年来,基于常见问题集的问答系统被广泛的应用到各个领域,而问句相似度计算是基于常见问题集的问答系统的核心模块,因此问句相似度计算方法变得越加重要。该文对问句相似度计算方法进行了综述,分别介绍了各个方法,同时对比了各个方法,最后指出了今后本领域的研究方向。     

基于多特征融合的句子语义相似度计算

传统的句子相似度计算方法只关注句子的某个特征,导致召回率和准确率的不均衡。针对该问题,提出一种基于多特征的句子相似度计算方法(MFS)。该方法加入包含词性和位置信息的词权重,并综合考虑词的语义和句子结构。实验结果表明,与其他方法相比,MFS方法的F1值较高。在基于实例的问答系统中,使用MFS方法得到的MRR值也较高。     

结合Bert与Bi-LSTM的英文文本分类模型

作为自然语言处理技术中的底层任务之一,文本分类任务对于上游任务有非常重要的辅助价值。而随着最近几年深度学习广泛应用于NLP中的上下游任务的趋势,深度学习在下游任务文本分类中性能不错。但是目前的基于深层学习网络的模型在捕捉文本序列的长距离型上下文语义信息进行建模方面仍有不足,同时也没有引入语言信息来辅助分类器进行分类。针对这些问题,提出了一种新颖的结合Bert与Bi-LSTM的英文文本分类模。该模型不仅能够通过Bert预训练语言模型引入语言信息提升分类的准确性,还能基于Bi-LSTM网络去捕捉双向的上下文语义依赖信息对文本进行显示建模。具体而言,该模型主要有输入层、Bert预训练语言模型层、Bi-LSTM层以及分类器层搭建而成。实验结果表明,与现有的分类模型相比较,所提出的Bert-Bi-LSTM模型在MR数据集、SST-2数据集以及CoLA数据集测试中达到了最高的分类准确率,分别为86.2%、91.5%与83.2%,大大提升了英文文本分类模型的性能。     

基于关键信息的问题相似度计算

判断问题相似是社区问答(community question answer, CQA)中很重要的一个研究方向.社区问答中的问题通常由主题和描述构成.由于社区问答的开放性,用户的提问长短不一,而问题中会包含大量干扰模型判断问题是否相似的背景信息.为了减少上述问题对计算问题相似度的影响,模型将关键词及问题主题视为问题的关键信息,并使用这些信息计算问题相似度.首先,在基于文本间相似及相异信息的CNN模型的基础上引入了关键词抽取技术.同时,为了更好地利用问题主题的信息,模型融合了问题主题相似度的特征.模型在SemEval2017评测的问题相似任务中进行了实验,其平均精度均值(mean average precision, MAP)达到了49.65%,超过了评测中的最佳结果.     

基于正负反馈矩阵的SVD推荐模型

矩阵奇异值分解技术已经被广泛应用在个性化推荐系统之中。通过矩阵奇异值分解可以提高个性化推荐的准确度。传统的奇异值分解模型对整个矩阵进行分解,得到 user 和 item 两个特征矩阵,然后进行评分预测,并未考虑不同范围的评分包含的不同信息。通过计算评分中的临界值,把评分矩阵拆分成两个矩阵,称为正反馈矩阵和负反馈矩阵。再基于两个反馈矩阵的特征来完成对评分的预测。在实验数据方面,使用MovieLens的数据集,对传统的奇异值分解模型(SVD)和基于超图的奇异值分解模型(HSVD)进行改进。实验结果表明,引入偏好区分概念的模型PSVD、PHSVD,其推荐效果都优于原模型。     

网络答疑本体的生成与匹配方法研究*

针对网络答疑具体任务,提出答疑本体概念,构建答疑本体,并提出一种基于答疑本体的答案匹配方法和相似度计算公式。公式不仅考虑词之间的相似度,还考虑问题答案对(QAp)在本体中的位置。该位置信息隐含了句子结构上的语义和词的语义扩展。实验结果表明提出的答疑本体能够有效表示QAp,易于答疑系统的检索匹配。     

一种基于相似性的规则集一致性度量的新方法

规则学习算法通过学习样本产生规则集,如何判断规则集的好坏?目前规则集的评估标准有很多,如一致性、可测量性和易理解性评估,但它们有各自的缺点。提出一种新的评估规则集方法:相似性度量。这种度量方法可以计算出两个规则集之间的正相似性与负相似性。实验说明这种新的度量方法可以被用来评估规则集间的一致性,并且可以决定使用哪种算法解决某类问题或选择组合分类模型中的基模型。     

基于Do-Bi-LSTM模型的电子政务文本相似度评估模型

针对当前政务系统中人工审批文本效率低下的问题,本文将文本相似度引入电子政务中。当前基于文本相似度的网络模型中,存在着生成的词向量矩阵巨大,需要大量的时间去训练,而且仅利用上下文的环境来生成词向量,忽略了文档的语序和语义的关系。为了提高效率并降低训练成本,本文提出基于Do-Bi-LSTM文本相似度计算方法,该模型首先通过Doc2vec语言模型把训练数据集中的文本转换成向量,该方法在词向量的基础上增加了文本向量,从而获取了句子之间以及段落之间的相互关系。然后把得到的向量作为Bi-LSTM网络模型的输入进行模型训练,最后与LSTM网络模型、传统的深度网络模型相比,实验表明本文方法的准确率有很大的提高,具有可行性。     

一种基于SA_LDA模型的文本相似度计算方法

计算文本的相似度是许多文本信息处理技术的基础。然而,常用的基于向量空间模型(VSM)的相似度计算方法存在着高维稀疏和语义敏感度较差等问题,因此相似度计算的效果 并不理想。在传统的LDA(Latent Dirichlet Allocation)模型的基础上,针对其需要人工确定主题数目的问题,提出了一种能通过模型自身迭代确定主题个数的自适应LDA(SA_LDA)模型。然后,将其引入文本的相似度计算中,在一定程度上解决了高维稀疏等问题。通过实验表明,该方法能自动确定模型主题的个数,并且利用该模型计算文本相似度时取得了比VSM模型更高的准确度。     

基于Adaboost算法的人眼检测中样本选择研究

人眼检测在表情识别和人脸识别中起着非常重要的作用,是驾驶员疲劳检测的基础。采用了基于Adaboost算法的人眼检测的方法,训练阶段中的样本选择是Adaboost算法的关键,分析和讨论了训练阶段不同特征的正、负样本对最终检测结果的影响,提出了一种新型的负样本选择方法,并实验得到了各种样本训练生成的分类器对人脸库的检测率和误检率,得出用去除眼睛部分余下的人脸作为负样本训练出来的分类器能有效降低误检率,为以后的眼睛分类器训练提供了实验依据。