潜在语义标引在中文信息检索中的研究与实现

随着网络信息的迅猛发展,信息检索已经成为人们获取信息不可缺少的工具。基于向量空间模型的检索方法是语义检索的重要研究方向,潜在语义标引模型是向量检索方法的一个有力扩展。对LSI中所涉及的关键技术,包括传统的向量空间模型的原理,以及潜在语义索引模型的原理、设计、实现,进行了研究和探讨,同时开发了一个适合中文信息检索的系统原型。对系统进行了测试,取得了较好的实验效果。     

潜在语义分析理论及其应用

潜在语义分析(Latent Sereantic AnMysis,LSA)是一种用于自动地实现知识提取和表示的理论和方法,它通过对大量的文本集进行统计分析,从中提取出词语的上下文使用含义。在技术上,它同向量空间模型类型类似,都是采用空间向量表示文本,但通过SVD分解等处理,消除了同义词、多义词的影响,提高了后续处理的精度。将着重介绍LSA方法的基本思想、特点、实现方法,以及基于LSA思想的具体应用。     

基于加权潜在语义分析的答案抽取

问答系统应该能够用准确、简洁的语言回答用户用自然语言提出的问题,其关键和核心实现技术是答案抽取。结合关键词在用户问句和返回文档中的权重,通过潜在语义分析技术实现了中文问答系统中的答案抽取。实验结果表明,加权LSA的MRR值要明显优于未加权LSA和空间向量模型的MRR值,实际用于回答用户提出的问题具有较好的效果。     

基于潜在语义分析的文本连贯性分析

文本连贯性分析是计算机辅助评估中的重要内容,是对文本的表达质量进行评估的基础.提出一种将潜在语义分析方法与基于有序聚类的层次分析方法相结合的文本层次结构分析方法,该方法保证了层次划分的有序性,可操作性强,不依赖于具体领域.基本思想是:对于输入文本,首先识别文本物理结构,然后将文本依据主题划分为若干层次,最终获得文本的逻辑结构.实验结果表明,该方法是有效的,其准确率达到74.96%.     

基于改进潜在语义分析算法的文本情感分类研究

针对文本挖掘过程中存在的搜索空间过大问题,介绍潜在语义分析的方法,指出该方法应用在文本情感分类中,具有空间占用小的优点,阐述潜在语义分析算法通过对词项和文档矩阵进行奇异值分解,能够有效降低文本情感分类的搜索空间并对词项在语义层面进行分析,解决一词多义的问题。     

基于概率潜在语义分析的中文信息检索

传统的信息检索模型把词看作孤立的单元,没有考虑自然语言中存在大量的同义词、多义词现象,对召回率和准确率有不利的影响。概率潜在语义模型使用统计的方法建立“文档-潜在语义-词”之间概率分布关系并利用这种关系进行检索。该文将概率潜在语义模型用于中文信息检索,实验结果表明,概率潜在语义模型相对于传统的向量空间模型能够显著地提高检索的平均精度。     

基于潜在语义索引的文本分析方法

本文分析是文本处理领域中的重要内容,它可以有效地改进文本检索、文本过滤以及文本摘要的精度.本文简要描述了文本的物理结构和逻辑结构以及文本分析的背景,将潜在语义索引引入文本分析中,提出了基于潜在语义索引的层次分析方法.该方法保证了层次划分的有序性和聚合性,可操作性强,便于解释,并给出了在文本检索、文本过滤和文本摘要中的应用.     

基于潜在语义分析的智能答疑系统研究与实现

文中研究的是基于常问问题库（FAQ库）的智能答疑系统。FAQ库是很多智能答疑系统中的一个重要组成部分,它把用户常问的问题和相关答案保存起来,对于用户输入的问题,可以首先在FAQ库中查找答案。如果能够找到相似的问题,就可以直接将问题所对应的答案返回给用户。为解决智能答疑系统因词的同义或多义现象而导致的“漏答”或“错答”,采用一种基于加权潜在语义分析模型的相似度计算方法。针对特定教育领域的智能答疑系统．改进了反映词与词之间相关性的权值计算。通过对特定课程中常问问题的实验,结果显示明显优于向量空间模型。     

基于潜在语义分析的智能答疑系统研究与实现

文中研究的是基于常问问题库(FAQ库)的智能答疑系统.FAQ库是很多智能答疑系统中的一个重要组成部分.它把用户常问的问题和相关答案保存起来,对于用户输入的问题,可以首先在FAQ库中查找答案.如果能够找到相似的问题,就可以直接将问题所对应的答案返回给用户.为解决智能答疑系统因词的同义或多义现象而导致的"漏答"或"错答",采用一种基于加权潜在语义分析模型的相似度计算方法.针对特定教育领域的智能答疑系统,改进了反映词与词之间相关性的权值计算.通过对特定课程中常问问题的实验,结果显示明显优于向量空间模型.     

一种基于聚类的语义检索算法

潜在语义分析在进行大规模语义检索时计算效率较低、存储开销较大。针对该问题,提出一种基于聚类的潜在语义检索算法。通过文档之间的结构关系对文档进行聚类,利用簇代替文档分析潜在语义,以此减少处理文档的个数。实验结果表明,该算法能减少查询时间,且检索精确度较高。     

基于潜在语义分析的视频检索

潜在语义分析技术是建立在视频分析基础之上的，它通过某种映射关系来建立视频特征矩阵，实现了基于内容的视频检索。阐述了潜在语义分析技术，进行了视频颜色和纹理特征提取研究，实验结果表明，潜在语义分析对于视频内容检索效果较好。     

基于语义信息的中文短信文本相似度研究

在传统TF-IDF模型基础上分析中文短信文本中特征词的语义信息,提出一种中文短信文本相似度度量方法。对短信文本进行预处理,计算各词语的TF-IDF值,并选择TF-IDF值较高的词作为特征词,借助向量空间模型的词语向量相似度,结合词语相似度加权,给出2篇短信文本相似度的计算方法。实验结果表明,该方法在F-度量值上优于TF-IDF算法及词语语义相似度算法。     

基于概念空间的文本分类研究

1.引言随着文本信息的快速增长,特别是Internet上在线信息的增加,文本(网页)自动分类已成为一项具有较大实用价值的关键技术,是组织和管理数据的有力手段。文本分类的方法分为两类:一是基于知识的分类方法;二是基于统计的分类方法。基于知识的文本分类系统应用于某一具体领域,需要该领域的知识库作为支撑。由于知识提取、更新、维护以及自我学习等方面存在的种种问题,使得它适用     

基于文本与语义相关性分析的图像检索

为了更加有效地检索到符合用户复杂语义需求的图像，提出一种基于文本描述与语义相关性分析的图像检索算法。该方法将图像检索分为两步：基于文本语义相关性分析的图像检索和基于SIFT特征的相似图像扩展检索。根据自然语言处理技术分析得到用户文本需求中的关键词及其语义关联，在选定图像库中通过语义相关性分析得到“种子”图像；接下来在图像扩展检索中，采用基于SIFT特征的相似图像检索，利用之前得到的“种子”图像作为查询条件，在网络图像库中进行扩展检索，并在结果集上根据两次检索的图像相似度进行排序输出，最终得到更加丰富有效的图像检索结果。为了证明算法的有效性，在标准数据集Corel5K和网络数据集Deriantart8K上完成了多组实验，实验结果证明该方法能够得到较为精确地符合用户语义要求的图像检索结果，并且通过扩展算法可以得到更加丰富的检索结果。     

基于Web的信息检索技术综述

随着信息技术的发展,特别是Web的不断普及和应用,Web上的信息飞速增长,形成了巨大的信息资源。因此,如何从巨量的信息中快速有效地提取出所需的信息,成为迫切需要解决的问题。文章分别介绍了几种传统的信息检索模型和基于潜在语义分析的信息检索模型,以及自动问答系统,并在多方面对它们进行比较,最后展望了问答系统的应用前景。     

基于Rough集潜在语义索引的Web文档分类

Rough集(粗糙集)埋论是一种处理不确定或模糊知识的数学工具。提出了一种基于Rough集理论的潜在语义索引的Web文档分类方法。首先应用向量空间模型表示Web文档信息,然后通过矩阵的奇异值分解来进行信息过滤和潜在语义索引;运用属性约简算法生成分类规则,最后利用多知识库进行文档分类。通过试验比较,该方法具有较好的分类效果。