潜在语义索引中特征优化技术的研究

潜在语义索引被广泛应用于信息检索、文本分类、自动问答等领域中。潜在语义索引是一种降维方法,它把共现特征映射到同一维空间上,而非共现特征映射到不同的空间上。在潜在语义索引的语义空间中,共现特征通过文档内部以及文档之间的特征传递关系获得。该文认为这种特征传递关系会引入一些不存在的共现特征,从而降低潜在语义索引的性能,应该对这种特征传递关系进行一些选择,削除不存在的共现特征信息。该文采用文档频率对文档集合进行特征选择,用Complete-Link聚类算法在两个公开语料上进行三个实验,实验结果显示,保留文档频度的10%～15%时,其F1值分别提高了6.577 0%,1.992 8%和3.361 4%。     

Updating the partial singular value decomposition in latent semantic indexing

Latent semantic indexing (LSI) is a method of information retrieval (IR) that relies heavily on the partial singular value decomposition (PSVD) of the term-document matrix representation of a data set. Calculating the PSVD of large term-document matrices is computationally expensive; hence in the case where terms or documents are merely added to an existing data set, it is extremely beneficial to update the previously calculated PSVD to reflect the changes. It is shown how updating can be used in LSI to significantly reduce the computational cost of finding the PSVD without significantly impacting performance. Moreover, it is shown how the computational cost can be reduced further, again without impacting performance, through a combination of updating and folding-in.     

基于LSI和SVM分类法的定题邮件过滤研究

潜在语义索引(LSI)是一种有效的信息查询方法,同时也被成功地应用到了文本分类中。LSI能解决同义和多义的问题,通过降低原始文档-术语矩阵的噪声来凸现出词条和文档之间的语义关系。为了识别和过滤有害的、不期望的定题的信息或Email,在双语言环境下(包括中文和英文),提出了一个基于改进的LSI方法的定题邮件类信息过滤系统,该系统采用潜在语义模型来表示被过滤的信息类,通过奇异值分解和正例监护学习方法,选择支持向量机(SVM)来识别和分类预定义的定题信息。实验结果表明:基于LSI的特征选择的SVM分类算法是一种更有效的信息识别和文本分类方法,不但具有较好的分类性能,同时也能大大减小计算的复杂性。     

隐含语义索引及其在中文文本处理中的应用研究

信息检索本质上是语义检索,而传统信息检索系统都是基于独立词索引,因此检索效果并不理想,隐含语义索引是一种新型的信息检索模型,它通过奇异值分析,将词向量和文档向量投影到一个低维空间,消减了词和文档之间的语义模糊度,使得文档之间的语义关系更为明晰。实验和理论结果证实了隐含语义索引能够取得更好的检索效果。本文论述了隐含语义索引的理论基础,研究了隐含语义索引在中文文本处理中的应用,包括中文文本检索、中文文本分类和中文文本聚类等。     

基于潜在语义的网络社区发现

采用类似于LSI的方法,对于blog网页的链接进行了一次关于潜在语义的探索,借以发现网络社区。从实验的结果来看,基本验证了最初的想法,网页链接在一定程度上包含潜在语义的信息。注意到语义网与现今的HTML网页在链接问题上思想基本一致（只是多了语义的标记）,因此该方法同样适用于语义网内的社区发现与信息检索,这也是进行研究初衷。另一个贡献是通过幂迭代对GMC聚类作了算法上的优化,使得在海量数据上的处理速度大大加快。     

一种压缩域特征提取与语义图像检索技术

为了解决“语义鸿沟”问题，通过将隐含语义索引(LSI)技术引入到图像语义提取问题的研究中，试图从图像的视觉特征中抽取出“高层概念”．基于GM(1，1)压缩域中的一种图像特征，提出了一种建立“图像视觉特征”与“语义信息”之间映射的技术方法．实验研究表明，这种基于压缩域特征和LSI技术的图像检索方法能显著改善图像检索的性能，提高图像检索的质量．     

Text classification using genetic algorithm oriented latent semantic features

In this paper, genetic algorithm oriented latent semantic features (GALSF) are proposed to obtain better representation of documents in text classification. The proposed approach consists of feature selection and feature transformation stages. The first stage is carried out using the state-of-the-art filter-based methods. The second stage employs latent semantic indexing (LSI) empowered by genetic algorithm such that a better projection is attained using appropriate singular vectors, which are not limited to the ones corresponding to the largest singular values, unlike standard LSI approach. In this way, the singular vectors with small singular values may also be used for projection whereas the vectors with large singular values may be eliminated as well to obtain better discrimination. Experimental results demonstrate that GALSF outperforms both LSI and filter-based feature selection methods on benchmark datasets for various feature dimensions.     

基于潜在语义索引的文本浏览机制

文本浏览是伴随着因特网上日益增多的在线文本而出现的辅助阅读机制,本文给出了基于潜在语义索引的文本浏览机制。它吸取了潜在语义索引和概念标注的优点,利用潜在语义索引,减少词汇间的“斜交”现象,在语义空间上进行项与项、文本与文本、项与文本之间的相似度计算。利用概念词典将文本特征项按语义分类,给予层次分类以确定的含义。最后,实现以分层概念为基础的信息导航。     

一种结合语义特征和视觉特征的图像检索方法

为了解决传统的CBIR系统中存在的"语义鸿沟"问题,提出一种结合语义特征和视觉特征的图像检索方法.将图像的语义特征和视觉特征数据结合到同一个索引向量中,进行基于内容的图像检索.系统使用潜在语义索引(LSI)技术提取图像的语义特征,提取颜色直方图作为图像的视觉特征.通过将图像底层视觉特征与图像在向量空间中的语义统计特征相...     

隐含语义索引模型的分析与研究

在深入分析向量空间模型基础上，对其进行扩展，设计了一种隐含语义索引模型——LSI。LSI通过奇异值分解，将词向量和文档向量投影到一个低维空间，消减了词和文档之间的语义模糊度。理论分析证明，隐含语义索引模型具有更准确的文档语义内容的表达能力，能够取得更好的检索效果。