基于N层向量空间模型的信息检索算法

N层向量空间模型在传统向量空间模型的基础上提出了的一种新的信息检索算法模型，这种模型将一篇文档从逻辑上划分为N个相对独立的文本段，然后按照文本段的内容建立文本特征向量以及文本权值向量，在此模型的基础上，更为精确地定义了特征值向量和相似度的计算方法，使之能比较好地适应文档集合的动态扩充，理论分析和实验结果表明，基于此模型实现的信息检索算法具有较快的查找速度和较高的查准率。     

基于向量空间模型的并行信息检索算法

基于向量空间模型的信息检索技术是较为成熟且应用广泛的信息检索技术，该技术将文档和查询信息均用向量空间表示，查询匹配问题转化为向量空间的矢量匹配问题，文档与查询的相似度可用向量之间的夹角来度量．信息检索速度是衡量信息检索技术好坏的重要指标，基于向量空间模型的信息检索之串行算法的计算复杂度为θ（n^3），本文提出了一种在Hypercube SIMD模型上的并行算法，其时间计算复杂度为θ（nlogn），该算法与传统的串行算法相比，能显著地提高查询速度．     

基于改进向量空间模型的Web信息检索技术研究

提出了一种改进的向量空间模型。该模型将一篇文档的相关信息从逻辑上划分为多个相对独立的文本段,按照不同位置的文本段确定相应的索引项权重,并给出了该模型的相似度计算方法。实验表明,将该模型应用于Web信息检索中,具有对输出结果的排序能力强、查询速度快等优点。     

基于超链接和内容相关度的检索算法

在网络环境下,经典的链接分析方法（HITS算法）过多的关注网页的权威性,忽视了其主题相关度,易产生主题漂移现象。文本在简要介绍HITS算法的基础上,分析了其产生主题漂移的原因,并结合内容相关度评价方法,提出了一种新的搜索算法——WHITS算法。实验表明,该算法挖掘了超链接间的潜在语义关系,能有效的引导主题挖掘。     

基于向量空间模型的中文信息检索技术研究

该文运用在西文信息检索中非常成功的向量空间模型来解决中文信息检索的问题,在中文文档的特征项抽取,加权、相似度计算,模型的建立等方面做了一些探讨,并建立系统原型,在小范围内进行了测试。     

一种基于向量空间模型的NSGA-II改进算法

带拥挤距离排挤机制的非支配排序遗传算法(NSGA-II)在多目标优化领域具有广泛的应用,NSGA-II算法具有个体分布不均匀以及重复个体较多等缺陷.针对这些缺陷提出一种基于向量空间模型的NSGA-II改进算法VSMGA(Vector Space M odel Genetic Algorithm),VSM GA算法在NSGA-II算法的基础上引入了向量空间模型,利用目标权重向量之间的余弦距离代替原来的拥挤距离,提出一种距离排挤机制和重复个体排除规则.实验结果表明与NSGA-II算法比较,VSMGA算法具有更好的分布性和稳定性.     

一种改进的XML向量空间模型及其近似匹配算法

XML已成为网上数据交换和存储的标准,然而现有的XML文档模型存在很多问题.综合了数据挖掘和信息检索两方面的技术,对传统的向量空间模型加以扩展,提出一种新的基于语义和支持度的XML向量空间模型并给出其生成算法,该模型抽取文档集的频繁路径作为特征,然后利用XML本身的语义特性,对标签之间作ontology判断.最后,基于该模型提出一种XML近似查询算法,将文档矩阵从改进的VSM空间映射到潜在语义空间,并在转换后的空间获得近似查询结果并排序.对提出的方法进行理论分析和实验验证,得到满意的结果.     

基于情感向量空间模型的歌词情感分析

音频信号在歌曲情感分析中难以奏效,所以该文提出以歌词作为歌曲情感分析的依据,采取基于情感单元的情感向量空间模型(s-VSM)进行歌词情感分析。该模型较好地解决了基于词汇的向量空间模型(w-VSM)在文本表示效率、歧义、情感功能和数据稀疏性等方面的不足。同时,该文将情感词词频与Thayer二维情感压力模型相结合,提出了“轻松”、“压抑”之外的“复杂”、“含蓄”两类新的情感压力类别。实验证明 (1)s-VSM模型在歌词情感分类中优于传统方法;(2)四类情感压力模型对歌词情感分析很有帮助。     

基于空间向量模型的用户建模算法改进

建模算法属于个性化搜索引擎的范畴，而空间向量建模是表示页面特征和用户兴趣的方法之一。建模的效率的好坏直接影响到个性化搜索的准确性。文章在基于统计学的基础上对特征词频率计算的作出了适当的调整，通过引入非线性函数使得特征词的权重非线性增加，更加反应了词语的频率的真实性。建模算法的改进更加考虑了特征词的所在的位置，提高用户兴趣向量的准确性，改进了计算页面特征向量和用户兴趣向量的相关性，从而提高了个性化兴趣度的准确性，使个性化搜化更加符合用户的兴趣。     

一种基于向量空间模型的主观题批改算法

文字类主观题的自动批改是在线考试系统的一个关键技术。本文在研究主观题自动批改技术现状的基础上,提出了一种基于向量空间模型的短语级句子相似度计算方法,并基于该计算方法设计了一种主观题自动批改算法,经验证,实验结果基本达到预期目标。     

基于多层向量空间模型的Web信息检索方法

针对Web信息检索的特点,在分析传统向量空间模型存在问题的基础上,提出了一种多层向量空间模型。该模型将一篇文档的相关信息从逻辑上划分为多个相对独立的文本段。按照不同位置的文本段确定相应的索引项权重,并给出了该模型的相似度计算方法。实验表明,将该模型应用于Web信息检索中,具有对输出结果的排序能力强、查询速度快等优点。     

基于文档空间向量距离的查询扩展

查询扩展是信息检索中优化查询的一种有效方法。在分析几种基于互信息的查询扩展方法的基础上,将检索词在文档空间中的距离引入到互信息计算中,提出基于向量距离的改进互信息的查询扩展方法。实验结果表明,该方法能够有效提高信息检索中的查询效果。     

基于相关文档池建模的查询扩展

在信息检索领域,相关反馈是提高检索性能的有效方法之一。所谓相关反馈,指用户按照一定策略从查找到的相关文档中选择一些和主题相关的词进行查询扩展的技术。本文介绍了概率模型和向量空间模型下的常用查询扩展方法,并提出了一种基于语言模型的相关反馈方法,该方法同时考虑了扩展词应该具备的两个特征,即相关性和覆盖性。在TREC测试集上对这些算法进行了比较,结果表明这种新算法在平均准确率上比传统方法有所提高。     

基于向量距离的词序相似度算法

手机POI搜索已经成为手机搜索的主要应用之一。该文结合手机搜索的特点以及POI数据的结构性特征采用简拼进行POI搜索。由于词序相似度是影响简拼搜索排序结果的主要因素,该文提出了基于向量距离计算词序相似度的算法。该算法采用空间向量模型作为简拼的表示方法,将提取的公共简拼映射为位置向量,进而利用位置向量间的距离计算词序相似度。通过理论分析,该算法相比基于逆序数的词序相似度算法,将时间复杂度由O(nlogn)降为O(n),空间复杂度由O(n)降为O(1)。实验结果表明,基于向量距离的词序相似度算法有效地保证了准确性,可以满足手机POI简拼搜索的应用需求,并在性能上将词序相似度的计算效率提高16.88%。     

基于日志挖掘的搜索引擎用户行为分析

随着网络搜索用户的大规模增加,网络用户行为分析已成为网络信息检索系统进行架构分析、性能优化和系统维护的重要基石,是网络信息检索和知识挖掘的重要研究领域之一。为更好理解网络用户的搜索行为,该文基于7.56亿条真实网络用户行为日志,对用户行为进行分析和研究。我们主要考察了用户搜索行为中的查询长度、查询修改率、相关搜索点击率、首次/最后一次点击位置分布以及查询内点击数分布等信息。该文还基于不同类型的查询集合,考察用户在不同查询需求下的行为差异性。相关分析结果对搜索引擎算法优化和系统改进等都具有一定的参考意义。     

基于向量空间模型的文本过滤系统

文本过滤是指从大量的文本数据流中寻找满足特定用户需求的文本的过程.首先从任务、测试主题、语料库和评测指标等方面介绍了文本检索领域最权威的国际评测会议--文本检索会议(TREC)及其中的文本过滤项目,然后详细地描述了基于向量空间模型的文本过滤系统.该系统由训练和自适应过滤两个阶段组成.在训练阶段,通过特征抽取和伪反馈建立初始的过滤模板,并设置初始阈值;在过滤阶段,则根据用户的反馈信息自适应地调整模板和阈值.该系统参加了2000年举行的第9次文本检索会议的评测,取得了很好的成绩,在来自多个国家的15个系统中名列前茅,其中自适应过滤和批过滤的平均准确率分别为26.5%和31.7%.     

基于聚类语言模型的生物文献检索技术研究

近年来研究表明使用主题语言模型增强了信息检索的性能,但是仍然不能解决信息检索存在的一些难点问题,如数据稀疏问题,同义词问题,多义词问题,对文档中不可见项和可见项的平滑问题。这些问题在一些领域相关文献检索中显得尤其重要,比如大规模的生物文献检索。本文提出了一种新的基于聚类的主题语言模型方法进行生物文献检索,这主要包括两个方面工作,一是采用本体库中的概念表示文档,并在此基础上进行模糊聚类,把聚类的结果作为数据集中的主题,文档属于某个主题的概率由文档与聚类的模糊相似度决定。二是采用EM算法来估计主题产生项的概率。把上述方法集成到语言模型中就得到本文的语言模型。本文的语言模型能够准确描述项在不同主题中的分布概率,以及文档属于某个主题的概率,并且利用本体中概念部分地解决了同义词问题,而且项可以由不同的主题产生,这也能够部分解决词的多义问题。本文的方法在TREC 2004/05 Genomics Track数据集上进行了测试,与简单语言模型以及现有主题语言模型相比,检索性能得到一定的提高。     

SHITS:一种基于超链接和内容的网页排序方法

回顾了当前应用于大型搜索引擎的主流网页排序算法，对其中的ARC算法进行了改进，提出了一种基于超链接和内容的网页排序算法--SHITS（Similarity—HITS）算法．SHITS算法用超链接所引用的网页内容代替了ARC算法中所采用的锚文本来评估该超链接的重要性，这一改进不仅提高了算法区分链接重要性的能力，也避免了对大量锚文本内容的分析．通过与相关算法的对比实验，结果表明：SHITS算法网页排序的准确率明显优于其它算法．此外，SHITS算法也具有较好的效率：计算代价小于ARC算法，与HITS算法相当．     

藏文字符的向量模型及构件特征分析

藏文字属性分析是藏文信息处理的一项基础性工作,对藏文信息处理的研究和藏语文教学具有重要的参考价值及指导意义。藏文字是一种特殊的拼音文字,由1～7个基本构件横向和纵向拼接而成。因而藏文字符的属性包括其组成的构件及其构件的位置特征,以及藏文字的使用频度、结构、字长等属性特征。该文通过分析藏文字的结构,分别建立了藏文字及藏文字符串的向量模型VMTT、VMTS和藏文字符串的稀疏域模型SLM,并在向量模型和稀疏域模型上研究了藏文字符的构件特征。