面向Web电子产品信息分布式检索系统的设计与实现

为了从这些海量信息中获取“有用的、满足用户需求的信息”,提出一个基于Hadoop和Lucene技术的分布式检索系统架构处理Web电子产品信息检索。利用Hadoop的Map和Reduce实现分布式索引文件的存储,通过Lucene检索技术实现索引文件的访问,从而提高信息检索的效率。并且针对Lucene_Hadoop架构存在粗粒度检索问题,提出了一种细粒度检索方法,减少了系统建立索引的时间。实验表明基于Hadoop和Lucene的分布式检索系统在Web电子产品信息中具有较高的检索性能。     

基于人工标注的个性化检索系统评测的研究

个性化信息检索可以根据用户的检索兴趣返回个性化的检索结果。该文构建了个性化检索标注系统和个性化检索评测系统,生成个性化检索系统所需的语料集;并提出了以用户为中心的基于人工标注的个性化检索评价方法。个性化检索评测系统采用了NIST所建立的评价体系,根据用户的标注结果对个性化检索系统的性能进行自动评价,并给出量化、直观的性能指标。     

一种基于锚文本的并行检索策略

进行Web信息检索时,页面中的锚文本与正文存在较大相关性,多数检索系统忽视了锚文本对页面正文的贡献。该文提出一种提高检索精度的方法,为文档集建立一个基于页面正文的索引和一个基于锚文本的索引,对其采取并行检索策略。实验结果表明,该方法可以有效处理特定结构的网页集。     

一个基于P2P技术的分布式视频检索系统

分布式视频检索是当前网络环境下信息检索的重要技术和方式之一,能够改善传统视频检索技术的性能.本文在分析已有视频检索系统发展状况的基础之上,利用FreePastry分布式平台以及P2P网络的可扩展性、负载均衡和稳定性,研究构建基于P2P(Peer-to-Peer)的分布式视频检索系统的方法.利用倒排索引技术和模糊查询技术提高视频检索效率.实验结果表明该系统在扩展性、查全率和查询准确率等性能上取得了较好效果.     

针对中文检索的Lucene改进策略

为了提高基于Lucene中文检索系统的检索精度和效率,通过分析Lucene的结构,在系统中加入了中文分词模块和索引文档预处理模块。给出了具体的实验方法和实验过程,对改进原理和实验数据进行了分析,表明了加入中文分词模块和在索引预处理模块中采用提取特定数量的特征词来替代文档的方法能够有效提高Lucene检索系统的效率和精度,增强Lucene检索系统中文的性能。     

基于语义的中文网页检索

用户期望搜索引擎能提供基于语义的网页信息检索。基于本体、基于自然语言理解、基于文本统计分析的方法是实现中文网页语义检索的主要途径。分析了它们的实现方法、技术挑战和优、缺点;建议中文网页语义检索系统的开发应选择与普通用户联系紧密的应用领域,并以汉语词汇为索引单元,适量地采用中文信息处理技术。基于语义的中文网页检索应在以下方面加强研究:语义相关性评价方法、本体构建和实体抽取算法、基于语义的索引、大规模语义标注样本集开发等。     

基于对象的彩信图像检索系统的研究与实现

基于对象的彩信图像检索系统是继图像检索和彩信检索结合的新一代信息检索技术,介绍了目前热门的基于对象的图像检索系统的概念,以及应用到彩信检索领域的工作原理.在基于对象的图像检索基础上,加入了对图像中区域对象的识别过程,并将识别结果存入图像属性索引数据库,然后在检索过程中根据用户输入的对象查询请求,到数据库里进行检索,最终将检索结果返回给彩信用户.     

专业信息检索系统中索引项提取策略的研究

索引项（Index Unit）的提取是中文全文检索领域的关键技术之一。将通用搜索引擎的索引项提取策略应用于某一专业领域的检索系统中,会出现因标引词典无法覆盖该领域的专业词汇而造成的查准率偏低和因辞典不断加入专业词汇而造成检索效率降低的矛盾。介绍了一种面向专业领域的索引项提取策略,通过在提取过程中区分索引项和专业索引项并分别计算其权值,提升专业索引项与目标文档的相似度。在北京公安交通管理领域的网页数据集进行实验,证明该索引策略在查询专业领域信息时可提供较高的查准率并显著提高检索效率。     

专业信息检索系统中索引项提取策略的研究

索引项(Index Unit)的提取是中文全文检索领域的关键技术之一.将通用搜索引擎的索引项提取策略应用于某一专业领域的检索系统中,会出现因标引词典无法覆盖该领域的专业词汇而造成的查准率偏低和因辞典不断加入专业词汇而造成检索效率降低的矛盾.介绍了一种面向专业领域的索引项提取策略,通过在提取过程中区分索引项和专业索引项并分别计算其权值,提升专业索引项与目标文档的相似度.在北京公安交通管理领域的网页数据集进行实验,证明该索引策略在查询专业领域信息时可提供较高的查准率并显著提高检索效率.     

基于位置语言模型的中文信息检索系统的研究

在大多数现有的检索模型中常常忽略了如下事实:一个文档中匹配到的查询词项的近邻性和打分时所基于的段落检索也可以被用来促进文档的打分。受此启发,提出了基于位置语言模型的中文信息检索系统,首先通过定义位置传播数的概念,为每个位置单独地建立语言模型;然后通过引入KL-divergence检索模型,并结合位置语言模型给每个位置单独打分;最后由多参数打分策略得到文档的最终得分。实验中还重点比较了基于词表和基于二元两种中文索引方法在位置语言模型中的检索效果。在标准NTCIR5、NTCIR6测试集上的实验结果表明,该检索方法在两种索引方式上都显著改善了中文检索系统的性能,并且优于向量空间模型、BM25概率模型、统计语言模型。     

DF还是IDF?主特征模型在Web信息检索中的使用

Web信息检索的难点之一就是简短、模糊的用户查询与存在大量冗余和噪声的文档之间的不匹配.对Web文档信息特征进行分析,提出Web文档主特征词、主特征域和主特征空间的概念,在该空间上使用文档频度DF(document frequency)信息而非传统意义上的IDF(inverse document frequency)信息进行权值计算,并给出一个改进的相似度计算模型.使用该模型在10G和19G的两个大规模Web文档集合上进行了3组标准测试.比较实验表明,与传统IDF思想相比,在各项评价指标上,DF相关的主特征权值计算方法都能始终较大幅度地提高系统性能,最大达到18.6%的性能改善.     

Term weighting for information retrieval based on term’s discrimination power

One of the most important research topics in Information Retrieval is term weighting for document ranking and retrieval, such as TFIDF, BM25, etc. We propose a term weighting method that utilizes past retrieval results consisting of the queries that contain a particular term, retrieval documents, and their relevance judgments. A term’s Discrimination Power(DP) is based on the difference degree of the term’s average weights obtained from between relevant and non-relevant retrieved document sets. The difference based DP performs better compared to ratio based DP introduced in the previous research. Our experimental result shows that a term weighting scheme based on the discrimination power method outperforms a TF*IDF based scheme.     

Chinese document re-ranking based on automatically acquired term resource

In this paper, we address the problem of document re-ranking in information retrieval, which is usually conducted after initial retrieval to improve rankings of relevant documents. To deal with this problem, we propose a method which automatically constructs a term resource specific to the document collection and then applies the resource to document re-ranking. The term resource includes a list of terms extracted from the documents as well as their weighting and correlations computed after initial retrieval. The term weighting based on local and global distribution ensures the re-ranking not sensitive to different choices of pseudo relevance, while the term correlation helps avoid any bias to certain specific concept embedded in queries. Experiments with NTCIR3 data show that the approach can not only improve performance of initial retrieval, but also make significant contribution to standard query expansion.     

Web信息检索结构化排序函数与标引词加权技术

分析了当前Web信息检索的技术现状,指出检索效率不高的根本原因在于搜索引擎所采用的排序函数和标引词加权技术。介绍了传统的信息检索排序函数和标引词加权技术。分析了Web文档的特点,指出其主要形式HTML文档是一种结构化文档,结构由标签显式地定义,不同文档结构对检索性能的贡献不同。对本领域国内外学者的成果作了对比研究。最后探讨了Web信息检索排序函数及标引词加权技术的发展方向。     

Context based NLP framework of textual tagging for low resource language

Understanding the context of any phrase or extracting relationships requires part of speech tagging (POS). This article proposes an RNN-based POS tagger and compares its performance with some of the existing POS tagging methods. We present novel LSTM-based RNN architecture for POS tagging. The study attempts to determine the usefulness of machine learning and deep learning techniques for tagging part-of-speech of words for the low-resource Hindi language, which is an Indo-Aryan language spoken mostly in India. During the experiments, different deep learning architecture (ANN and RNN) and machine learning methods (HMM, SVM, DT) have been used. A multi-representational treebank and an open-source dataset have been used for the performance analysis of the proposed framework. The experimental results in terms of macro-measured variables have shown better results compared to some state-of-the-art methods.

     

基于聚类语言模型的生物文献检索技术研究

近年来研究表明使用主题语言模型增强了信息检索的性能,但是仍然不能解决信息检索存在的一些难点问题,如数据稀疏问题,同义词问题,多义词问题,对文档中不可见项和可见项的平滑问题。这些问题在一些领域相关文献检索中显得尤其重要,比如大规模的生物文献检索。本文提出了一种新的基于聚类的主题语言模型方法进行生物文献检索,这主要包括两个方面工作,一是采用本体库中的概念表示文档,并在此基础上进行模糊聚类,把聚类的结果作为数据集中的主题,文档属于某个主题的概率由文档与聚类的模糊相似度决定。二是采用EM算法来估计主题产生项的概率。把上述方法集成到语言模型中就得到本文的语言模型。本文的语言模型能够准确描述项在不同主题中的分布概率,以及文档属于某个主题的概率,并且利用本体中概念部分地解决了同义词问题,而且项可以由不同的主题产生,这也能够部分解决词的多义问题。本文的方法在TREC 2004/05 Genomics Track数据集上进行了测试,与简单语言模型以及现有主题语言模型相比,检索性能得到一定的提高。     

提高韵律短语正确切分方法的研究

汉语自动词性标注和韵律短语切分都是汉语文语转换（Text-to-Speech)系统的重要组成部分，在用从人工标注的语料库中得到韵律短语切分点的边界模式以及概率信息，对文本中的韵律短语切分点进行自动预测时，语素g这种词性就过于模糊，导致韵律短语切分点预测得不合理，该文提出了一种修改词类标注集，去掉语素g这种词性的方法，该方法在进行词性标注时，对实语素恰当地柰注出在句中的词性，以便提高韵律短语的正确切分，应用此方法对10万词的训练集和5万词的测试集分别进行封闭和开放测试表明，词性标注正确率分别可达96．67％和92．60％，并采用修改过的词类标注集，对1000句的文本进行了韵律短语切分点的预测，召回率在66．21％左右，正确率达到75．79％。     

统计与规则并举的汉语句法分析模型

在自然语言分析中，传统的基于规则的方法和近年兴起的基于统计的方法各有利弊，如何把二者有机的结合起来，以提高分析器的处理能力，是当前计算语言学的重要课题。本文采用依存文法，提出了一种基于依存文法的融合语料库，规则方法和统计方法的汉语分析模型。该模型的特点是将汉语依存文法分析看作是与词性标注过程等价的一个基于统计的标注过程。文中首先介绍了ＣＲＳＰ的设计思想，然后讨论了从标注过的语料中获取知识的方法，叙     

改进的HMM应用于哈萨克语词性标注

哈萨克语的词性标注在自然语言信息处理领域中扮演着重要角色,是句法分析、信息抽取、机器翻译等自然语言处理的基础。在传统的HMM的基础上改进了HMM模型参数的计算、数据平滑以及未登录词的处理方法,使之更好地体现词语的上下文依赖关系。利用基于统计的方法对哈萨克语熟语料进行训练,然后用Viterbi算法实现词性标注。实验结果表明利用改进的HMM进行词性标注的效果比传统的HMM好。     

基于词向量的藏文词性标注方法研究

藏文词性标注是藏文信息处理的基础,在藏文文本分类、自动检索、机器翻译等领域有广泛的应用。该文针对藏文语料匮乏,人工标注费时费力等问题,提出一种基于词向量模型的词性标注方法和相应算法,该方法首先利用词向量的语义近似计算功能,扩展标注词典;其次结合语义近似计算和标注词典,完成词性标注。实验结果表明,该方法能够快速有效地扩大了标注词典规模,并能取得较好的标注结果。