融合位置相关和概率排序的Lucene排序算法改进

文档检索结果的排序和文本分类技术是解决垂直搜索、个性化信息检索、信息过滤等相关问题的核心技术。为了提高检索系统的性能,针对Lucene的基础排序算法,提出了一种融合位置相关和概率排序的改进方法。考虑到查询词在文档中出现的位置信息和概率排序对文档相关性的影响,利用位置相关的查询词权值和基于朴素贝叶斯分类算法的文档相关性概率值,对Lucene基础排序算法的评分公式进行改进。实验表明,该改进方法能够有效提高垂直搜索的准确率,使用户拥有更好的垂直搜索体验。     

基于知识图谱和图嵌入的个性化学习资源推荐

面对海量的在线学习资源,学习者往往面临“信息过载”和“信息迷航”等问题,帮助学习者高效准确地获取适合自己的学习资源来提升学习效果,已成为研究热点.针对现有方法存在的可解释性差、推荐效率和准确度不足等问题,提出了一种基于知识图谱和图嵌入的个性化学习资源推荐方法,它基于在线学习通用本体模型构建在线学习环境知识图谱,利用图嵌入算法对知识图谱进行训练,以优化学习资源推荐中的图计算效率.基于学习者的学习风格特征进行聚类来优化学习者的资源兴趣度,以获得排序后的学习资源推荐结果.实验结果表明,相对于现有方法,所提方法能在大规模图数据场景下显著提升计算效率和个性化学习资源推荐的准确度.     

一种数学表达式检索结果相关排序算法

针对数学表达式符号种类繁多、结构复杂多变、语法语义丰富等特点,提出一种检索结果相关排序算法,利用犹豫模糊集在处理多特征、多隶属度模式方面的优势,计算数学表达式间的相似度,实现基于相似度的数学表达式检索结果的相关排序。通过归纳数学表达式的符号、结构、语法、语义方面的特征,建立数学表达式的相似度函数,对数学表达式检索系统中用户查询式与检索结果集中数学表达式之间的相似程度进行综合多视角的测量。实验结果表明,该算法能实现数学表达式检索系统结果数据的有序输出,有助于改善数学表达式检索系统的性能。     

一种基于listwise的在线学习书目排序检索算法

高效检索是数字图书馆的核心业务之一,其中排序是高效信息检索的核心问题。给定一系列的书目列表,利用排序模型生成目标书目的排序列表。将学习排序算法应用于信息检索领域时,常用方法是通过最小化pairwise损失函数值来优化排序模型。然而,已有结论表明,pairwise损失值最小化不一定能得到listwise算法的最佳排序性能。并且将在线学习排序算法与listwise算法相结合也非常困难。提出了一种基于listwise的在线学习排序算法,旨在保证listwise算法性能优势的前提下,实现在线学习排序算法,从而降低检索复杂度。首先解决将在线学习排序算法与listwise算法相结合的问题;然后通过最小化基于预测列表和真实列表定义的损失函数来优化排序模型;最后提出基于online-listwise算法的自适应学习率。实验结果表明,所提出算法具有较好的检索性能和检索速度。     

模仿排序学习模型

文档排序一直是信息检索(IR)领域的关键任务之一。受益于马尔科夫决策过程强大的建模能力,以及强化学习方法强大的求解能力,近年来基于强化学习的排序模型被提出并取得了良好效果。然而,由于候选文档中会包含大量的不相关文档,导致基于“试错”的强化学习方法存在效率低下的问题。为解决上述问题,该文提出了一种基于模仿学习的排序学习算法IR-DAGGER,其基于文档标注信息构建专家策略,在保证文档排序精度的同时提高了算法的学习效率。为了测试IR-DAGGER的性能,该文基于面向相关性排序任务的OHSUMED数据集和面向多样化排序的TREC数据集进行了实验,实验结果表明IR-DAGGER在上述两个数据集上均提升了文档排序的精度和效率。     

WEB主题检索的性能优化设计

Web主题检索是信息检索领域一个将采集技术与过滤方法结合的新兴方向,也是信息处理领域的研究热点。针对现有主题检索系统在Web页面文本的主题相关性判断和Spider搜索策略方面存在的问题,引入两个性能优化方案,即利用信息抽取技术,提出了一种基于模式集的主题相关性判断方法来提高主题判断准确度;针对pagerank在主题检索中存在的不足,引入基于增强学习的页面评估算法,提出了Web环境优先的搜索策略。最后根据实验结果评估两个算法的性能。     

面向海量植物图像的智能检索系统设计

针对传统软件技术设计的植物图像检索系统中存在无法实现智能检索、植物图像数量增长慢、检索系统难以扩容,以及当植物图像数量达到百万级以上时检索效率低和检索请求高并发时植物图像加载慢等问题,提出利用百度AI技术、ImageSharp图像分割技术和CV2颜色识别技术实现植物图像的智能检索。利用FastDFS技术实现检索系统的动态扩容、负载均衡和植物图像的快速加载,利用Solr搜索引擎技术提高海量植物图像的检索效率,利用Python爬虫技术不断丰富检索系统的植物图像从而实现检索系统的可持续化发展。实验结果表明,通过上述技术能够构建一个面向海量植物图像的智能检索系统。     

融合图卷积和胶囊网络的内容感知排序推荐

为提升内容感知推荐算法的性能,提出一种基于排序学习融合胶囊网络和图卷积网络的内容感知推荐算法。构建图卷积网络学习文本特征并捕获非连续和长距离的语义信息,利用胶囊网络提取文本信息中的层次结构信息,融合这两个网络学习文本的细粒度特征;基于项目偏好排序和文本内容相关性排序,构建一个基于扩展BPR模型的联合似然函数损失函数,实现Top-N的排序推荐。真实数据集的实验结果表明,该算法有效提升了推荐性能。     

基于深度学习的SIFT图像检索算法

深度学习作为一个新的机器学习方向,被应用到计算机视觉领域上成效显著.为了解决分布式的尺度不变特征转换（Scale-Invariant Feature Transform,SIFT）算法效率低和图像特征提取粗糙问题,提出一种基于深度学习的SIFT图像检索算法.算法思想：在Spark平台上,利用深度卷积神经网络（Convolutional Neural Network,CNN）模型进行SIFT特征抽取,再利用支持向量机（Support Vector Machine,SVM）对图像库进行无监督聚类,然后再利用自适应的图像特征度量来对检索结果进行重排序,以改善用户体验.在Corel图像集上的实验结果显示,与传统SIFT算法相比,基于深度学习的SIFT图像检索算法的查准率和查全率大约提升了30个百分点,检索效率得到了提高,检索结果图像排序也得到了优化.     

一种基于局部保形映射(LPP)的相关反馈方法

目前图像检索通常采用高效的图像降维算法和适当的相关反馈技术来提高检索的效率。局部保形映射(LPP)算法是保留图像本质特征的一种有效的线性降维算法。本文在LPP算法的基础上引入相关反馈技术,进一步提高了检索准确度。利用LPP算法得到降维子空间,在子空间上得出查询数据的k-近邻构成候选数据集,并与查询数据集构建一个权图G,通过弗洛伊德算法求得图G中任意两个数据点之间的测地线距离并排序进而得出反馈结果。实验表明,该算法提高了检索的准确度,并使检索结果得到一定的优化。     

一种基于排序学习方法的查询扩展技术

查询扩展作为一门重要的信息检索技术,是以用户查询为基础,通过一定策略在原始查询中加入一些相关的扩展词,从而使得查询能够更加准确地描述用户信息需求。排序学习方法利用机器学习的知识构造排序模型对数据进行排序,是当前机器学习与信息检索交叉领域的研究热点。该文尝试利用伪相关反馈技术,在查询扩展中引入排序学习算法,从文档集合中提取与扩展词相关的特征,训练针对于扩展词的排序模型,并利用排序模型对新查询的扩展词集合进行重新排序,将排序后的扩展词根据排序得分赋予相应的权重,加入到原始查询中进行二次检索,从而提高信息检索的准确率。在TREC数据集合上的实验结果表明,引入排序学习算法有助于提高伪相关反馈的检索性能。     

基于多哈希算法的大规模图像快速检索方法

哈希技术被视为最有潜力的相似性搜索方法,其可以用于大规模多媒体数据搜索场合。为了解决在大规模图像情况下,数据检索效率低下的问题,提出了一种基于分段哈希码的倒排索引树结构,该索引结构将哈希码进行分段处理,对每段哈希码维护一个倒排索引树结构,并结合高效的布隆过滤器构建哈希索引结构。为了进一步提高检索准确性,设计了一种准确的排序融合算法,对多个哈希算法的排序结果分别构建加权无向图,采用PageRank的思想对基于多个哈希算法的排序列表的融合技术进行了详细的说明。实验结果表明,基于分段哈希码的倒排索引树结构能极大地提升数据的检索速度。此外,相比于传统的单个哈希算法排序技术,基于多个哈希算法的排序列表融合技术的检索准确率优势显著。     

基于语义相关度排序的政务信息资源检索算法

政务信息资源检索是政务信息资源共享系统的重要功能。以《政务信息资源目录体系》国家标准中的XML元数据规范为依据,提出了一种支持关键词搜索的政务信息资源检索算法。该算法使用政务信息资源XML元数据的TF*IDF和关键词依赖度对检索结果集进行语义相关度排序,通过改进关键词倒排索引来提高检索效率。实验表明该算法在检索结果排序精确度和时间效率上均有较大的改善,可有效提高政务信息资源利用的数据共享服务能力。     

An adaptive learning automata-based ranking function discovery algorithm

Due to the massive amount of heterogeneous information on the web, insufficient and vague user queries, and use of the same query by different users for different aims, the information retrieval process deals with a huge amount of uncertainty and doubt. Under such circumstances, designing an efficient retrieval function and ranking algorithm by which the most relevant results are provided is of the greatest importance. In this paper, a learning automata-based ranking function discovery algorithm in which different sources of information are combined is proposed. In this method, the learning automaton is used to adjust the portion of the final ranking that is assigned to each source of evidence based on the user feedback. All sources of information are first given the same importance. The proportion of a given source increases, if the documents provided by this source are reviewed by the user and decreases otherwise. As the proposed algorithm proceeds, the probability of appearance of each source in the final ranking gets proportional to its relevance to the user queries. Several simulation experiments are conducted on well-known data collections and query types to show the performance of the proposed algorithm. The obtained results demonstrate that the proposed algorithm outperforms several existing methods in terms of precision at position n, mean average precision, and normalized discount cumulative gain.     

基于遗传算法的刻面权重构件检索方法的实现

提出了一种改进的基于遗传算法的刻面权重自学习构件检索模型（CRMFWS）,采用基于刻面权重自学习的遗传算法来动态地改变刻面权重以提高查准率;采用基于构件采样的风险最小化算法来解决训练数据不充分问题。实验结果表明该算法是可行的,能够大幅度提高构件的检索效率。     

基于贝叶斯学习的视频检索相关反馈算法设计*

针对信息检索中如何提高检索的精度问题,提出了一个基于相关反馈的视频检索算法.使用概率框架来描述检索问题,并根据贝叶斯学习按照用户的行为来更新概率分布,实现自动相关反馈,提高了检索精度.实验表明,用该算法检索的准确度比基于最近邻特征线(NFL)的视频检索方法有明显提高.     

基于强化学习的多样性文档排序算法

在排序学习方法中,通过直接优化信息检索评价指标来学习排序模型的方法,取得了很好的排序效果,但是其损失函数在利用所有排序位置信息以及融合多样性排序因素方面还有待提高。为此,提出基于强化学习的多样性文档排序算法。首先,将强化学习思想应用于文档排序问题,通过将排序行为建模为马尔可夫决策过程,在每一次迭代过程中利用所有排序位置的信息,不断为每个排序位置选择最优的文档。其次,在排序过程中结合多样性策略,依据相似度阈值,裁剪高度相似的文档,从而保证排序结果的多样性。最后,在公共数据集上的实验结果表明,提出的算法在保证排序准确性的同时,增强了排序结果的多样性。     

Learning Social Tag Relevance by Neighbor Voting

Social image analysis and retrieval is important for helping people organize and access the increasing amount of user tagged multimedia. Since user tagging is known to be uncontrolled, ambiguous, and overly personalized, a fundamental problem is how to interpret the relevance of a user-contributed tag with respect to the visual content the tag is describing. Intuitively, if different persons label visually similar images using the same tags, these tags are likely to reflect objective aspects of the visual content. Starting from this intuition, we propose in this paper a neighbor voting algorithm which accurately and efficiently learns tag relevance by accumulating votes from visual neighbors. Under a set of well-defined and realistic assumptions, we prove that our algorithm is a good tag relevance measurement for both image ranking and tag ranking. Three experiments on 3.5 million Flickr photos demonstrate the general applicability of our algorithm in both social image retrieval and image tag suggestion. Our tag relevance learning algorithm substantially improves upon baselines for all the experiments. The results suggest that the proposed algorithm is promising for real-world applications.