基于混合相关的Markov网络信息检索扩展模型

查询扩展是提高检索性能的有效方法。为了弥补在数据集中由于词对没有直接出现而导致无法统计出词间关系进行查询扩展的缺陷,该文通过提取Markov网络中的词团信息来量化词间的混合相关性,将强化后的词间混合相关性应用于信息检索扩展模型中。实验表明 基于混合相关的Markov网络信息检索扩展模型的检索效果优于基于直接相关的查询扩展模型;此外,该文提出的模型在总体检索性能上略优于基于团的Markov网络信息检索模型,但在词团提取上大大减少了计算开销。     

基于权重标准化SimRank方法的查询扩展技术研究

查询扩展是信息检索中的一项重要技术。传统的局部分析查询扩展方法利用伪相关文档作为候选词集合,然而部分伪相关文档并不具有很高的相关性。该文利用真实的搜索引擎查询日志,建立了查询点击图,经过多次图结构的转化得到能够反映词之间关联程度的词项关系图,并在图结构的相似度算法SimRank的基础上,提出了一种基于权重标准化的改进SimRank方法,该方法利用词项关系图中词项的全局和间接关系,能够有效挖掘与原始查询相关联的扩展词。同时,为降低SimRank算法的计算复杂度,该文采用了剪枝等策略进行优化,使得计算效率有大幅提高。在TREC标准数据集上的实验表明,该文的方法可以有效地选择相关扩展词。MAP指标较局部分析查询扩展方法提高了1.81%,在P@10和P@20指标评价中效果分别提高了5.44%和3.73%。     

基于词重要性的Markov网络查询扩展模型

词项权重已经广泛应用于信息检索模型中,针对传统的词项独立性假设的词袋模型的问题,本文将基于词重要性的词项权重的计算方法应用于Markov网络查询扩展模型中。该词项权重的计算方法须先建立文档的词项图,然后根据词项图得到词项的共现矩阵和词项间的概率转移矩阵,最后利用Markov链的计算方法得到词的权重。将得到的词项权重代入Markov网络扩展模型中,在5个标准数据集上的实验结果表明,采用基于词重要性的Markov网络查询扩展模型的检索结果优于传统的基于词袋的检索结果。     

个性化的社会标签查询扩展技术研究

随着互联网上的信息日益增长,个性化的搜索需求越来越迫切,由于用户兴趣的不同和行为的差异,如何为不同的用户提供不同的检索结果成为一个具有挑战性的问题。首先对现有搜索引擎的个性化信息检索和查询扩展技术进行了分类总结,分析了它们各自的优缺点。然后提出了基于社会化标签的个性化查询词扩展方法。这些方法通过从用户所收藏的社会化标签或标签所对应的网页中提取出和用户查询词相关的词,来对用户的初始查询进行扩展。最后利用Delicious网站上的用户数据,对比研究了这几种个性化查询扩展算法。通过与Google进行对比分析实验,结果表明所提出的社会化标签的个性化查询词扩展方法能够较好地满足用户的个性化需求,检索结果比Google的检索结果更接近用户需求。     

用户驱动的微博可视化搜索

目的 微博作为一个社交与信息分享平台,日信息量数以亿计,如何高效地搜索用户感兴趣的信息成为亟待解决的问题.提出了一个新颖的用户驱动的可视化微博信息搜索方法.方法 采用特征词及其权重来建模用户的兴趣特征,并基于此建立用户与特征词之间的相关关系.搜索微博信息时,首先定位与检索词相关的微博用户,在相关微博用户的微博中筛选与搜索相关的微博.另外,采用关注度传递算法对搜索进行扩展,将返回的特征词和微博用户进行可视化展示,并提供交互供用户查看与选定特征词或用户相关的微博.结果 实验结果表明,基于本文方法,用户可以高效地定位感兴趣的微博信息.结论 以用户作为桥梁,大大缩小了微博信息的搜索范围,同时采用关注度传递算法对搜索进行扩展,对结果进行可视化展示.实验表明本文方法能够使用户快速搜索出感兴趣的信息.     

基于网页查询结果的广告查询扩展研究

在计算广告学中,为用户查询返回相关的广告一直是研究的热点。然而用户的查询一般比较简短,广告的表示也局限在简短的创意和一些竞价词上,返回符合用户查询意图的广告十分困难。为了解决这个问题,该文提出利用多特征融合的方法进行广告查询扩展,先将查询输入到搜索引擎中,获得Top-k网页查询结果,将它们作为获取扩展词的外部资源,由于采用一般的特征选取方法获取扩展词采用的特征比较单一,缺乏语义信息,容易产生主题漂移现象,该文通过计算扩展词和查询词在网页查询结果中的共现度,并融合传统的TF特征和词性信息,获得与原始查询语义相关的扩展词。在真实的广告语料上的实验结果显示,基于多特征融合的选择广告扩展词的方法能有效地提高返回广告的相关性。     

基于用户搜索行为的query-doc关联挖掘

query和doc之间的关联关系是搜索引擎期望获取的一类有价值的信息. query和doc间准确的关联分析不仅可以帮助搜索结果排序,也在query和doc之间的桥接中起到重要作用,以实现相关query和doc之间的信息传递,有利于更深入的query理解和doc理解,并在此基础上开展相关应用.本文提出了一种基于用户搜索行为的query和doc关联关系挖掘算法,该方法首先对用户搜索点击日志中的数据进行整理与分析,构建query与doc间的二部图,再通过采用马尔可夫随机游走模型对二部图数据进行建模,挖掘二部图中的点击数据和session数据,最终挖掘出点击日志中用户没有点击到的doc数据,从而预测出query和doc间的隐含关联关系,同时也可以利用该算法得到query和query潜在的关联关系.基于以上理论基础,我们实现了一套完整的日志挖掘系统,通过大量的实验对比,该系统在各方面均取得了优异的表现,其中对检索结果相关性的性能提升可以达到71.23%,这充分表明,本文所提出的理论和算法能够很好地解决query和doc之间的隐含关系挖掘问题,为提高搜索结果的召回率、实现查询推荐和检索结果聚类奠定了良好的前提基础.     

基于语义查询扩展的垂直搜索研究

基于关键词的搜索引擎无法满足用户需求,传统查询扩展方式又会带来许多语义理解错误,针对该问题,提出一种基于本体的垂直搜索引擎概念模型,建立基于关键词和基于概念的两层索引结构,利用行业领域本体对用户提交的关键词进行语义查询扩展,并对按照本体标注的文档进行排序优化,提高查询的查全率和查准率。     

基Word Embedding的软件工程领域语义相关词挖掘方法

软件的开发及维护过程中经常要对代码进行搜索。基于关键字匹配的代码搜索面临与传统信息检索一样的问题,即用户查询关键字与代码文本用词不匹配。为提高代码搜索精度,需要挖掘软件中的语义相关词进行查询扩展。本文针对软件工程领域设计了一种基于Word Embedding的语义相关词挖掘方法,并且采用IT技术问答网站Stack Overflow的文档作为语料库训练得到了共包含19332个单词的语义相关词表。与前人工作的对比实验验证了本文方法挖掘的语义相关词能有效提高代码搜索精度。     

基于色彩传递的图像马赛克算法研究

针对传统图像马赛克算法中的瓦片图像颜色调整问题,提出一种基于全局色彩传递的图像马赛克算法,提高瓦片图像对源图像颜色空间的拟合阶数,在此基础上采用矩形碎片图像拼贴方式实现了相应的马赛克系统。实验结果表明,该算法能够获得良好的性能。     

基于层次依赖的Markov网络信息检索扩展模型

查询扩展是解决查询词与相关文档中的词不匹配而导致检索效率低下问题的关键技术之一。提出了基于层次依赖的Markov网络信息检索扩展模型。该模型综合考虑了候选词与查询词的层次距离、词间相关性、词节点的出度和路径等因素,通过层次依赖关系对候选词进行重新加权,选择与查询最为相关的候选词应用于信息检索扩展模型,有利于挖掘出更多潜在的、深层次依赖关系的查询候选词。在5个标准数据集上进行了实验,结果表明基于层次依赖的Markov网络信息检索扩展模型与未进行查询扩展的BM25模型相比,在3-avg和11-avg上分别提高了5%~41%和5%~70%不等,与基于直接相关的Markov网络信息检索扩展模型相比,该模型在总体检索效率上表现更优。     

基于翻译模型的查询会话检测方法研究

查询会话检测的目的是确定用户为了满足某个特定需求而连续提交的相关查询。查询会话检测对于查询日志分析以及用户行为分析来说是非常有用的。传统的查询会话检测方法大都基于查询词的比较,无法解决词语不匹配问题(vocabulary-mismatch problem)——有些主题相关的查询之间并没有相同的词语。为了解决词语不匹配问题,我们在该文提出了一种基于翻译模型的查询会话检测方法,该方法将词与词之间的关系刻画为词与词之间的翻译概率,这样即使词与词之间没有相同的词语,我们也可以捕捉到它们之间的语义关系。同时,我们也提出了两种从查询日志中估计词翻译概率的方法,第一种方法基于查询的时间间隔,第二种方法基于查询的点击URLs。实验结果证明了该方法的有效性。     

基于查询扩展的人名消歧

针对现有很多基于特征的人名消歧方法不适用于文档本身特征稀疏的问题,提出一种借助丰富的互联网资源,使用搜索引擎查询并扩展出更多与文档相关特征的方法。首先根据搜索引擎的特性构建了四类查询规则,然后通过这些查询规则进行搜索并返回前k个文档,最后对这些文档使用文档频率(DF)方法进行特征选择,并将选择的特征加入到原文档中。实验证明,该方法能显著提高人名消歧系统的性能,平均F值由76%增加到81%。     

基于搜索引擎的Deep Web数据源发现技术

随着Web数据库的广泛应用,Web正在不断“深化”。传统搜索引擎只能检索浅层网络,却不能直接索引到深层网络（Deep Web）的资源。为了有效地利用Deep Web资源,必须要对Deep Web数据进行大规模集成。其中,数据源发现是整合Deep Web资源的首要工作,能否高效地发现Deep Web站点是Deep Web数据获取的关键。提出了一种基于传统搜索引擎的Deep Web数据源发现方法,该方法通过分析返回结果来扩展查询,从而进一步提高了数据源发现的效率。实验证明该方法能得到较好的结果。     

基于时间点击图挖掘的查询建议方法

采用查询建议技术表现用户查询意图的多样化,并自动向用户提供多种选择,是当前搜索引擎普遍的做法。但当前的查询建议研究鲜有考虑时间因素对生成查询建议的影响,而实际上在很多情况下,用户的查询意图会随着时间的推移发生改变。为此,根据时间点击图挖掘原理提出一种查询建议方法。对原始的查询日志文件进行预处理,生成时间点击图。对时间点击图进行非连通子图检测和图的合并操作,以降低或消除图的非连通性。采用基于随机游走模型的图挖掘算法,生成给定查询的查询建议集。在真实的Web环境下进行实验,结果表明,利用该方法能够提高查询建议的精度和差异度,从而生成更加可靠的查询建议。     

Some experiments in two-dimensional grammatical inference

This paper presents results of experiments conducted on a scheme for inferring two-dimensional, probabilistic Siromoney array grammars incorporating Markov random field distortion of binary images.     

基于多层Markov网络的信息检索模型

随着信息检索技术的不断发展,挖掘更加有效的信息来提高检索精度成为研究热点,已有的研究表明在检索过程中有效地融合各种信息将得到更好的检索效果。对一个具体查询而言,可以充分利用与已有查询的相关性、词语相关性和文档相关性等信息进行查询扩展和重构。基于这种思路,该文分别构造查询网络、词网络和文档网络,提出了多层Markov网络的信息检索模型,模型可以融合词间关系、文档间关系和查询间关系,为了有效降低计算量,给出了基于团计算模型。在标准数据集上的实验表明该文的模型能够有效融合三类信息,并较大幅度地提高检索效果。     

Parallel exact sampling and evaluation of Gaussian Markov random fields

Markov chain Monte Carlo algorithms are computationally expensive for large models. Especially, the so-called one-block Metropolis-Hastings (M-H) algorithm demands large computational resources, and parallel computing seems appealing. A parallel one-block M-H algorithm for latent Gaussian Markov random field (GMRF) models is introduced. Important parts of this algorithm are parallel exact sampling and evaluation of GMRFs. Parallelisation is achieved with parallel algorithms from linear algebra for sparse symmetric positive definite matrices. The parallel GMRF sampler is tested for GMRFs on lattices and irregular graphs, and gives both good speed-up and good scalability. The parallel one-block M-H algorithm is used to make inference for a geostatistical GMRF model with a latent spatial field of 31,500 variables.