一种基于奇异值分解的双语信息过滤算法

本文提出了一种基于SVD(奇异值分解)的双语信息过滤算法,将双语文档进行了统一的表示,使得适应于单语过滤的算法可以方便地用于双语过滤,同时对文档向量进行了压缩,滤去了噪声。在应用方面,将双语过滤算法用于互联网上的个性化主动信息过滤。     

基于Web的信息过滤机制

信息过滤目的在于依据用户兴趣进行动态信息搜索以满足用户的需求。文章给出了基于Web的信息过滤机制。它根据用户信息需求,建立公共模板,利用搜索引擎获取信息源;然后利用文档与用户模板的匹配机制,将相关文档推送给用户。在文档结构分析和相关反馈的基础上,提出了特征抽取和权重分配算法;将布尔模型和向量空间模型相结合,提出了文档与用户模板匹配算法。     

基于多策略的文档信息过滤技术的应用研究

为了提高文本信息检索的查准率和缩短检索时间,提出了一种基于多策略的文档过滤算法.该算法根据潜在词性特征初步生成候选词,采用基于标题的特征词发现扩充候选词,使用改进的TFIDF对候选词的特征进行加权合成,去除不符合条件词,求出用户需求向量和待过滤文档向量的相似度,将相似度大于一定阈值的文档提供给用户.从实验参数确定、策略对结果的影响两方面论证了文档信息过滤算法的可行性.实验结果表明,基于多策略的文档信息过滤算法能够提高信息检索的查准率,改善信息检索的质量.     

信息过滤的模糊聚类模型

针对Internet信息过滤问题,运用模糊聚类方法建立了一个用于信息过滤的聚类模型。该模型不仅考虑了文档间的语义联系,而且,又对文档集进行了进一步的分类,增强了类内的耦和性,减少了类间的关联性。最后,给出了一个模糊聚类算法。     

二次信息过滤中的分类算法研究与应用

二次信息过滤是根据搜索引擎返回的网页,对过滤结果进行理解、分析并进一步过滤,以使结果优化。二次过滤中的样本分类处理中,通过对基于Bayesian算法的网页识别技术的研究,探讨了基于改进的Bayesian算法的网页识别技术,用于对二次过滤中的整篇文档进行进一步的分析以提高过滤效果。     

基于协同表示学习的个性化新闻推荐

新闻推荐是互联网推荐系统的研究热点之一,传统的协同过滤算法应用于新闻推荐中会面临严重的新闻冷启动问题,而且也没有考虑新闻内容本身包含的丰富的语义信息。该文将文档与词的表示学习模型与基于矩阵分解的协同过滤算法结合起来,提出一种用于推荐领域的协同表示学习模型,能同时学习带有语义信息的用户和文档的表示向量。在真实的新闻点击数据集上的实验表明,该文提出的模型优于其他基准模型。     

基于社会标注质量的文本分类模型框架

社会标注是一种用户对网络资源的大众分类,蕴含了丰富的语义信息,因此将社会标注应用到信息检索技术中有助于提高信息检索的质量。研究了一种基于社会标注的文本分类改进算法以提高网页分类的效果。由于社会标注属于大众分类,标注的产生具有很大的随意性,标注的质量差别很大,因此首先利用文档间的语义相似度以及标注间的语义相似度来对标注的质量进行量化评估。在此基础上对标注进行质量过滤,利用质量相对较好的标注对文档向量空间模型进行扩展,将文档表示成由文档单词以及文档标注信息组成的扩展向量。同时采用支持向量机分类算法进行分类实验。实验结果表明,通过对标注进行质量评估并过滤质量差的标注,同时结合文档内容以及标注来对文档能提高分类的效果,同传统的基于文档内容的分类算法相比,分类结果的F1度量值提高了6.2%。     

基于内容的网络异常信息过滤*

通过对信息过滤一般过程的分析,提出了一种基于内容的网络异常信息过滤方法。在源信息采集方面,建立了网络信息捕获构架,基于协议分析实现网络数据的提取;在信息内容处理方面,采用设立切分标志进行文本信息的预处理,在此基础上,基于向量空间模型实现文档的结构化表示;在信息匹配算法方面,通过计算文档向量之间的相似度,实现网络信息的有效过滤。     

基于增量学习和阈值优化的自适应信息过滤研究

为了适应实时在线的网络信息过滤需求，提出了一种新的自适应过滤模型。在系统的初始化阶段，运用增量学习方法对附加的少量伪相关文档进行学习，采用改进的文档词频方法来抽取特征词，以此扩展需求模板，提高模板准确度。在系统测试阶段，以系统效能指标最优为目标，提出了将概率模型和文档正例分布统计方法相结合来实现阈值优化的新算法。     

XML文档过滤算法YFilter的一种改进技术

采用索引技术,对输入的XML文档建立一个双索引结构来改进YFilter算法,优化XML文档过滤性能。藉助索引结构,该算法超前搜索元素结点在文档中的结构信息,预先排除不能保证得到任何匹配结果的元素结点,以避免大量不必要的查询处理。实验结果显示,当输入的XML文档较大时,该算法有较好的过滤性能。     

改进的向量质心模型在实时信息检索中的应用研究

将相关反馈技术应用于信息检索中可以学习和明确用户的信息需求,并对检索结果进行信息过滤,是提高信息检索效果的有效手段之一。除了准确率和召回率之外,过滤算法的适应性、速度也直接影响用户使用信息检索系统的体验。采用向量空间模型表示文档的内容预处理工作少,计算简单,适用于实时信息检索。结合偏差最小的基本原理,将改进的反馈文档向量的质心应用于信息重排。以重排的应用场景,在TREC Filtering Task数据集上进行仿真,并与基于关键词检索和类质心的检索方式进行了试验比较。     

一种基于SVD和Rough集的信息过滤方法

论文提出了一种信息过滤方法,即在奇异值分解(SVD)的基础上,运用粗糙集(Rough Sets)理论进行信息过滤。通过对词语×文档矩阵进行奇异值分解得出近似矩阵,改变了一些词语在相应文档中的重要性,从而使得词语更好地体现文档内容。然后运用粗糙集理论中决策表上的规则推理方法,生成人们感兴趣信息的规则库,将未知文档的条件属性与规则库中的规则进行相似匹配,进行信息过滤。实验表明,该方法在准确度方面比传统的VSM和LSI要好。     

MIME文档和集合文档的解码算法

MIME（Multipurpose Internet Mail Extensions）主要用于电子邮件传输非文本数据。它兼容旧版本的信息格式,使得那些旧的应用网关也可以处理MIME格式的信息,并增加了许多功能,可以用邮件传输二进制数据。集合文档是MIME格式的一种应用,用于将根资源和附属资源集合进同一个信息里。文章首先介绍了MIME格式和集合文档的格式,给出了一个对MIME格式文档的解码算法,然后在这个算法的基础上给出了集合文档的解码算法。     

跨语言相似文档检索

检索一篇文档在其他语言中的译文对于双语平行语料库的建立是一件很有意义的工作。本文提出一种改进的跨语言相似文档检索算法,该算法使用双语词典或统计翻译模型作为双语知识库,查找两篇文档的共同翻译词对,把翻译词对的权重作为一种特征来进行相似度计算,用Dice方法的改进算法计算双语文档的相似度。在实验中,统计检索文档的译文排在检索结果前 N位的总次数来评价算法的性能,并使用了两个噪音数据集来评价算法的有效性。实验表明,在噪音数据干扰比较大的情况下,译文排在检索结果前5位的译文结果接近90%。实验证明,翻译词对的权重对于相似度计算有很大帮助,本算法可以有效地发现一种语言书写的文档在另一种语言中的译稿。     

基于两级模型的信息过滤系统

针对信息过滤中存在的失配和过载问题,结合粗糙集和模式挖掘理论,提出了一种基于两级模型的信息过滤系统.第一级采用基于粗糙集的主题过滤方法,利用粗糙集的关联规则理论对用户需求进行建模,滤除与用户需求不相符的信息;第二级采用SPMining算法对用户需求模型的词序列进行剪枝,并采用PTM2算法重新计算剪枝后词的支持度,最后采用加权排序的方法对文档进行排序.     

基于双语LDA的跨语言文本相似度计算方法研究

基于双语主题模型思想分析双语文本相似性,提出基于双语LDA跨语言文本相似度计算方法。先利用双语平行语料集训练双语LDA模型,再利用该模型预测新语料集主题分布,将新语料集的双语文档映射到同一个主题向量空间,结合主题分布使用余弦相似度方法计算新语料集双语文档的相似度,使用从类别间和类别内的主题分布离散度的角度改进的主题频率-逆文档频率方法计算特征主题权重。实验表明,改进后的权重计算对于基于双语LDA相似度算法的召回率有较大提高,算法对类别不受限且有较好的可靠性。     

TIMR:模板图像匹配矫正

针对当前文档图像透视变形矫正算法抗干扰性差,矫正效果不佳等问题,本文提出一种基于BRISK特征点检测与匹配的文档图像矫正算法,称之为模板图像匹配矫正算法(Template Image Matching Rectification, TIMR).该算法仅需制作目标领域内的单张矫正模板图像,并结合BRISK算法与本文提出的双重特征点过滤算法实现该领域所有透视变形文档图像的矫正处理.其中,双重过滤算法包含特征点先验过滤(Prior Filtering, PF)与特征点迭代匹配过滤(Iterative Matching Filtering, IMF)算法,有效地过滤掉了矫正模板图像中的无关特征点与不稳定特征点,实现特征点匹配与TIMR算法的加速.在特定的医疗领域的检验单文档图像数据上进行矫正测试,并与当前主流矫正的算法与商业软件进行了比较.实验结果表明,本文算法具有使用简单方便,鲁棒性强,矫正效果好和矫正速度快等特点.     

融合位置相关和概率排序的Lucene排序算法改进

文档检索结果的排序和文本分类技术是解决垂直搜索、个性化信息检索、信息过滤等相关问题的核心技术。为了提高检索系统的性能,针对Lucene的基础排序算法,提出了一种融合位置相关和概率排序的改进方法。考虑到查询词在文档中出现的位置信息和概率排序对文档相关性的影响,利用位置相关的查询词权值和基于朴素贝叶斯分类算法的文档相关性概率值,对Lucene基础排序算法的评分公式进行改进。实验表明,该改进方法能够有效提高垂直搜索的准确率,使用户拥有更好的垂直搜索体验。     

基于文档平滑和查询扩展的文档敏感信息检测方法

由于办公终端可能出现敏感信息泄露的风险,对终端上的文档进行敏感信息检测就显得十分重要,但现有敏感信息检测方法中存在上下文信息无关的索引导致文档建模不准确、查询语义扩展不充分的问题。为此,首先提出基于上下文的文档索引平滑算法,构建尽可能保留文档信息的索引;然后改进查询语义扩展算法,结合领域本体中概念敏感度适当扩大敏感信息检测范围;最后将文档平滑和查询扩展融合于语言模型,在其基础上提出了文档敏感信息检测方法。将采用不同索引机制、查询关键字扩展算法及检测模型的四种方法进行比较,所提出的算法在文档敏感信息检测中的查全率、准确率和F值分别为0.798,0.786和0.792,各项性能指标均明显优于对比算法。结果表明该算法是一种能更有效检测敏感信息的方法。     

基于文档信息空间模型的词元权重调整

在web文档信息检索中,文档分类、文档过滤的质量一直是影响用户查询结果的关键。这篇论文将通过分析一些典型的权重函数的构造,提出一个基于文档信息空间的权重函数来计算调整文档中词元的权重,使文档的分类和过滤效率更高。