基于增量学习和阈值优化的自适应信息过滤研究

为了适应实时在线的网络信息过滤需求,提出了一种新的自适应过滤模型。在系统的初始化阶段,运用增量学习方法对附加的少量伪相关文档进行学习,采用改进的文档词频方法来抽取特征词,以此扩展需求模板,提高模板准确度。在系统测试阶段,以系统效能指标最优为目标,提出了将概率模型和文档正例分布统计方法相结合来实现阈值优化的新算法。     

自适应信息过滤中使用少量正例进行阈值优化

自适应信息过滤中一个大的挑战在于其数据稀疏问题.因此,在对输入的文本流进行过滤的同时学习最优阈值非常重要.提出了一种新颖的阈值优化算法.该算法可以通过少量的正例进行快速的学习,所需数据的获得具有增量性,故而其计算量及所需的存储空间很小.此外,该算法还具有高效、健壮、实用性强等优点.在第10届国际文本检索会议(TREC10)上,复旦大学的自适应信息过滤系统使用了该阈值优化算法,并取得了第3名的成绩.其T10U和T10F分别达到了0.215和0.414.     

基于层次聚类的自适应信息过滤学习算法

本文采用一种基于层次聚类的自适应学习策略,从系统反馈的信息流中,动态提取一类最优信息的质心更新用户模型,有效屏蔽了阈值失真和初始信息稀疏造成的大量反馈噪声,并且能够近似模仿人工反馈,完善自适应学习机制的智能性。     

信息过滤研究概述

信息过滤所研究的内容就是如何准确地表达用户需求,进而在大规模的信息流中自动地筛选出满足用户需求的信息,使人们更有效地利用信息资源。     

基于向量空间模型的Web中文信息过滤系统

提出了一种基于VSM的自适应的Web信息过滤系统的设计及实现方法.与传统的信息过滤系统相比,Web上的信息过滤系统具有许多全新的特征.页面为半结构化的文档、页面上的噪声信息比较多,用户提交的正例比较少.这些特性成为影响过滤性能的主要因素.针对Web的上述特性设计的Fudanfilter2002过滤系统,具有使用方便、过滤时间短、精度高等特点.     

文本过滤中一种阈值调整算法

阈值调整是自适应文本过滤中非常重要的步骤自适应文本过滤中训练正例少以及过滤过程中数据稀疏等问题,使得自适应文本过滤的阈值调整尤为困难.本文提出了一种阈值调整算法.该算法充分利用过滤过程中的精确率、平均相似度等观测信息调整阈值;具有使用正例少、调整速度快、系统性能高等优点.     

基于VSM的自适应信息过滤系统的研究与设计

为了从网络动态信息流中获得感兴趣的内容或过滤掉无关的垃圾信息,设计了一个基于向量空间模型的自适应信息过滤系统;描述了该系统的结构和工作流程;对该系统实现的关键技术,包括文本表示、用户模板与过滤阈值初始化、特征项选取、自适应过滤算法、模板更新和阈值调整等进行了深入的分析和研究。     

基于内容的个性化信息过滤系统的研究与设计

以典型的向量空间模型为例,剖析了个性化信息服务中内容过滤面临的主要问题及基本对策,并结合用户的实际需求,设计实现了“天罗”个性化信息过滤系统,实验结果表明,系统达到了很高的准确率、召回率和处理速度。     

网络信息过滤系统的设计与实现

随着Internet普及和应用,电子商务已经成为一种发展趋势。网络的安全日益引起人们的关注。提供一定的手段,实时对网络中的信息进行监测具有十分重要的意义。本文利用向量空间模型、TC3分类算法、Rocchio反馈模型等构造了一个具有反馈机制的网络信息过滤系统(NIFS),并且从信息过滤系统结构、网络信息捕获、用户兴趣文件(Profile)的形成与重构等方面对网络信息过滤系统(NIFS)基本理论和实现方法进行了详细的讨论。     

基于Web的信息过滤机制

信息过滤目的在于依据用户兴趣进行动态信息搜索以满足用户的需求。文章给出了基于Web的信息过滤机制。它根据用户信息需求,建立公共模板,利用搜索引擎获取信息源;然后利用文档与用户模板的匹配机制,将相关文档推送给用户。在文档结构分析和相关反馈的基础上,提出了特征抽取和权重分配算法;将布尔模型和向量空间模型相结合,提出了文档与用户模板匹配算法。     

一个基于向量空间模型的OUTLOOK垃圾邮件过滤器

邮件过滤是指从大量的邮件中过滤掉含有无用信息的垃圾邮件,以帮助用户得到所需的有用邮件。本文将介绍一个基于向量空间模型的OUTLOOK邮件过滤器的设计与实现,它包含了邮件过滤和训练两个子系统,其过滤方法还对传统的向量空间模型法做了改进,使之更适合于垃圾邮件过滤。     

基于语义分析的网络不良信息过滤系统研究

设计一种基于语义分析的信息过滤模型。该模型针对不良信息的特点,以自然语句为处理单元,采用主题词和语义分析的两级过滤工作模式,可以同时获得较高的处理效率和精度。样本实验表明,该过滤模型能够更好地满足不良信息过滤的实时性和准确性要求。     

一个基于语义分析的倾向性文档过滤系统

目前的过滤系统大都是基于关键词的,这类系统适用于主题性过滤,而对倾向性过滤效果不好。本文提出一种适用于倾向性文档过滤的系统,通过语义分析,有效地识别和过滤倾向性文本信息。     

中文文本过滤的信息分流机制

在文本过滤中信息分流是提高过滤效率的有力的手段,为此,提出了一种新的中文文本过滤的信息分流机制．其基本思路是在概念扩充基础上,将不同用户的信息需求组织为树状结构,使其共同的部分成为共享分支,依据提出的侧面相似度和侧面匹配率来实现文本与模板的定量匹配,减弱传统的布尔模型对文本与模板匹配的严格限制,也弥补向量空间模型单纯数量化的不足,更加全面地反映用户的信息需求,试验表明该机制能够明显地提高过滤效率。     

基于贝叶斯网络的信息过滤模型研究

传统信息过滤模型很难描述对信息过滤结果产生影响的各种因素，如质量、内容、用户偏好之间复杂的关系，也无合适的方法让用户将知识加入到信息过滤系统中，因此，提出了基于贝叶斯网络的信息过滤模型BMIF（Bayesian model of information filtering),BMIF是贝叶斯网络的简化，它描述了信息过滤的基本结构，提供了6种节点用于描述影响信息过滤的事件之间的关系，在此基础上，提供了BMIF的各种使用方法，包括将传统方法使用BMIF描述，将词法知识用BMIF表示，以及将自动学习与手动交互结合，将合作过滤与内容过滤结合等。     

基于速率控制的反垃圾邮件模型设计

在对垃圾邮件及其防范技术进行全面分析与比较的基础上,针对传统过滤技术的防范和能力不足问题,提出了基于速率控制的空间向量邮件过滤系统设计。该系统改善了传统的单IP和单门限的简单设置,采用多方位多层次的空间过滤系统,再结合客户端的邮件过滤系统,形成了更为有效的垃圾邮件防范能力。     

基于机器学习的多语言文本抽取系统实现

基于统计机器学习的信息抽取方法正日益成为研究的热点,在研究与应用方面虽然也产生了一些实用的基于机器学习的文本信息抽取框架与系统,但大多面临着交互性弱、可扩展性低、语言移植能力差等缺陷。为此,研究并提出一种通用可行的支持多语言的信息抽取框架,并基于该框架实现了一个原型系统。原型系统集成了最大熵、支持向量机两种机器学习算法,使用这两种算法对中英文文本的实验验证了系统的实用性。     

基于边缘信息的图像自适应插值算法

通过将图像分为非边缘部分和边缘部分,得出了一种基于图像边缘信息的图像插值算法.根据边缘部分映射点邻域图像的复杂程度,自适应地调节插值权值的图像插值方法.应用该算法插值后的边界清晰、自然, 忠实地反映了原始图像的面貌,与传统的插值算法相比,其边界处理效果好且易于实现,实验也验证了该方法的有效性.     

基于类别特征选择与反馈学习随机森林算法的邮件过滤系统研究

针对邮件过滤系统中普遍存在的维数灾难、类别主题差异和反馈信息缺失问题,提出一种基于类别特征选择与反馈学习随机森林算法的邮件过滤模型。该方法将隐含的Dirichlet模型引入到邮件的特征选择环节,在不同类型的邮件集中建立各自的生成模型,分别搜寻构成各个主题的特征信息,有效降低冗余信息和噪声数据对分类性能的影响。反馈学习随机森林算法发挥了决策树集成与反馈学习的优势,实现邮件过滤系统的自我调节,及时捕捉垃圾邮件的变化趋势。在公开的语料库CCERT和Trec06上进行测试,并与典型算法进行比较,实验结果表明所提算法的可行性和有效性。     

一种基于粗糙集的Web文本分类方法

随着Web信息容量迅速膨胀,对Web文本分类已经是目前研究的热点.传统的Web文本分类对网页的预处理基本上没有考虑网页中的大量噪音,因此对分类结果有一定的影响;另一方面,文本的向量空间模型维数过高,对分类效果也存在很大的影响.提出一种基于粗糙集理论的Web文本分类方法,首先对网页进行去噪,然后对向量空间模型进行属性约简,之后构造分类器,实验表明,此方法不仅降低了维数,还提高了分类结果.