网络信息过滤系统的设计与实现

随着Internet普及和应用,电子商务已经成为一种发展趋势。网络的安全日益引起人们的关注。提供一定的手段,实时对网络中的信息进行监测具有十分重要的意义。本文利用向量空间模型、TC3分类算法、Rocchio反馈模型等构造了一个具有反馈机制的网络信息过滤系统(NIFS),并且从信息过滤系统结构、网络信息捕获、用户兴趣文件(Profile)的形成与重构等方面对网络信息过滤系统(NIFS)基本理论和实现方法进行了详细的讨论。     

基于本体论的信息过滤模型

信息过滤已成为当今信息技术研究的热点。主要介绍布尔模型、向量空间模型和概率模型,并分析它们各自的优点及存在的不足之处。在此基础上,提出一种新的信息过滤模型——基于本体论的信息过滤模型,阐述用户兴趣模板的构建步骤、用户相关反馈和更新算法,为基于本体的信息过滤技术提供了理论基础。     

基于向量空间模型的Web中文信息过滤系统

提出了一种基于VSM的自适应的Web信息过滤系统的设计及实现方法.与传统的信息过滤系统相比,Web上的信息过滤系统具有许多全新的特征.页面为半结构化的文档、页面上的噪声信息比较多,用户提交的正例比较少.这些特性成为影响过滤性能的主要因素.针对Web的上述特性设计的Fudanfilter2002过滤系统,具有使用方便、过滤时间短、精度高等特点.     

基于内容的个性化信息过滤系统的研究与设计

以典型的向量空间模型为例,剖析了个性化信息服务中内容过滤面临的主要问题及基本对策,并结合用户的实际需求,设计实现了“天罗”个性化信息过滤系统,实验结果表明,系统达到了很高的准确率、召回率和处理速度。     

信息过滤模型的研究

信息过滤技术是当前研究的热点。该文简单地介绍了信息过滤中常用的三种模型:向量空间模型、布尔逻辑模型和概率推理模型;给出了一种基于模糊集合的过滤模型,通过筛选出关键词,为相关领域建立模糊集合;并阐述了如何确定该模糊集合中的隶属函数。     

关于信息过滤模型的探讨

信息过滤技术已是当今信息技术研究的热点。该文主要是针对信息过滤模型的研究,介绍了布尔模型、向量空间模型和潜在语义索引三种信息过滤模型。并就其概念、方法和意义进行了分析和讨论。     

基于BP人工神经网络的信息过滤技术研究

首先介绍了信息过滤中向量空间模型的基本工作原理。针对目前信息过滤技术过滤精度低、速度慢的缺点,利用BP人工神经网络网络稳定、学习能力强的特点,重点研究了BP人工神经网络特征输入数据的取得、网络拓扑结构的选择、BP人工神经网络的训练过程、神经网络产生结果数据的处理方式,在此基础上提出了一种基于BP人工神经网络的信息过滤模型,实验证明,此模型过滤效率有了显著提高。     

自适应信息过滤中使用少量正例进行阈值优化

自适应信息过滤中一个大的挑战在于其数据稀疏问题.因此,在对输入的文本流进行过滤的同时学习最优阈值非常重要.提出了一种新颖的阈值优化算法.该算法可以通过少量的正例进行快速的学习,所需数据的获得具有增量性,故而其计算量及所需的存储空间很小.此外,该算法还具有高效、健壮、实用性强等优点.在第10届国际文本检索会议(TREC10)上,复旦大学的自适应信息过滤系统使用了该阈值优化算法,并取得了第3名的成绩.其T10U和T10F分别达到了0.215和0.414.     

个性化网络信息过滤Agent的反馈评价机制

文章描述了信息过滤的作用,并介绍了一个基于Agent的万维网文档信息过滤系统。文中提出了个性化网络信息过滤Agent的结构及其实现方案,并讨论了用相关反馈评价机制更新用户兴趣模型的问题,建议用决策树从用户分类的文档集中学习用户的信息兴趣。     

文本特征区域与文本过滤的匹配机制

为了根据用户的信息需求,在因特网上搜索相关文本,该文提出了一种文本过滤的匹配机制,其基本思想是：利用基于词典的概念扩张方法,改进用户模板。计算扩张的用户模板与文本的全局相似度,获取初步的过滤结果;在文本特征区域,进行标题、摘要段、首段和尾段等片断的局部相似度计算,以综合评价文本与用户模板的匹配情况。该方法可操作性强,效果明显。     

信息过滤系统中用户文档更新策略研究

信息过滤系统(IF Systems)的目的是为了帮助用户查找用户感兴趣的信息。IF系统的用户文档(User Profiles)表示用户的兴趣，用来匹配网络上的信息。当用户的兴趣发生变化时，用户文档就变得不精确，过滤质量下降。用户的兴趣变化不定，IF系统如何及时快速地更新用户文档以缩短系统性能下降的时间就变得非常的重要。通过对现有IF系统用户文档更新方法的研究，分析了它们的独到之处和存在的不足。     

基于内容的网络异常信息过滤

通过对信息过滤一般过程的分析,提出了一种基于内容的网络异常信息过滤方法。在源信息采集方面,建立了网络信息捕获构架,基于协议分析实现网络数据的提取;在信息内容处理方面,采用设立切分标志进行文本信息的预处理,在此基础上,基于向量空间模型实现文档的结构化表示;在信息匹配算法方面,通过计算文档向量之间的相似度,实现网络信息的有效过滤。     

中英文双语交叉过滤的逻辑模型

文章简要地描述了文本过滤的背景,提出了基于潜在语义索引的中英文双语交叉过滤的逻辑模型。其基本思想是改进双语交叉过滤中基于词汇对译的方法,而是利用双语文本中潜在的语义结构,作为用户模板与文本匹配的基础。将出现的双语词汇和文本映射为语义空间的向量,不必翻译对译词,甚至不需要出现相应的对译词,也能匹配成功,极大地改善了交叉过滤的精度,效果良好。     

基于概念扩充的文本过滤模型

该文在介绍文本过滤的背景及向量空间模型的同时,提出了基于语义词典对用户模板进行扩充的文本过滤模型,该模型首先对文本进行分析,把文本表示成向量空间中的向量形式,在形成用户初始模板之后,对用户模板进行同义词扩充,形成扩充后的用户模板,以此模板来进行文本过滤。在用户反馈的基础上,自适应地修改该模板,以适应用户变化的需求及改善系统过滤性能。实验表明,这样的确可以提高系统覆盖面,提高系统效率。     

基于词汇链的文本过滤模型

在介绍文本过滤的背景及传统基于关键词的向量空间方法不足之处的同时,引入了词汇链的概念,提出了基于词汇链表示文本的文本过滤模型,该模型首先对文本进行分析,把文本表示成词汇链的形式,在形成用户初始模板之后,以此模板来进行文本过滤。在用户反馈的基础上,自适应地修改该模板,以适应用户变化的需求及改善系统过滤性能,实验表明,这样的确可以提高系统精度。     

个性化Web信息服务技术研究

介绍了当前具有代表性的个性化信息服务系统,详细讨论了该研究的基本问题和所采用的关键技术,对目前的个性化信息服务所存在的问题进行了阐述,并对该技术的下一步研究方向进行了展望。     

信息过滤技术研究

As the rapidly growing information on Web, information filtering techniques have been more and more widely used. This paper introduces two main filtering methods ,named content-based and collaborative filtering; con-trastively describes the key techniques in information filtering,inchiding the representation,creation and rebuilding of user profile ,and similarity computing.     

Friendly information retrieval through adaptive restructuring of information space

Although a technique of relevance feedback is common in the field of information retrieval (IR), the feedback is usually done by means of query refinement; restructuring of the information space has not been attempted yet. The restructuring not only allows useful applications such as clustering but also is indispensable for IR if a modeling function employs correlation of terms. In this paper we present a new method of relevance feedback through the restructuring of the information space. Our method adapts document space to the user’s mental model by manipulating a dictionary vector. Therefore, user’s viewpoint is preserved after a series of retrieval processes and reused for retrieval performed later. We show its effectiveness through the retrieval experiments on FAQ (Frequntly Asked Questions) documents. Tomoko Murakami: She obtained her bachelor’s degree in Engineering from Aoyama Gakuin University in 1996, and her master’s degree in Media and Governance from Keio University in 1998. In 1998 she joined Human Interface Labolatory, Corporate Research & Development Center, Toshiba Corporation, Kawasaki, Japan. Her research interests are in Machine Learning, especially Inductive Logic Programming. She is a member of JSAI. Ryohei Orihara, Ph.D.: He is a research scientist at Human Interface Laboratory, Corporate Research & Development Center, Toshiba Corporation. He obtained his bachelor’s degree and master’s degree in Engineering and Ph.D. from University of Tsukuba in 1986, 1988 and 1999 respectively. His current research interests include machine learning, creativity support system, analogical reasoning and metaphor understanding. He was a visiting researcher at University of Toronto from 1993 to 1995. He is a member of IPSJ, JSAI and JSSST. He is presently on the editorial committee of the Journal of JSAI.