话题识别与跟踪中的层次化话题识别技术研究

话题识别与跟踪（topic detection and tracking，TDT）旨在发展一系列基于事件的信息组织技术，层次化话题识别（hierarchical topic detection，HTD）是其中一项全新的任务定义形式．通过连续的大规模评测，话题识别与跟踪已成为国际上自然语言处理尤其是信息检索领域的一个研究热点．为此．将自然语言处理与信息检索技术相结合，提出了针对事件特点的切实有效的单粒度话题识别方法，并提出了基于多层聚类的MLCS算法对话题进行层次化组织，所提出的方法具有很好的效果，在TDT2004的HTD评测中，该方法取得了第2名的成绩．     

基于多策略优化的分治多层聚类算法的话题发现研究

话题发现与跟踪是一项评测驱动的研究,旨在依据事件对语言文本信息流进行组织利用。自1996年提出以来,该研究得到了越来越广泛的关注。本文在研究已有成熟算法的基础上,提出了基于分治多层聚类的话题发现算法,其核心思想是把全部数据分割成具有一定相关性的分组,对各个分组分别进行聚类,得到各个分组内部的话题(微类) ,然后对所有的微类再进行聚类,得到最终的话题,在聚类的过程中采用多种策略进行优化,以保证聚类的效果。基于该算法的系统在TDT4中文语料上进行了测试,结果表明该算法属于目前结果最好的算法之一。     

基于内容的个性化信息过滤系统的研究与设计

以典型的向量空间模型为例，剖析了个性化信息服务中内容过滤面临的主要问题及基本对策，并结合用户的实际需求，设计实现了“天罗”个性化信息过滤系统，实验结果表明，系统达到了很高的准确率、召回率和处理速度。     

Web使用信息挖掘综述

Web使用信息挖掘可以帮助我们更好地理解Web和Web用户访问模式，这对于开发Web的最大经济潜力是非常关键的。一般来说，使用信息挖掘包含三个阶段：数据预处理，模式发现和模式分析。文章以这三个阶段为PWeb框架，分别介绍了数据预处理的技术与困难，Web使用信息挖掘中常用的方法和算法，以及主要应用。     

基于分块的网页信息解析器的研究与设计

详细介绍了网页信息解析的基本技术手段,在综合权衡优缺点的基础上,提出了针对新 闻网站复杂结构页面较为有效的分块算法,并结合实际的项目需求,设计实现了网页信息解析器 TVPS,实验结果表明,该解析器具有良好的性能,满足实际的需求。     

JavaScript引擎在动态网页采集技术中的应用

怎样提取网页中由JavaScript脚本动态生成的URL，一直是网页采集器设计的一个难题，文中给出了一个基于JavaScript引擎的通用的解决办法和模块实现以及测试结果。