一种篇章结构指导的中文Web文档自动摘要方法

“摘要”、“关键词”是对文档内容提供简要概括的元数据，在Web信息检索中起着重要作用。针对Web信息检索的需求和Web文档的特点，采用拟人思维，提出了一种以篇章结构为指导的自动摘要方法。该方法对段落之间的内容语义关系进行分析，进而划分出文档的主题层次，得到文档的篇章结构；在篇章结构的指导下，使用统计方法和启发式规则来提取文档的关键词、关键句，生成文档的摘要。在实验评估中，该方法取得了令人满意的摘要质量和速度。  

基于Ontology的信息检索技术研究

随着Web的迅速发展,网上信息资源越来越丰富,网络已经成为了一个全球最大的信息库.而用户要从中得到所需的信息一般是通过各种信息检索工具.但是现有的信息检索工具都存在着检索精度不高等问题.本文针对这些问题,提出了将Ontology融合到信息检索技术中的思路.利用Ontology中拥有的领域知识,可以大大提高检索系统对自然语言文本的理解能力,同时方便用户以自然语言的方式提出检索请求,从而提高检索的效果.  

潜在语义分析理论及其应用

潜在语义分析(Latent Sereantic AnMysis，LSA)是一种用于自动地实现知识提取和表示的理论和方法，它通过对大量的文本集进行统计分析，从中提取出词语的上下文使用含义。在技术上，它同向量空间模型类型类似，都是采用空间向量表示文本，但通过SVD分解等处理，消除了同义词、多义词的影响，提高了后续处理的精度。将着重介绍LSA方法的基本思想、特点、实现方法，以及基于LSA思想的具体应用。  

基于潜在语义分析的信息检索

潜在语义分析是一种用于自动实现知识提取和表示的理论和方法，它通过对大量的文本集进行统计分析，从中提取出词语的上下文使用含义。文章介绍了基于潜在语义分析的文本信息检索的基本思想、特点以及实现方法。  

基于Web的信息检索技术综述

随着信息技术的发展，特别是Web的不断普及和应用，Web上的信息飞速增长，形成了巨大的信息资源。因此，如何从巨量的信息中快速有效地提取出所需的信息，成为迫切需要解决的问题。文章分别介绍了几种传统的信息检索模型和基于潜在语义分析的信息检索模型，以及自动问答系统，并在多方面对它们进行比较，最后展望了问答系统的应用前景。  

面向Web的信息收集工具的设计与开发

随着互联网的发展以及网上信息的日益丰富 ,传统的信息处理已经延伸到互联网领域。在对互联网上的信息进行处理时 ,常常要将分布在互联网各处的Web页面下载到本地供进一步处理 ;这便是所讨论的Web页面收集工具的核心功能。该页面收集系统在综合使用Web页面间的链接关系和页面内容的基础上 ,增加了多层次的页面过滤模块 ,可用来收集特定领域内的Web页面 ;同时可采用多机并行收集的方法提高页面收集的效率 ;采用大型数据库存放元收集信息 ,并对收集到的页面进行压缩 ,能够支持海量数据的收集 ;动态更新机制的实施使得下载到本地的页面信息能够得到及时的更新。  

基于潜在语义分析的中文文本层次分类技术

从网络文本自动分类的需求出发，针对基于VSM模型的分类处理中词条无关假设和词条维度过高等问题，对基于类中心向量的分类方法进行了改进。利用LSA分析中的SVD分解获得Web文档的语义特征向量，并在此基础上进行分类处理，在不损害分类精度的同时提高了分类及其后处理速度，并设计实现了一个原型系统。  

面向主题的Web信息收集系统的设计与实现

随着互联网信息的持续爆炸性增长，通用搜索引擎的信息覆盖率和检索精度都在不断下降，发展面向主题信息的专用网络信息检索工具已经成为趋势。文中提出的面向主题的Web信息收集系统是这类工具的核心部件，该系统采用文档矢量模型进行文档相关度计算，并结合页面链接的上下文信息过滤页面；借鉴并修改了Shark启发式查找算法来查找相关页面；可采用多机并行下载提高收集效率；并依据站点的重要程度进行动态更新。在一个面向Internet的计算机教学资源检索的搜索引擎中具体实现了这个Web信息收集系统，整个系统在低性能的台式机上就能运行，并可获得较高的属于指定主题的页面的收集精度和收集效率。  

Web文档清洗系统中HTML解析器的开发

对于组建一个面向Web的信息系统来说 ,去除掉脚本、广告链接以及导航链接等无用数据 ,将提高信息存储和检索的效率 ;同时 ,基于语义对Web文档进行合并和分割也会有助于信息的管理 ,这些都是Web文档清洗系统的任务。在Web文档清洗中 ,无论是脱机的规则学习还是联机的文档清洗 ,都需要建立在对Web文档的结构和内容进行分析的基础之上。从HTML解析的一般概念入手 ,结合Web文档清洗系统的需求 ,描述了一个自主开发的HTML解析器的结构 ,并对其组成部分 :词典、词法分析器和语法分析器的设计作了详细的讨论  

基于Web的全文搜索引擎的设计与实现

介绍了一个基于Web的全文搜索引擎的设计及其实现，并对该搜索引擎的基本框架设计和主要功能模块的实现作了详细介绍，最后给出了相应的试验结果。