中文网页自动摘要系统的研究

自动摘要是自然语言处理中的一个重要但又困难的分支，在Web信息检索中起着重要作用。文章采用拟人思维。提出了一种篇章结构分析和统计相结合的自动摘要方法，并实现了一个中文网页自动摘要实验系统。该方法首先对文本进行篇章结构分析，得到段落的位置信息和各级小标题信息；然后综合这些结构信息使用统计方法和启发式规则来提取文档的关键词、关键句，生成文档的摘要。在实验评估中，该方法取得了令人满意的摘要质量和速度。     

基于篇章主次关系的单文档抽取式摘要方法研究

抽取式自动文摘研究抽取文档中最能代表文档核心内容的句子作为摘要,篇章主次关系分析则是从篇章结构方面分析出篇章的主要内容和次要内容,因此,篇章主次关系分析和抽取式自动文摘存在较大关联,篇章主次关系可指导摘要的抽取。该文提出了一种基于篇章主次关系的单文档抽取式摘要方法,该方法基于神经网络模型构建了一个篇章主次关系和文本摘要联合学习的模型。该模型在考虑词组、短语等语义信息的基础上同时考虑了篇章的主次关系等结构信息,最终基于篇章内容的整体优化抽取出最能代表文档核心内容的句子作为摘要。实验结果表明,与当前主流的单文档抽取式摘要方法相比,该方法在ROUGE评价指标上有显著提高。     

一种基于DOM的Web文档主题划分方法

主题划分是多主题文档自动摘要中的一个重要问题,提出了一种以网页结构为指导,利用页面对应DOM树中节点的自然分割功能以及相邻边界节点语义相似度的比较进行网页主题划分的方法.实验结果表明该方法具有较高的划分准确率,在此基础上抽取的网页摘要可显著增加文摘内容对原文的覆盖率、有效解决Web文档摘要分布不平衡问题.     

基于主题划分的网页自动摘要

提出了一种以网页结构为指导的自动摘要方法。对页面源文件进行解析时，利用文档的结构信息生成DOM树，并在此基础上划分文档主题。同时充分挖掘网页标记对主题词提取和句子重要性计算的价值。最后以主题块为单位，根据句子间的相似度调整句子权重，动态生成摘要。实验结果表明该方法能有效解决文档摘要分布不平衡问题，减少了文摘内容的冗余。     

一种基于图的文档关键词和摘要协同抽取方法研究

关键词提取和摘要抽取的目的都是从原文档中选择关键内容并对原文档的主要意思进行概括.评价关键词和摘要抽取质量的好坏主要看其能否对文档的主题进行良好的覆盖.在现有基于图模型的关键词提取和摘要抽取方法中,很少涉及到将关键词提取和摘要抽取任务协同进行的,而文中提出了一种基于图模型的方法进行关键词提取和摘要的协同抽取.该方法首先利用文档中词、主题和句子之间的6种关系,包括词和词、主题和主题、句子和句子、词和主题、主题和句子、词和句子,进行图的构建;然后利用文档中词和句子的统计特征对图中各顶点的先验重要性进行评价;接着采用迭代的方式对词和句子进行打分;最后根据词和句子的得分,得到关键词和摘要.为验证所提方法的效果,文中在中英文数据集上进行关键词提取和摘要抽取实验,发现该方法不管是在关键词提取还是摘要抽取任务上都取得了良好的效果.     

计算机专业本科毕业论文案例评析及改进样例

在随机抽取30份计算机专业学生毕业论文(设计)文档的基础上,采用案例评析形式,从篇章结构及行文、摘要、关键词、结论4个方面详细分析学生写作毕业论文或毕业设计文档中存在的种种问题,并对每种问题都给出相应的改进样例。     

基于关键字的Web页面摘要生成技术

论述了一种基于关键字的Web页面摘要生成技术，该技术通过设定关键字来作为摘要生成的引导关键字，然后对页面源文件进行扫描分析，提取其中满足一定条件的页面内容，自动归纳整理出一篇以引导关键字为中心的该Web页面的摘要文档。     

基于重复检测的多摘要消重方法

针对目前Web信息挖掘中存在大量页面重复的问题，从Web信息的组织角度对其中的一些关键问题进行深入分析，提出了基于关键词的部分相似页面消重算法——Web多摘要消重方法（multi abstractremoverepeat，MARR）。MARR方法对传统基于词表和倒排文件的Web信息数据库进行改装，增加一个字段用于记录关键词所对应的摘要块号，采用文本摘要算法，按倒排文件方式索引，根据内容基于查询词目的相似程度，在检索过程中过滤或标识与查询词目相关的部分内部重复现象，以获得更合理的检索结果组织形式。MARR方法还将传统按PageRank值顺序排列改成树型组织方式，以方便用户信息发现的需要。该方法在基于三明钢铁集团MES智能信息代理的原型化Web检索系统中得到应用。     

Web中文文本分词技术研究

中文自动分词技术是中文Web信息处理的基础。文中以最大匹配法(MM)为基础，充分考虑上下文(MMC)，在内存中采用二分法进行分词匹配，有效地提高了分词的准确率和时效。并给出了评析报告，以及在生成Web文档中的关键词与自动摘要中的应用。     

关键词密度分布法在偏重摘要中的应用研究

偏重摘要系统是实现智能化信息服务的基础，偏重摘要不区分单文档与多文档，根据用户需求为用户提供结果。该文实现了用关键词密度分布方法获取偏重摘要的一个实验系统。研究了基于关键词密度分布方法生成摘要句的策略，通过两种不同的实验，对系统进行了评测。对实验结果进行了讨论。实验证明，该系统能够基本满足用户的查询要求，在基于检索任务和基于问答任务的两项不同的评测中均得到了较好的实验结果。     

基于链接描述文本及其上下文的Web信息检索

文档之间的超链接结构是Web信息检索和传统信息检索的最大区别之一，由此产生了基于超链接结构的检索技术。描述了链接描述文档的概念，并在此基础上研究链接文本(anchor text)及其上下文信息在检索中的作用。通过使用超过169万篇网页的大规模真实数据集以及TREC 2001提供的相关文档及评价方法进行测试，得到如下结论：首先，链接描述文档对网页主题的概括有高度的精确性，但是对网页内容的描述有极大的不完全性；其次，与传统检索方法相比，使用链接文本在已知网页定位的任务上能够使系统性能提高96％，但是链接文本及其上下文信息无法在未知信息查询任务上改善检索性能；最后，把基于链接描述文本的方法与传统方法相结合，能够在检索性能上提高近16％。     

一种潜在文档相似模型

提出一种潜在文档相似模型（LDSM）,把每对文档看作一个二分图,把文档的潜在主题看作二分图的顶点,用主题问的加权相似度为相应边赋权值,并用二分图的最佳匹配表示文档的相似度。实验结果表明,LDSM的平均查准率和平均查全率都优于用TextTiling和二分图最佳匹配方法构建的文档相似模型。     

一种通过内容和结构查询文档数据库的方法

文档是有一定逻辑结构的,标题、章节、段落等这些概念是文档的内在逻辑.不同的用户对文档的检索,有不同的需求,检索系统如何提供有意义的信息,一直是研究的中心任务.结合文档的结构和内容,对结构化文件的检索,提出了一种新的计算相似度的方法.这种方法可以提供多粒度的文档内容的检索,包括从单词、短语到段落或者章节.基于这种方法实现了一个问题回答系统,测试集是微软的百科全书Encarta,通过与传统方法实验比较,证明通过这种方法检索的文章片断更合理、更有效.     

基于语义网的电子政务文档智能检索

根据电子政务文档的特点，通过电子政务主题词表计算检索文档集和检索请求的特征值。讨论了检索文档集和检索请求的相似性计算,从而找到与检索请求匹配的文档。根据电子政务文档元数据的语义组织形式，研究电子政务文档元数据的检索问题。对所检索到的文档进行元数据语义组织，从而在语义推理的基础上实现智能检索。     

The Cambridge University Multimedia Document Retrieval Demo System

The Cambridge University Multimedia Document Retrieval (CU-MDR) Demo System is a web-based application that allows the user to query a database of radio broadcasts that are available on the Internet. The audio from several radio stations is downloaded and transcribed automatically. This gives a collection of text and audio documents that can be searched by a user. The paper describes how speech recognition and information retrieval techniques are combined in the CU-MDR Demo System and shows how the user can interact with it.     

Query-Free News Search

Many daily activities present information in the form of a stream of text, and often people can benefit from additional information on the topic discussed. TV broadcast news can be treated as one such stream of text; in this paper we discuss finding news articles on the web that are relevant to news currently being broadcast. We evaluated a variety of algorithms for this problem, looking at the impact of inverse document frequency, stemming, compounds, history, and query length on the relevance and coverage of news articles returned in real time during a broadcast. We also evaluated several postprocessing techniques for improving the precision, including reranking using additional terms, reranking by document similarity, and filtering on document similarity. For the best algorithm, 84–91% of the articles found were relevant, with at least 64% of the articles being on the exact topic of the broadcast. In addition, a relevant article was found for at least 70% of the topics.     

An Agent Framework for Intranet Document Management

Document management inside an organization is a complex and broadly scoped problem. This paper approaches the technical and social issues of Intranet document management by developing a straightforward document lifecycle model consisting of five phases: creation, publication, organization, access, and destruction. A document management system (DMS) which encompasses these areas should also have an evaluation component so its effectiveness can be measured.The document lifecycle is visualized as a waterfall model to help explore the discrete phases of an idealized Intranet DMS. The discussion of this model pinpoints where traditional DMS have fallen short, most notably in the areas of user-to-user and user-to-evaluator communication and coordination.From the document lifecycle, we derive an agent framework to integrate technical and social considerations and guide the design, implementation, and evaluation of a flexible and efficient DMS. The lifecycle model and agent framework are useful to organize both technical and social perspectives in this area.     

Study on ontology-based semantic retrieval model

The information retrieval based on ontology is a hotspot in the domain of information retrieval. According to the study on the existed retrieval model, this paper proposes a new kind of ontology-based semantic retrieval model, which grants semantic to the retrieval entry, the process of retrieval and the organization of data, and consequently improves the precision and recall of information retrieval.     

A Dynamic Programming Algorithm for Linear Text Segmentation

In this paper we introduce a dynamic programming algorithm which performs linear text segmentation by global minimization of a segmentation cost function which incorporates two factors: (a) within-segment word similarity and (b) prior information about segment length. We evaluate segmentation accuracy of the algorithm by precision, recall and Beeferman's segmentation metric. On a segmentation task which involves Choi's text collection, the algorithm achieves the best segmentation accuracy so far reported in the literature. The algorithm also achieves high accuracy on a second task which involves previously unused texts.