基于向量空间模型的文本过滤系统

文本过滤是指从大量的文本数据流中寻找满足特定用户需求的文本的过程.首先从任务、测试主题、语料库和评测指标等方面介绍了文本检索领域最权威的国际评测会议--文本检索会议(TREC)及其中的文本过滤项目,然后详细地描述了基于向量空间模型的文本过滤系统.该系统由训练和自适应过滤两个阶段组成.在训练阶段,通过特征抽取和伪反馈建立初始的过滤模板,并设置初始阈值;在过滤阶段,则根据用户的反馈信息自适应地调整模板和阈值.该系统参加了2000年举行的第9次文本检索会议的评测,取得了很好的成绩,在来自多个国家的15个系统中名列前茅,其中自适应过滤和批过滤的平均准确率分别为26.5%和31.7%.  

独立于语种的文本分类方法

文本分类是指在给定分类体系下，根据文本的内容自动确定文本类别的过程。本文提出了一个基于机器学习的、独立于语种的文本分类模型，并对模型中的特征抽取、分类器和评价方法进行了详细的介绍。该模型已经在中文和日文两个语种的新闻语料上得到实现，并获得了较好的分类性能。  

基于HowNet的词汇语义倾向计算

在互联网技术快速发展、网络信息爆炸的今天,通过计算机自动分析大规模文本中的态度倾向信息的技术,在企业商业智能系统、政府舆情分析等诸多领域有着广阔的应用空间和发展前景。同时,语义褒贬倾向研究也为文本分类、自动文摘、文本过滤等自然语言处理的研究提供了新的思路和手段。篇章语义倾向研究的基础工作是对词汇的褒贬倾向判别。本文基于HowNet,提出了两种词汇语义倾向性计算的方法:基于语义相似度的方法和基于语义相关场的方法。实验表明,本文的方法在汉语常用词中的效果较好,词频加权后的判别准确率可达80%以上,具有一定的实用价值。  

基于最大熵方法的中英文基本名词短语识别

使用了基于最大熵的方法识别中文基本名词短语。在开放语料Chinese TreeBank上，只使用词性标注，达到了平均87.43%／88.09%的查全率／准确率。由于，关于中文的基本名词短语识别的结果没有很好的可比性，又使用相同的算法，尝试了英文的基本名词短语识别的结果没有很好的可比性，又使用相同的算法，尝试了英文的基本名词短语识别。在英文标准语料TREEBANKⅡ上，开放测试达到了93.31%／93.04%的查全率／准确率，极为接近国际最优水平。这既证明了此算法的行之有效，又表明该方法的语言无关性。  

基于统计方法的中文姓名识别

本文介绍一个中文姓名的自动识别系统，该系统使用从姓名样本库和真实文本语料库中得到的大量统计数据，以提高系统识别性能。我们从１９９４年人民日报中随机抽取１００篇文章作为测试样本，实验结果表明，准确率和召加回率可同时达到９０％以上。  

iFind: 一个结合语义和视觉特征的图像相关反馈检索系统

给出了一个结合语义与视觉特征信息的图像相关反馈检索系统－－iFind。系统通过图像的标注信息构造语义网络，并在相关反馈中与图像的视觉特征相结合，有效地实现了在两个层次上的相关反馈，在基于内容的图像检索中取得了较为理想的效果，具有一定的应用价值。  

一种自动门限选取的视频Shot分割方法

文中首先针对镜头Ｓｈｏｔ分割在基于内容的视频检索中的重要性，介绍了现在普遍采用的镜头分割新方法，同时针对这些方法的不足，提出一种基于自动门限选取的镜头分割及分类方法，该方法能同时检测视频中的突变，缓变等镜头变换和视频中的闪光灯以及运动区域。通过实际测试，结果表明算法能够有效地对视频领事进行镜头分割。  

一种新的颜色相似度定义及其计算方法

传统的基于直方图的颜色相似度计算方法的优点是与图像旋转、平移和尺寸变化无关，但是其缺陷也非常明显，例如两幅看起来颜色非常相似的图像，如果它们的颜色直方图交集为熔或者直方图之间距离很大，那么相似主为零或者很小，这显然不符合人人的感知。为克服此缺陷，作者首先提出了两幅彩色图像之间颜色相似度计算公式，然后给出基于颜色直方图的新的相似度计算公式，它既保留了用直方图计算相似度的优点，同时克服了其缺陷。实验结  

基于最大熵模型的英文名词短语指代消解

提出了一种新颖的基于语料库的英文名词短语指代消解算法，该算法不仅能解决传统的代词和名词／名词短语间的指代问题，还能解决名词短语间的指代问题。同时，利用最大熵模型，可以有效地综合各种互不相关的特征，算法在MUC7公开测试语料上F值达到了60．2％，极为接近文献记载的该语料库上F值的最优结果61．8％。  

基于统计方法的汉语自动文摘系统研究

本文简要介绍了文本的向量空间模型表示，并提出了用该模型进行非受限真实文本的自动文摘方法。其基本思想是对输入文本进行项（本文为词和概念）的统计，根据不同项在文本中的分布评估其重要性，据此和其它信息形成句子的综合权重，生成摘要。文中较详细地介绍了系统的实现及实验结果，同时提出了对文摘系统的评价方法。