话题识别与跟踪中的层次化话题识别技术研究

话题识别与跟踪(topic detection and tracking,TDT)旨在发展一系列基于事件的信息组织技术,层次化话题识别(hierarchical topic detection,HTD)是其中一项全新的任务定义形式.通过连续的大规模评测,话题识别与跟踪已成为国际上自然语言处理尤其是信息检索领域的一个研究热点.为此,将自然语言处理与信息检索技术相结合,提出了针对事件特点的切实有效的单粒度话题识别方法,并提出了基于多层聚类的MLCS算法对话题进行层次化组织.所提出的方法具有很好的效果,在TDT2004的HTD评测中,该方法取得了第2名的成绩.     

互联网话题识别与跟踪系统设计及实现

针对互联网上论坛和新闻网站发布的海量自然语言文本,该文设计一个话题识别与跟踪系统,将海量的数据分类整理并聚合形成各个话题。该系统的核心采用SVM方法进行文本分类,基于知识库和网络流算法实现话题的聚合,测试结果表明,文章分类的正确率达到92%,聚类的正确率达到88%,具有较高的应用价值。     

基于改进向量空间模型的话题识别与跟踪

话题识别与跟踪旨在发展一系列基于事件的信息组织技术,通过监测以实现对新闻媒体信息流中新话题的自动识别和已知话题的动态跟踪。文中提供一种利用改进的向量空间模型进行识别和跟踪的方法。没有使用传统向量空间模型中单个向量,而是按照语义将特征词划分为4个组(人物、时间、地点、内容)并形成4个向量空间。每个空间进行独立的权重计算和相似度计算。实验证明这些方法是有效的。     

基于改进向量空间模型的话题识别与跟踪

话题识别与跟踪旨在发展一系列基于事件的信息组织技术，通过监测以实现对新闻媒体信息流中新话题的自动识别和已知话题的动态跟踪。文中提供一种利用改进的向量空间模型进行识别和跟踪的方法。没有使用传统向量空间模型中单个向量，而是按照语义将特征词划分为4个组（人物、时间、地点、内容）并形成4个向量空间。每个空间进行独立的权重计算和相似度计算。实验证明这些方法是有效的。     

话题检测与跟踪的评测及研究综述

话题检测与跟踪是一项面向新闻媒体信息流进行未知话题识别和已知话题跟踪的信息处理技术。自从1996年前瞻性的探索以来,该领域进行的多次大规模评测为信息识别、采集和组织等相关技术提供了新的测试平台。由于话题检测与跟踪相对于信息检索、信息挖掘和信息抽取等自然语言处理技术具备很多共性,并面向具备突发性和延续性规律的新闻语料,因此逐渐成为当前信息处理领域的研究热点。本文简要介绍了话题检测与跟踪的研究背景、任务定义、评测方法以及相关技术,并通过分析目前TDT领域的研究现状展望未来的发展趋势。     

新闻文本话题关联识别研究

本文首先简单介绍了话题发现与追踪的发展史及主要任务,然后重点分析比较了现有话题关联识别模型的使用情况,并测试了文档中各层次知识特征对话题关联识别性能的影响。其测试结果对如何评判已有的识别系统或构建好的识别系统具有一定参考价值。     

话题跟踪方法的研究

话题检测与跟踪旨在实现对新闻媒体信息流中新话题的自动检测以及对已知话题的动态跟踪。它是信息处理中的一项重要技术,如何提取鲁棒的话题样本特征是其中的研究重点。本文主要针对样本中的话题偏移问题,应用数据挖掘技术对样本进行话题偏移补偿,从而有效的删除偏移话题,提升了样本特征的鲁棒性。     

话题跟踪方法的研究

话题跟踪旨在实现对新闻媒体信息流中已知话题的动态跟踪。在现有的向量空间模型分类算法的基础上,提出一种基于话题更新的话题跟踪算法,通过实验对其进行评价。     

测井曲线识别与跟踪的研究

用图象处理实现测井曲线的模／数转换,核心问题是对曲线的识别与跟踪,该文探讨有关曲线识别、跟踪的问题及其解决方法。     

基于广义话题理论的话题句识别

汉语标点句句首话题缺失是机器翻译、信息抽取准确率不高的原因之一。该文从广义话题理论出发,根据汉语话题结构的特点,提出标点句的话题句识别研究方案,包括两个阶段性任务 单个标点句的话题句识别和序列标点句的话题句序列构建。识别出标点句的话题句也就找到了标点句句首缺失的话题。该文解决单个标点句的话题句识别任务,主要采用语义泛化和编辑距离两种手段。实验中开放测试的准确率比基线高出12.51个百分点。该结果说明,运用广义话题理论进行单个标点句的话题句识别可产生明显的效果。     

面向互联网新闻的在线话题检测算法

针对互联网新闻报道冗余多、议题发散、易漂移等特点,提出一种面向互联网的在线话题检测算法。该算法针对冗余问题提出子话题概念,针对议题发散问题建立双层检测结构,针对话题漂移问题提出基于滑动窗口的跟踪策略。应用该算法建立网上话题检测系统,通过来源于互联网的真实数据进行测试。结果表明,算法性能优于传统的单路径聚类算法,其最小错误代价率低于0．14。     

微博突发话题检测方法研究

话题检测与跟踪模型不能很好地处理随意性强、用语不规范的微博短信息。为此,提出一种基于动态滑动窗口的微博突发话题检测方法。利用窗口提取具有潜在突发性的信息,采用结合语义的归一化词频-反文档频率函数计算特征权重,构建结合语义的空间向量模型,使用Single-Pass聚类算法思想对其加以改进,生成最终聚类。实验结果表明,该算法能获得较准确的突发话题检测结果。     

基于K-Modes聚类的自适应话题追踪技术

传统自适应话题追踪用向量空间模型表示一个话题模型,通常会对话题模型更新带来错误的反馈。针对传统自适应话题追踪中话题模型的不足,提出基于K-Modes聚类的自适应话题追踪方法（K-MATT方法）,用话题类中心代替话题模型,把命名实体向量空间模型作为话题类中心,在追踪过程中不断迭代更新话题类中心,直到话题类中心稳定。实验证明K-MATT方法是有效的。     

新闻专题阶段性摘要的生成研究*

新闻专题的阶段性对了解专题的动态演化、勾勒专题的发展轮廓等提供了较高的参考价值,一定程度上弥补了专题内容太多而不便阅读的缺憾。以“马航MH370航班失联”专题为研究对象,探讨了新闻专题阶段性的生成算法,首先利用主题抽取技术对各新闻文档进行主题抽取,完成文档集到主题集的转换,然后借助话题检测与追踪技术对主题集进行基于时间流的双向聚类和正逆向结果交集的再聚类,最终根据话题聚类的结果选择对应文档的主题生成新闻专题的阶段性。实验证明,本文方法能够取得较好的Rouge召回率。     

运动目标检测与跟踪算法的研究进展

运动目标检测与跟踪技术有着广泛的应用,但由于检测和跟踪过程容易受外界环境的干扰而造成失败,因此改进运动目标检测和跟踪算法具有重要意义。本文分类介绍了运动目标检测与跟踪算法的研究现状以及常用算法,比较了各种算法的优缺点,阐述了该课题许多尚未完全解决的问题,并对该领域未来的发展趋势进行展望。     

面向微博热点话题发现的多标签传播聚类方法研究

微博热点话题发现是目前的研究热点。针对传统热词抽取方法难以适用于微博数据的问题,提出一种基于老化理论的词生命值计算模型用于热词抽取,并基于热词间的相关性构建词共现网络;针对传统的词聚类算法不能较好地解决话题间存在重叠热词以及时间效率不佳的问题,引入多标签传播思想,设计一种接近线性时间复杂度的多标签传播聚类算法( TCMLPA)用于词共现网络的热词聚类,获得热点话题集。实验结果表明,词生命值计算模型能够有效过滤噪声并提取热词,TCMLPA算法则能够在保证聚类结果稳定性的情况下,有效提高热点话题发现的精度和效率。     

信息抽取研究综述

信息抽取研究旨在为人们提供更有力的信息获取工具,以应对信息爆炸带来的严重挑战。与信息检索不同,信息抽取直接从自然语言文本中抽取事实信息。过去十多年来,信息抽取逐步发展成为自然语言处理领域的一个重要分支,其独特的发展轨迹———通过系统化、大规模的定量评测推动研究向前发展,以及某些成功启示,如部分分析技术的有效性、快速NLP系统开发的必要性,都极大地推动了自然语言处理研究的发展,促进了NLP研究与应用的紧密结合。回顾信息抽取研究的历史,总结信息抽取研究的现状,将有助于这方面研究工作向前发展。     

基于遮挡检测和多块位置信息融合的分块目标跟踪算法

目标跟踪无法有效判断目标何时被遮挡以及同时配合模板更新.针对这一问题,文中提出基于遮挡检测和多块位置信息融合的分块目标跟踪算法.首先,将目标区域分成4个子块,结合目标整体,利用遮挡具有从局部开始和方向性的特点,计算各分块间相关值的比值,判断目标是否遮挡及遮挡部位.再根据目标是否遮挡,采用不同的更新方式.最后,根据未被遮挡的各个分块位置信息确定最终目标的位置.在数据集上的实验表明,文中算法可以有效判定目标是否存在遮挡,并提升遮挡情况下的跟踪效果.