基于动态共现的中文话题关联检测

话题关联检测是话题检测与跟踪的一项子任务,是判断随机抽取的两篇新闻报道是否讨论同一个话题的技术。受词语共现模型的启发,结合话题关联检测的特点,提出了词语间的动态同现关系,实现了基于动态共现关系的报道相似度计算方法;探讨了相似度计算方法在中文话题关联检测中的应用。通过实验可知,动态共现关系可以在一定程度上反映报道的语义信息,相似度计算方法很好地改善了中文话题关联检测系统的性能,取得了不错的效果。     

基于深度关联域的语义直线检测算法

语义直线与人造环境中的线结构有所不同,它是一种抽象的有意义的直线。传统的直线检测方法不能精准地识别出语义线,为此提出了一种新的基于深度学习的语义直线检测方法。用卷积神经网络提取出语义直线的关键点和关联域信息,结合霍夫变换将直线可视化。最终结果表明,算法具有较好的准确性和鲁棒性。     

语义分析和结构化语言模型

提出了一个语义分析集成系统,并在此基础上构建了结构化的语言模型.该语义分析集成系统能够自动分析句子中各个词的词义以及词之间的语义依存关系,达到90.85%的词义标注正确率和75.84%的语义依存结构标注正确率.为了描述语言的结构信息和长距离依存关系,研究并分析了两种基于语义结构的语言模型.最后,在中文语音识别任务上测试两类语言模型的性能.与三元语言模型相比,性能最好的语义结构语言模型--中心词三元模型,使绝对字错误率下降0.8%,相对错误率下降8%.     

基于可区分语言模型的微博在线话题检测

针对微博话题检测中需要解决的高维数据、噪声信息以及话题的快速演化等主要问题,提出一个有效的微博在线话题检测模型——可区分语言模型(discriminative language model,DLM).该模型首先选择微博数据的可区分特征子空间,接着利用一元语言模型实现微博话题的在线检测.实验表明,在MACRO_F1和AVG_CDET等指标上,DLM明显优于现有模型,DLM能准确及时发现微博话题.     

中文语义依存关系分析的统计模型

该文提出了一个统计语义分析器,它能够发现中文句子中的语义依存关系．这些语义依存关系可以用于表示句子的意义和结构．语义分析器在1百万词的标有语义依存关系的语料库(语义依存网络语料库,SDN)上训练并测试,文中设计、实现了多个实验以分析语义分析器的性能．实验结果表明,分析器在非限定领域中表现出了较好的性能,分析正确率与中文句法分析器基本相当。     

基于依存句法的中文语义模型及语义提取方法

意图识别与槽填充是语义提取的常用方法,其存在如下两个问题：依赖训练数据,需要标注大量的数据用于训练模型;可迁移性差,训练得到的模型难以复用。针对上述问题,该文对于不同的语义提取场景,提出了四种不同的语义模型。同时,该文研究了汉语语法的特点,基于依存句法,提出了不同的语义提取算法,解决了模型难以复用的问题。该方法对数据集的要求较低,节省了成本。最后,设计了语义提取实验,验证了在样本规模小且分布不均匀的数据集下,语义提取算法相比于部分中文文本分类算法有更高的准确率。该文提出的模型和算法具有一般性,对于文本分类、人机对话等不同语义提取场景具有较强的指导意义。     

基于关联规则和粗糙集的话题特征提取方法

针对话题分类文本训练集少、主题相似度大的特点,提出一种基于关联规则和粗糙集的话题特征提取方法。在向量空间模型的基础上,采用挖掘关联规则的方式生成规则集与文本主体,通过调节事务主体的最小支持度与最小置信度查找不同颗粒层次的话题,利用粗糙集理论对词语特征与关联特征进行属性约简。实验结果表明,该方法能提取文本集中描述的评论主题,具有较高的话题分类准确率。     

基于子话题分治匹配的新事件检测

新事件检测是话题检测与跟踪领域的一项重要研究,其任务是实时监控新闻报道流并从中识别新话题.现有方法将话题和报道描述为单一结构的特征向量进行匹配,造成子话题间互为噪声并形成错误语义,从而误导新话题的识别.针对这一缺陷,文中提出基于子话题分治匹配的新事件检测方法,将话题和报道划分为不同子话题,根据相关子话题的比例关系和分布关系建立新话题识别模型.实验在TDT4和TDT5中获得显著改进,最小检测错误代价为0.4061,相应漏检率为0.1859.     

微博突发话题检测方法研究

话题检测与跟踪模型不能很好地处理随意性强、用语不规范的微博短信息。为此,提出一种基于动态滑动窗口的微博突发话题检测方法。利用窗口提取具有潜在突发性的信息,采用结合语义的归一化词频-反文档频率函数计算特征权重,构建结合语义的空间向量模型,使用Single-Pass聚类算法思想对其加以改进,生成最终聚类。实验结果表明,该算法能获得较准确的突发话题检测结果。     

基于话题检测的自适应增量K-means算法

根据话题检测任务的定义和特点,本文分析了传统的增量聚类算法和K-means算法的优缺点,提出了基于话题检测的自适应增量K-means算法,设计了话题检测实验,实验结果证明了该算法提高了话题检测性能,具有良好的应用前景。     

新闻文本话题关联识别研究

本文首先简单介绍了话题发现与追踪的发展史及主要任务,然后重点分析比较了现有话题关联识别模型的使用情况,并测试了文档中各层次知识特征对话题关联识别性能的影响。其测试结果对如何评判已有的识别系统或构建好的识别系统具有一定参考价值。     

基于语义增强的短文本主题模型

传统主题模型方法很大程度上依赖于词共现模式生成文档主题, 短文本由于缺乏足够的上下文信息导致的数据稀疏性成为传统主题模型在短文本上取得良好效果的瓶颈. 基于此, 本文提出一种基于语义增强的短文本主题模型, 算法将DMM (Dirichlet Multinomial Mixture)与词嵌入模型相结合, 通过训练全局词嵌...     

基于增量型聚类的自动话题检测研究

随着网络信息飞速的发展,收集并组织相关信息变得越来越困难.话题检测与跟踪(topic detection and tracking,简称TDT)就是为解决该问题而提出来的研究方向.话题检测是TDT中重要的研究任务之一,其主要研究内容是把讨论相同话题的故事聚类到一起.虽然话题检测已经有了多年的研究,但面对日益变化的网络信息,它具有了更大的挑战性.提出了一种基于增量型聚类的和自动话题检测方法,该方法旨在提高话题检测的效率,并且能够自动检测出文本库中话题的数量.采用改进的权重算法计算特征的权重,通过自适应地提炼具有较强的主题辨别能力的文本特征来提高文档聚类的准确率,并且在聚类过程中利用BIC来判断话题类别的数目,同时利用话题的延续性特征来预聚类文档,并以此提高话题检测的速度.基于TDT-4语料库的实验结果表明,该方法能够大幅度提高话题检测的效率和准确率.     

基于改进向量空间模型的话题识别与跟踪

话题识别与跟踪旨在发展一系列基于事件的信息组织技术,通过监测以实现对新闻媒体信息流中新话题的自动识别和已知话题的动态跟踪。文中提供一种利用改进的向量空间模型进行识别和跟踪的方法。没有使用传统向量空间模型中单个向量,而是按照语义将特征词划分为4个组(人物、时间、地点、内容)并形成4个向量空间。每个空间进行独立的权重计算和相似度计算。实验证明这些方法是有效的。     

主题方面共享的领域主题层次模型

层次主题模型是构建主题层次的重要工具. 现有的层次主题模型大多通过在主题模型中引入nCRP构造方法, 为文档主题提供树形结构的先验分布, 但无法生成具有明确领域涵义的主题层次结构, 即领域主题层次. 同时, 领域主题不仅存在层次关系, 而且不同父主题下的子主题之间还存在子领域方面共享的关联关系, 在现有主题关系研究中没有合适的模型来生成这种领域主题层次. 为了从领域文本中自动、有效地挖掘出领域主题的层次关系和关联关系, 在4个方面进行创新研究. 首先, 通过主题共享机制改进nCRP构造方法, 提出nCRP+层次构造方法, 为主题模型中的主题提供具有分层主题方面共享的树形先验分布; 其次, 结合nCRP+和HDP模型构建重分层的Dirichlet过程, 提出rHDP (reallocated hierarchical Dirichlet processes)层次主题模型; 第三, 结合领域分类信息、词语语义和主题词的领域代表性, 定义领域知识, 包括基于投票机制的领域隶属度、词语与领域主题的语义相关度和层次化的主题-词语贡献度; 最后, 通过领域知识改进rHDP主题模型中领域主题和主题词的分配过程, 提出结合领域知识的层次主题模型rHDP_DK (rHDP with domain knowledge), 并改进采样过程. 实验结果表明, 基于nCRP+的层次主题模型在评价指标方面均优于基于nCRP的层次主题模型(hLDA, nHDP)和神经主题模型(TSNTM); 通过rHDP_DK模型生成的主题层次结构具有领域主题层次清晰、关联子主题的主题词领域差异明确的特点. 此外, 该模型将为领域主题层次提供一个通用的自动挖掘框架.     

话题识别与跟踪中的层次化话题识别技术研究

话题识别与跟踪(topic detection and tracking,TDT)旨在发展一系列基于事件的信息组织技术,层次化话题识别(hierarchical topic detection,HTD)是其中一项全新的任务定义形式.通过连续的大规模评测,话题识别与跟踪已成为国际上自然语言处理尤其是信息检索领域的一个研究热点.为此,将自然语言处理与信息检索技术相结合,提出了针对事件特点的切实有效的单粒度话题识别方法,并提出了基于多层聚类的MLCS算法对话题进行层次化组织.所提出的方法具有很好的效果,在TDT2004的HTD评测中,该方法取得了第2名的成绩.     

基于缩略语分析的中文报道关系识别研究

分析中文缩略语的构词方式,定义2个词之问的词形相似度,提出一种基于最长字符串匹配的相似度计算方法,探讨该方法在中文报道关系识别系统中的应用.实验结果表明,该相似度计算方法能够改善中文报道关系识别系统的性能,使系统的归一化检测开销降低12.96％,取得较好的识别效果.     

大数据下的基于主题模型的社交网络链接预测

计算机技术和网络的发展使得数据呈爆炸式的涌现,社交媒体不断融入到人们的生活中,社会网络分析已成为研究的热点。随着大数据时代的到来,对社交网络链接算法研究产生巨大影响,原有的基于网络结构的预测方法已经渐渐不适应现状。因此,提出了一种基于主题模型的社交网络链接预测方法。首先以微博社交网络为数据源,将实验网络分为测试集和训练集;其次利用主题模型得到用户的主题特征,结合命名实体集和用户联系特征集合得到用户的兴趣特征相似性度量,加上网络结构相似性从而得到用户节点相似度,进而对社交网络链接进行预测;最终使用链接预测最常用的评价体系AUC来评价链接预测方法的效果。通过实验验证,该方法的预测准确率更高。     

基于文本挖掘的话题发现技术

在分析灾害新闻特点的基础上,提出一种基于文本挖掘的话题发现技术,采用基于平均分组的层次聚类算法,对灾害新闻资料进行组织,从而生成新闻专题,为用户提供个性化服务,并形成专题检测系统,同时介绍基于时间和地点权值向量的相似度计算模型以及基于时间的动态阈值模型。实验结果表明,该算法能够获得较好的性能。     

基于扩展主题模型的异常医疗处方检测方法

异常处方指的是医生为患者所开具的存在异常的处方。医疗处方中出现异常,如滥用药或者开错药等,会影响患者的治疗效率,甚至造成严重的后果。由于一些主观或者客观原因,医生总会开具一些异常处方。检测出这些异常处方能够提升患者就医效率,减少社会医疗成本,并且对药物滥用、多开药、错开药的有效管理等都有着重要意义。为此,提出了一种基于扩展主题模型的异常处方检测方法。该方法能够自动地从大量处方数据中检测出异常处方,并且对于每一个新的处方,该方法都能够判断其诊断和用药是否匹配,进而判断其是否正常。与其他异常检测算法相比,该方法具有更广泛的应用,不仅可以在医疗领域中使用,以检测异常处方,还可以在其他领域中使用,以检测其他特征之间的匹配关系异常。该方法已经得到了实现,并在真实的处方数据集中得到了验证。