维吾尔语意见挖掘关系抽取研究

在分析维吾尔语词性规则和语法特征的基础上,以维吾尔语评论性语句为研究语料,提出了一种基于Bootstrapping算法的意见挖掘关系抽取方法.在每一次迭代过程中,根据改进的评分公式选取最优模式抽取主题词-意见词对;迭代结束后,对于主题-意见词对为空的评论语句,使用最近匹配算法抽取主题-意见词对;用并联模式和否定模式对抽取的主题-意见词对进行扩展和修正.关系抽取的最终目标是为每一个评论性语句建立一个或多个二元组＜主题词,意见词＞,并使主题词和意见词一一对应.实验结果表明了该方法在关系抽取上的有效性.     

细粒度意见挖掘中维吾尔语文本情感分析研究

传统的情感分析研究通过分析, 确定词语、句子或篇章的情感, 但忽略了情感表达的主题。针对这一不足, 该文提出了一种基于双层CRFs模型的细粒度意见挖掘中维吾尔语意见型文本陈述级情感分析方法。第一层模型识别意见型文本中的主题词和意见词, 确定意见陈述的范围, 并将识别结果传递给第二层模型, 将其作为重要特征之一, 用于陈述级情感分析。细粒度意见挖掘中情感分析的目标是构建<意见陈述, 主题词, 意见词, 情感>四元组。该方法用于维吾尔语陈述级情感分析的准确率为77.41%, 召回率为78.51%, 证明了该方法在细粒度意见挖掘中情感分析任务上的有效性。     

基于百度百科与文本分类的网络文本语义主题抽取方法

网络上存在海量中文文本资源,其中许多具有稀疏性与不规范性,难于处理与挖掘.百度百科是一个丰富的与社会热点、网络流行紧密相关的动态中文知识库,基于百度百科本文提出一种网络文本语义主题抽取方法.首先利用百度百科的知识关系将文本映射到侯选语义主题空间中,根据训练数据进行分类,找出最大可能的分类,选出属于该分类的候选语义主题.最后提出根据语义离散度确定最终语义主题.在两个数据集上的实验结果表明,该方法不仅对网络不规范文本而且对于规则文本都具有较好的语义主题抽取性能.     

基于多因素的中文文本主题自动抽取方法

提出了一种基于多因素的文本主题的提取方法,并着重讨论了相应的权值体系.根据概念间的相互关系,对同义概念进行语义归并和上下位概念进行语义聚焦.对于给定的文本,先进行特征词抽取进而生成代表主题概念的重要词汇.综合语句所在位置、语句中的标题、语句中所含重要词汇等多因素构造语句权值表达式,在此基础上,采用主题句选择算法保证每一个主题句被选中,同时解决了主题句的去重问题.实验结果表明,该方法具有较高的抽准率.     

一种基于字同现频率的汉语文本主题抽取方法

主题抽取是文本自动处理的基础工作之一,而主题的抽取一直以分词或者抽词作为第1步．由于汉语词间缺少明显的间隔,因此分词和抽词的效果往往不够理想,从而在一定程度上影响了主题抽取的质量．提出以字为处理单位,基于字同现领率的汉语文本主题自动抽取的新方法．该方法速度快,适应多种文体类型,并完全避开了分词和抽词过程,可以广泛应用在主题句、主题段落等主题抽取的多个层面,而且同样适用于其他语言的文本主题抽取．主题句自动抽取实验表明,该方法抽取新闻文本主题句的正确率达到77．19％．汉语文本的主题抽取比较实验还表明,省略分词步骤并没有降低抽取算法的正确率．     

航空安全事故因果关系抽取方法的研究

针对目前航空安全事故因果关系分析一般采用基于概率和统计的方法,缺乏对事故发生过程的详细分析这一问题,提出通过因果关系抽取挖掘事故的因果发展过程。针对世界航空安全事故调查报告构成的文本数据集,将航空安全事故因果关系分为显式因果关系和隐式因果关系,其中显式因果关系抽取采用模式匹配的方法,抽取准确率达到87.72%;隐式因果关系抽取则采用改进的基于自注意力机制的双向长短期记忆网络方法,该方法在公共数据集和航空安全数据集上的F值较基准方法分别提高近6%和10%。在有效实现单一航空安全事故因果关系对的识别与抽取的基础上,生成了每个事故的因果关系图,为深入分析航空安全事故发生过程和情景重现提供数据与方法支持。     

LDA主题抽取模型在互联网旅游评论的应用

面对网络上日益丰富的评论信息资源,如何在海量的客户评论中快速有效的获取并使用其中的有效信息,成为人们日益关注的问题。研究目标是互联网上的旅游评论,通过使用数据挖掘算法分析获取评论中关于商品或服务的主题词,并提取所有评论中包含主题词的句子。使用主题抽取模型(LDA模型)进行半监督的聚类处理,建立景点评论的主题模型,实现了互联网旅游评论个性化的设置和查询。     

维吾尔语停用词抽取方法研究

为提高信息处理效率,文本信息检索系统通常将停用词作为噪音过滤掉,影响了文本处理的效果。针对该问题,提出一种应用于维吾尔语的停用词抽取方法。在分析维吾尔语停用词特点的基础上,采用文档频数、词项频率和信息熵的方法对大量语料进行统计,并分析候选停用词的词性分布情况。通过文本分类实验确定停用词阈值,结果表明,使用该方法进行停用词过滤后,文本分类的计算复杂度降低,分类准确率达到80.8%。     

高效的短文本主题词抽取方法

为了克服传统主题词抽取算法中的主题漂移与主题误判等问题,提出了利用词的共现信息来提高主题词抽取的准确率。根据词汇与文本中的上下文环境词汇的共现关系来调节词的权重评分,与文本主题具有较高共现率的词将被优先抽取为文本的主题词,从而提高文本的主题词抽取精度。经实验证明,提出的主题词抽取方法较一般主题词抽取方法准确率有所提升,特别是抽取文本篇幅较短时,该方法明显优于一般方法。     

一种文本信息抽取技术的研究

文章针对特定领域的中文文本建立了一个信息抽取模型，阐述了根据信息模板和领域特点进行概念分类的方法，介绍了采用隐马尔可夫统计模型进行自动概念标注的过程，提出了运用概念过滤、模板匹配方法进行抽取信息的思路。在模型基础上实现了一个信息抽取实验系统，并通过实验证明了此模型针对特定领域文本是有效的。     

一种基于文本样式的Web主题信息提取方法研究

考虑Web页面表现形式对主题相关度的影响,提出了一个基于文本样式的Web主题提取算法。该算法解析Web页面中的文本样式,根据不同的文本样式来计算文本的重要度,选取重要度较高的文本作为该页面的主题。算法无须对页面进行复杂的结构分析,也避免了模板需要人工手动配置或训练的繁琐问题,具有较强的通用性。通过对十大类网站的一百个网页的测试,结果表明该算法具有较高的准确度。     

基于种子词汇的话题标签抽取研究

传统话题模型用词项概率分布表示话题,在可解释性上存在很大的不足。该文在Latent Dirichlet Allocation(LDA)的结果上提出了一种基于种子词汇的话题标签抽取方法。首先根据提出的权重计算公式抽取每个话题的种子词,然后,采用bootstrapping思想,迭代产生包含种子词汇的关键短语集合,最后根据短语的完整性和泛化度选择话题标签。该文对两会报告话题和新闻事件话题进行实验,通过结果展示和人工评测,该方法抽取的话题标签能够较准确地表达话题的语义信息。     

基于上下文的话题演化和话题关系抽取研究

自动挖掘大规模语料中的语义信息以及演化关系近年来已受到广大专家学者的关注。话题被认为是文档集合中的潜在语义信息,话题演化用于研究话题内容随时间的变化。该文提出了一种基于上下文的话题演化和话题关系抽取方法。分析发现,一个话题常和某些其他话题共现在多篇文档中,话题间的这种共现信息被称为话题的上下文。上下文信息可以用于计算同时间段话题间的语义关系以及识别不同时间段中具有相同语义的话题。该文对2008年～2012年两会报告以及2007年～2011年NIPS科技文献进行实验,通过人工分析,利用话题的上下文信息,不但可以提高话题演化的正确率,而且还能挖掘话题之间的语义关系,在话题演化的基础上,显示话题关系的演化。     

研讨支持系统中基于主题聚类的热点提取

研讨支持系统是一种旨在通过计算机技术代替传统面对面的研讨方式,并利用信息处理、数据挖掘等方法自动形成决策的网络研讨平台。研讨过程中会产生海量发言,如何自动挖掘和提取发言中的热点是本文研究重点。文章采用文本聚类的方法从发言中得到主题簇,并结合提出的热度值计算公式找出热门主题和热门观点。最后引用一个实例分析和验证了热点提取过程。     

维吾尔文校对中常见错误分析

论文介绍了文本自动查错的研究现状,及中文、英文文本中常见的错误,详细分析了维吾尔文校对中常见错误类型为录入错误、原稿错误、语法错误、标点符号、数字或括号不匹配和其他错误,并给出了相应的算法。     

基于基线的视频维吾尔文字幕帧提取研究

根据维吾尔文字独有的基线特性,提出了一种新的视频维吾尔文字幕帧提取方法,首先进行维吾尔文字幕帧的读取,然后根据相邻帧之间的像素帧间差异和区域像素统计对视频段作初步镜头关键帧的检测,之后对检测到的镜头关键帧作区域处理,检测视频帧中是否具有基线特性,再根据基线设置阈值,最后提取出代表视频语义的主要视频帧。实验证明:该提取方法简洁有效,其字幕帧提取率平均可达到85%以上。     

口语对话系统中的语句主题提取

语句的主题提取是口语对话系统中话语分析部分的工作。目前的口语对话系统大多将自然语言处理的重点放在语法和语义平面,而忽视了对上下文语境的分析,该文提出一种基于规则的语句主题提取方法,通过自底向上与自顶向下两种分析器完成主题与用户意图的提取,为系统的自然语言生成提供更准确的领域知识,从而大大提高了系统的整体性能。     

基于BERT的嵌入式文本主题模型研究

主题模型能够从海量文本数据中挖掘语义丰富的主题词,在文本分析的相关任务中发挥着重要作用。传统LDA主题模型在使用词袋模型表示文本时,无法建模词语之间的语义和序列关系,并且忽略了停用词与低频词。嵌入式主题模型（ETM）虽然使用Word2Vec模型来表示文本词向量解决上述问题,但在处理不同语境下的多义词时,通常将其表示为同一向量,无法体现词语的上下文语义差异。针对上述问题,设计了一种基于BERT的嵌入式主题模型BERT-ETM进行主题挖掘,在国内外通用数据集和《软件工程》领域文本语料上验证了所提方法的有效性。实验结果表明,该方法能克服传统主题模型存在的不足,主题一致性、多样性明显提升,在建模一词多义问题时表现优异,尤其是结合中文分词的WoBERT-ETM,能够挖掘出高质量、细粒度的主题词,对大规模文本十分有效。     

一个面向实时网页分类的主题特征提取算法

网页实时分类是聚焦爬虫需要解决的重要问题,现有主题特征提取方法多数是面向离线分类的,性能达不到应用要求。本文首先扩展了标签树表示模型DocView的节点类型,且将其作为加权的重要因素,然后提出一个面向实时网页分类的Web文本和文本集主题特征提取算法。实验结果表明,算法的准确率提高了31％,主题偏移度降低了1倍多,能够满足应用要求。同时,还提出了一个新的主题特征提取性能评价模型。     

EntropyRank: 基于主题熵的关键短语提取算法

关键短语提取是自然语言处理领域的一个重要子任务,其目的是自动识别出文本中的重要短语,现有方法主要强调词语间相关关系和词语自身影响力会影响关键短语提取效果。考虑到关键短语应准确地表示文档主题这一特点,该文提出一种基于主题熵的关键短语提取算法。该算法利用隐含狄利克雷分布训练文档和词的主题分布,并结合两个主题分布来表示特定文档下的词主题分布,然后计算词主题分布的信息熵即主题熵来表示词语自身影响力,最后在词共现网络上使用随机游走方法计算每个候选短语的得分。在6个公开数据集上的实验结果表明,与现有的无监督关键短语提取算法相比,该算法在F₁指标上能提高2.61%～6.98%。