基于BERT和LightGBM的文本关键词提取方法

传统的文本关键词提取方法忽略了上下文语义信息,不能解决一词多义问题,提取效果并不理想。基于LDA和BERT模型,文中提出LDA-BERT-LightG BM(LB-LightG BM)模型。该方法选择LDA主题模型获得每个评论的主题及其词分布,根据阈值筛选出候选关键词,将筛选出来的词和原评论文本拼接在一起输入到BERT模型中,进行词向量训练,得到包含文本主题词向量,从而将文本关键词提取问题通过LightG BM算法转化为二分类问题。通过实验对比了textrank算法、LDA算法、LightG BM算法及文中提出的LB-LightG BM模型对文本关键词提取的准确率P、召回率R以及F1。结果表明,当Top N取3～6时,F1的平均值比最优方法提升3.5%,该方法的抽取效果整体上优于实验中所选取的对比方法,能够更准确地发现文本关键词。     

基于 LDA-CLCBA 组合模型的 高速铁路道岔故障诊断

ZY(J)7电液道岔转换设备已在高速铁路大量投入使用,对其进行精确的故障诊断有助于高速铁路道岔的日常维护作业。以ZY(J)7道岔故障文本数据作为研究对象,提出一种基于LDA(latent dirichlet allocation)主题模型与关联规则分类技术相结合的高速铁路道岔故障诊断模型。该模型首先采用LDA主题模型实现ZY(J)7道岔故障文本数据的特征提取;其次,由于道岔各故障类别数据的不均衡性,将原有的关联规则分类算法引入类支持度相关概念进行不平衡数据的处理,最终实现ZY(J)7道岔的故障诊断。通过对某铁路局2017～2019年的ZY(J)7道岔故障文本数据进行实验分析,实验结果表明提出的故障诊断方法分类精确率和召回率分别达到95.08%和90.24%,既保证了整体分类的准确率又有较好的小类别分类性能。     

基于主题图的公安案件信息资源知识体系研究

文章探讨了将主题图技术应用于公安案件的信息资源组织。通过对主题图技术的概念和理论的介绍,建立了公安案件主题图概念体系。结合实际的公安案件,分析了公安案件中主题及主题间的关联。运用OKS知识开发组件工具进行了具体的构建,最终达到了用Omnigator实现基于语义的主题图浏览,Vizigator实现主题图可视化。     

基于世界知识的深网数据源增强分类模型

针对传统词袋方法在深网(Deep Web)数据源分类应用中的局限性,提出一种基于世界知识的Deep Web数据源增强分类模型,通过对外部知识库的主题分析,建立特征映射,构造基于领域概念的辅助分类器,丰富Deep Web查询表单的特征集合。基于Wikipedia百科知识库对真实Web数据进行分类。实验结果证明该模型有效。     

基于主题特征和时间因子的改进PageRank算法

经典PageRank算法单纯地考虑到对网页的链接结构进行分析,而不能考虑到网页在搜索主题方面的相关性和权威性,以及用户对新旧网页的依赖程度的不同.针对经典PageRank算法存在的上述缺陷,综合网页的主题特征和时间特征两个因素,提出了一种改进的PageRank算法WTPR(weighmd topic PageRank).该算法通过网页链接分析和内容分析来解决网页的权威程度和相关程度,通过时间因子实现PageRank值随时间的变动而浮动.仿真结果表明,改进后的算法与PageRank算法相比获得了更好的效果.     

基于主题图的文献资源组织模型及应用研究

文章分析了主题图的相关理论和传统文献组织方法优劣,论证了主题图在文献资源组织中的可行性,提出了基于主题图的文献资源组织模型及构建方法,引申了基于该模型的文献检索、主题导学、个性化资源推荐等应用研究。     

研讨支持系统中基于主题聚类的热点提取

研讨支持系统是一种旨在通过计算机技术代替传统面对面的研讨方式,并利用信息处理、数据挖掘等方法自动形成决策的网络研讨平台。研讨过程中会产生海量发言,如何自动挖掘和提取发言中的热点是本文研究重点。文章采用文本聚类的方法从发言中得到主题簇,并结合提出的热度值计算公式找出热门主题和热门观点。最后引用一个实例分析和验证了热点提取过程。     

动态文本流中的话题线索检测算法

针对动态文本流中的话题线索检测问题,提出一种基于语义相关度模型的话题线索检测算法。利用改进的语义相关度模型计算消息文本与话题线索之间的语义相关度,将消息划分至相应的话题线索。在真实数据集上的实验结果表明,与现有算法相比,该算法的F1测度值较高。     

基于非负矩阵分解的中文文本主题分类

提出基于非负矩阵分解（NMF）的中文文本主题分类方法,应用NMF算法分解词．文本矩阵获取词之间的相关性,有效地解决同义词、多义词的影响。实验结果表明,与基于奇异值分解的潜在语义索引方法相比,该方法计算速度快、占用存储空间较少。在潜在语义数据降低较大的情况下,NMF方法具有更好的分类精度。     

基于联合矩阵分解的话题发现与追踪模型

在文本流数据中,文本文档以流的形式源源不断地进入系统,数据量大和数据更新速度快给文本流话题发现与追踪提出了严峻的挑战。为了应对上述困难,本文提出了一种基于联合矩阵分解的话题发现与追踪模型。为了有效地处理海量数据,将流数据按照时间戳划分为数据块;为了能在数据的快速变化中追踪到话题的演化,将当前时刻的话题分布表示为前一时刻话题分布的线性演化。本文采用联合矩阵分解技术将当前的数据块分别表示为当前的话题分布和前一时刻的话题分布两种形式,通过同时分解两个矩阵得到当前的话题分布。在优化求解过程中,通过Karush-Kuhn-Tucker条件分析得到参数的更新策略,并给出相应的求解算法。Yahoo数据集对比实验表明,本文提出的话题发现算法能更好的发现文本流中蕴含的话题分布情况,并且可以随着时间的推移对话题的演化进行追踪。