基于改进隐马尔可夫模型的文本分类研究

将一种改进的隐马尔可夫模型(HMM)应用于文本分类中,在考虑其前向依赖的同时,需考虑状态的后向依赖性.将当前观测值和和当前状态对其后一状态的依赖性加入模型的学习,这样的改进模型能有效提高文本信息抽取准确率.在文本分类过程研究中,首先对训练样本进行文本预处理,对HMM分类器模型进行参数学习,建立HMM分类器后用测试集进行测试并做出性能评价.在性能评价中用改进的评测指标,可针对不同数据集做出准确评价,以及可对比不同分类工作在同一数据集上的性能,大大提高评价质量.     

文本分类中特征选择方法研究

对四种特征选择方法:互信息、信息增益、x2统计和期望交叉熵作了简要的介绍,并且结合KNN分类算法,使用查全率、查准率、宏平均和微平均对四种特征选择方法分别进行评估,提出并讨论了互信息修正的两种方法.     

基于位置的文本特征加权方法研究

TF-IDF是文本特征赋权的常用方法.该方法简单易行,但没有考虑位置因素对特征赋权的影响.通过修改因子,分析不同条件下文本表现形式的差异,提出3个基于位置的文本特征加权方法.随后的文本分类试验表明.此加权模型相比较于传统的方法,均具有较好的文本标注效果.     

基于文本分类技术的信息过滤方法的研究

针对目前网络上不良信息变换不同方式逃脱过滤以及中文分词器分词后存在的问题，提出了基于文本分类技术的信息过滤方法，通过在原有的文本自动分类系统中添加三个过滤模块，以过滤掉无用信息、单个独立字、敏感信息等不良内容，从而保障分类安全高效。     

基于联合信息增益与Pearson相关系数的智能音箱流量分类

智能音箱在智能家居系统中扮演着重要的角色,大量的用户隐私数据存在于智能音箱流量数据包中,因此智能音箱流量分类是一项十分重要的研究课题。本文通过对智能音箱网络流量数据进行采集,然后进行预处理,得到特征数据集,再通过联合信息增益与Pearson相关系数的方法对特征数据集进行特征选择,得到特征子集;根据特征子集,通过网络流量分类器实现智能音箱网络流量的分类。实验结果表明本文中采用的联合信息增益与Pearson相关系数对智能音箱流量进行特征选择的方式,提高了分类器的性能。     

基于模糊集理论和信息增益分析技术的分类算法

分类是数据挖掘技术的一个重要课题.用于分类问题的关联规则挖掘方法要求将连续属性的数据划分到各区间,实际这种离散化方法并不符合人类知识的表达方式.基于模糊集理论的分类算法更易于人类理解.本文提出的基于模糊集理论和信息增益分析技术的数据挖掘分类算法,经试验证明比Hisao算法具有计算量小、无需事先确定分类属性个数且可得到较高分类正确率的优点.     

基于ERNIE-TextCNN模型的医学文本分类方法

目前医院信息系统中还包括大量的非结构化数据,从中挖掘信息存在较大的难度。本研究采用ERNIE-TextCNN模型,对医学内镜报告进行文本分类。实验显示,相比单纯的ERNIE模型和TextCNN模型,ERNIE-TextCNN模型的精确率、召回率和F1分数上都有所提升,说明该模型能够有效地应用到医学文本分类领域。     

Web文本挖掘在互联网信息统计中的研究与设计

互联网的迅猛发展，越来越迫切地需要全面准确对网上信息进行分类及统计，Web挖掘技术的兴起，尤其是该技术中的文本挖掘，使这种统计成为可能。本文研究了互联网信息统计的现状，介绍了Web挖掘技术并分析了Web文本挖掘的关键技术。继而结合文本挖掘技术设计了网站分类系统的模型，同时对其开发步骤进行了说明。最后展望了此技术方案在相关领域的应用前景。     

面向不良文本信息的中文网页分类方法

结合Internet不良文本信息的特点,运用贝叶斯理论设计了一种面向该类信息的网页分类方法,该方法兼顾分类效率与分类精度,对特征项选取以及权重计算的方法进行了优化,降低了分类特征维数,简化了分类过程的处理.实验数据表明,该方法保持了良好的性能,提高了效率.     

有监督主题模型的SLDA-TC文本分类新方法

本文提出了一种有监督主题模型的SLDA-TC（Supervised LDA-Text Categorization）文本分类方法,引入主题-类别概率分布参数,识别主题-类别的语义信息;提出SLDA-TC-Gibbs主题采样新方法,对每个词的隐含主题采样,只从该词所在文档的同类其它文档中采样,并给出了理论推导;另外,其主题数只需略大于类别数.实验表明,对比LDA-TC（LDA-Text Categorization）和SVM算法,本方法能提高分类精度和时间性能.     

面向审计领域的短文本分类技术研究

针对审计问题这种短文本所具有的特征稀疏、问题类别界限模糊问题,提出了一种改进的面向审计领域的短文本分类方法。该方法首先为审计问题构造了专门的特征集,以审计领域的同义词词集和法规库为基础,并结合特定规则来调整特征权重,然后以修改的SVM决策树作为多类分类器进行短文本分类。实验结果表明,该方法在对审计问题分类的应用上,具有较为满意的正确率,能满足实际的分类需求。     

一种基于潜在语义分析和直推式谱图算法的文本分类方法LSASGT

 本文针对训练数据较少以及在基于图的分类算法中的文本表示问题,提出了一种基于潜在语义分析技术和直推式谱图算法的文本分类方法LSASGT,该方法将潜在语义分析技术和直推式谱图算法这两种基于谱分析理论的技术有机地结合在一起,对所有训练数据和测试数据进行统一建模,挖掘数据中潜在的多种结构信息.LSASGT引入潜在语义分析技术用于构造文本图表示模型,在能够反映人的分类标准的潜在语义特征空间中,描述文本之间的语义相关性;基于这样的文本表示,利用半监督的直推式谱图算法进行文本分类.在基准英文文本分类数据集Reuters21578和中文文本分类数据集Tan-Corp上的实验结果表明,本文给出的LSASGT文本分类方法获得了较好的分类结果.     

一种新型文本自动分类系统的研究与实现

文本自动分类系统是信息处理的重要研究方向，它是指在给定的分类体系下，根据文本的内容自动判别文本类别的过程。通过对文本分类中所涉及的关键技术进行研究和探讨，提出了基于向量空间模型的文本分类系统的结构，并给出了评估方法和实验结果。     

基于语义的文本信息安全过滤平台

信息安全是人们关注的焦点,从传统的基于行为的安全向基于内容本身的安全不断发展,信息安全的外延在不断扩大。Internet提供的海量、庞杂的信息中,不良信息以不同的表现形式,从不同的角度对不同人群造成毒害或干扰。因此,对网络访问进行必要的、有效的内容过滤是营造健康安全网络环境的重要环节。但是,传统的文本信息过滤算法仅能实现结构对应层次上的判断,无法体现文本的语义,过滤效果难以满足智能化的要求。文中结合计算机语言学知识,提出并实现了一种语义分析的过滤方法,对于那些冗长文本中因为分散存在的关键字而造成的假匹配,通过语义分析,可以很好地甄别处理,从而提高系统的召回率。     

基于二阶隐马尔可夫模型的文本信息抽取

隐马尔可夫模型是文本信息抽取的重要方法之一.在一阶隐马尔可夫模型中,假设状态转移概率和观察值输出概率仅依赖于模型当前的状态,一定程度降低了信息抽取的精确度.而二阶隐马尔可夫模型合理地考虑了概率和模型历史状态的关联性,对错误信息有更强的识别能力.提出了基于二阶隐马尔可夫模型的文本信息抽取算法;分析了二阶隐马尔可夫模型在文本信息抽取中的有效性;仿真实验表明,新的算法比基于一阶隐马尔可夫模型的算法具有更高的抽取精确度.     

基于特征向量的文本信息过滤算法研究

随着信息技术的迅速发展,网络已经逐步成为人们生活当中不可或缺的信息传播工具。由于网络资源的大量使用和信息的大量传输,导致信息过载及安全等问题日益突出。为了解决信息过滤的过滤精度和效率瓶颈等问题,这里详细地对文本信息过滤的主要过程、文本表示方法、特征向量获取、相似度计算等技术进行研究,提出一个基于特征向量的文本信息过滤算法。该过滤算法有效地平衡了计算负载,具有较高的信息过滤性能。     

文本分类中改进型互信息特征选择的研究

互信息是文本分类中常用的特征选择方法.提出了一种新的基于互信息的特征选择方法.首先分析了特征选择影响文本分类精度的因素,将这些因素组合起来表征特征对于分类的强弱,并用公式直观地表示由组合因素计算出的特征值,根据这些值得大小选择对分类影响大的特征.最后理论证明了其可行性,并通过实验证明了该方法在提高分类精度方面比传统方法提高了10%.