首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 78 毫秒
1.
研究了文本挖掘精确度问题。针对传统的聚类文本分类算法在文本分类中存在高维性和稀疏性,特别是同义词和近义词难以进行分类,使得分类的精确度低等问题,提出了一种聚类平均信息量文本分类算法。算法从信息论观点分析文本空间向量,将文本看做一个信息源,通过求得该信息源的各个特征的次数来积累文本信息量,以领域特征明显的词和短语作为聚类对象,然后采用层次平均信息量进行特征提取。仿真实验结果表明,提出的算法能够有效地提取文本信息,提高了文本分类的精度,具有一定的实际应用价值。  相似文献   

2.
基于向量空间模型的文本分类中特征向量是极度稀疏的高维向量,只有降低向量空间维数才能提高分类效率。在利用统计方法选择文本分类特征降低特征空间维数的基础上,采用隐含语义分析技术,挖掘文档特征间的语义信息,利用矩阵奇异值分解理论进一步降低了特征空间维数。实验结果表明分类结果宏平均F1约提高了5%,验证了该方法的有效性。  相似文献   

3.
基于卷积神经网络与循环神经网络的混合文本分类模型通常使用单通道词嵌入。单通道词嵌入空间维度低,特征表示单一,导致一维卷积神经网络不能充分学习文本的空间特征,影响了模型的性能。因此,该文提出一种融合通道特征的混合神经网络文本分类模型。该模型使用了双通道词嵌入丰富文本表示,增加了空间维度,在卷积的过程中融合了通道特征,优化了空间特征与时序特征的结合方式,最终提高了混合模型的分类性能。在IMDB、20NewsGroups、复旦中文数据集、THUC数据集上进行实验,该模型的分类准确率相比于传统卷积神经网络平均提升了1%,在THUC数据集上准确率最高提升了1.3%。  相似文献   

4.
基于关键短语的文本分类研究   总被引:1,自引:0,他引:1  
文本分类的进一步改进除了算法方面,应该还立足于影响文本分类最底层、最根本的因素: 文本表示中的特征项,提高特征项的完整独立程度。关键短语是具有强文本表示功能的特征短语,在表示文本时,能将文本的内容特征(如主题类别)鲜明地表示出来。关键短语具有结构稳定、语义完整和较强统计意义的特点,能克服向量空间模型和贝叶斯假设的缺点,更适合作为文本表示的特征,有利于提高文本分类的效果。本文从语言学、认知心理学和言语习得、计算语言学等方面寻求关键短语优势的理论依据,对关键短语进行了界定,通过抽取网页上专家标引的关键词获得关键短语。在约3万篇测试集上(共15个大类,244个小类),与以词为特征的文本分类相比,以关键短语为特征的文本分类的大类微平均提高了3.1%,小类微平均提高了15%。  相似文献   

5.
传统的文本分类都是根据文本的外在特征进行的,最常见的就是基于向量空间模型的方法,使用空间向量表示文本,通过相似度比较来确定分类。为了克服向量空间模型中的词条独立性假设,文章提出了一种基于潜在语义索引的文本分类模型,通过对大量的文本集进行统计分析,揭示了词语的上下文使用含义,通过奇异值分解有效地降低了向量空间的维数,消除了同义词、多义词的影响,从而提高了文本分类的精度。  相似文献   

6.
文本特征选择是文本分类和信息提取的关键技术。针对文本分类中特征向量的高维稀疏问题,提出了非负矩阵分解和概念语义空间结合的特征抽取方法,对特征矩阵分解算法加入非负限制能够给出概念语义向量面向主题的解释,较好体现文本的局部特征。采用非负矩阵分解对全局和局部语义空间进行降维处理提高了体征提取效率,对不同概念语义空间中文本分类效果比对分析。实验结果表明基于非负矩阵分解的局部概念语义空间中文本分类精度较高。  相似文献   

7.
基于向量空模型的文本自动分类系统的研究与实现   总被引:151,自引:11,他引:140  
随着网络信息的迅猛发展,信息处理已经成为人工获取有用信息不可缺少的工具,文本自动分类系统是信息处理的重要研究方向,它是指在给定的分类体系下,根据文本的内容自动判别文本类别的过程。对文本分类中所涉及的关键技术,包括向量空间模型、特征提取、机器学习方法等进行了研究和探讨,并且提出了基于向量空间模型的文本分类系统的结构,并给出了评估方法和实验结果。  相似文献   

8.
基于Agent的文本分类系统   总被引:2,自引:0,他引:2  
信息检索的一个核心问题是自动文本分类。基于分类体系的文本分类需要全文抽取主题词、计算权重,再根据分类体系对文献进行分类。文中构建一种基于Agent技术的文本自动分类系统。仅需要对文档头进行信息处理就可以进行快速文本分类,有效地减少了文本分类过程中的时间和空间的消耗。  相似文献   

9.
杨为民  李龙澍 《微机发展》2007,17(2):135-137
信息检索的一个核心问题是自动文本分类。基于分类体系的文本分类需要全文抽取主题词、计算权重,再根据分类体系对文献进行分类。文中构建一种基于Agent技术的文本自动分类系统,仅需要对文档头进行信息处理就可以进行快速文本分类,有效地减少了文本分类过程中的时间和空间的消耗。  相似文献   

10.
基于DCM的中文文本分类   总被引:1,自引:0,他引:1  
当前提出的中文文本分类或多或少都存在分类速度或分类效果不佳的问题。使用DCM分类方法,采用国家语委平衡语料库进行分类测试,取得了开放测试平均查全率90.35%、平均准确率90.87%和封闭测试平均查全率98.36%、平均准确率98.74%的分类效果,说明DCM算法在分类效果上优于目前其他的中文文本分类方法。  相似文献   

11.
基于贝叶斯网的分类器及其在CRM中的应用   总被引:4,自引:0,他引:4  
基于贝叶斯网的分类器因其对不确定性问题有较强的处理能力,因此在CRM客户建模中有其独特的优势。在对朴素贝叶斯分类器、通用贝叶斯网分类器优缺点分析的基础上,引入增强型BN分类器和贝叶斯多网分类器,详细介绍了后者的算法,并将其应用到实际电信CRM客户.建模中,取得较好的效果。  相似文献   

12.
一种神经网络文本分类器的设计与实现   总被引:1,自引:0,他引:1  
李斗  李弼程 《计算机工程与应用》2005,41(17):107-109,119
论文着重介绍了一种基于神经网络的文本分类器,分类器使用神经网络作为分类工具,特征词的词频组成原始特征向量,和神经网络输入层的神经元一一对应。并引入了信息检索中的常用技术——潜在语义索引,训练过程中结合遗传算法,优化神经网络的初始权值。最后对分类器进行了开放性测试,实验表明分类器对文本分类具有较高的平均查全率和平均精度。  相似文献   

13.
分类器动态集成的入侵数据流检测算法   总被引:1,自引:0,他引:1       下载免费PDF全文
入侵数据流具有快速更新以及概念漂移的特点,静态集成分类器无法及时反映整个空间的数据分布,入侵检测正确率不高,对此,文中提出了一种单分类器动态集成的入侵检测方法,该方法动态分配各分类器权值并用区间估计检查概念漂移并更新分类器。实验结果表明,在处理超平面构造的数据流上,分类效果优于多数投票、加权投票两种静态分类方法,在真实入侵实数据集上有高检测率。  相似文献   

14.
本文提出了营销风险预警指标体系设计方法,给出了应用主成分分析法将原始风险预警指标体系浓缩为主成分指标体系的算法,设计了基于信息扩散理论的警度信号识别分类器。该分类器将主成分指标信息扩散到风险所有可能发生点上,其输入是浓缩后的主成分指标数据、而输出是期望的警度信号向量。基于该分类器,提出其虚警和误警概率的计算方法。由于主成分分析法的强浓缩性,因此本分类器具有处理高维预警指标体系的能力。  相似文献   

15.
A bootstrap technique for nearest neighbor classifier design   总被引:4,自引:0,他引:4  
A bootstrap technique for nearest neighbor classifier design is proposed. Our primary interest in designing a classifier is in small training sample size situations. Conventional bootstrapping techniques sample the training samples with replacement. On the other hand, our technique generates bootstrap samples by locally combining original training samples. The nearest neighbor classifier is designed on the bootstrap samples and is tested on the test samples independent of training samples. The performance of the proposed classifier is demonstrated on three artificial data sets and one real data set. Experimental results show that the nearest neighbor classifier designed on the bootstrap samples outperforms the conventional k-NN classifiers as well as the edited 1-NN classifiers, particularly in high dimensions  相似文献   

16.
说话人识别的本质就是模式分类。传统分类器算法中参数模型方法的主要缺点是预先假定的概率分布函数形式不一定符合待分类的数据。非参数模型方法,如PNN分类器,可以有效地克服参数模型的缺点,但其巨大的内存开销与低的分类速度使得PNN作为大量和高维的数据样本分类几乎不可行。FCM虽具有良好的模糊聚类能力,但无法直接给出概率分类结果。该文提出的FCM-PNN分类器,在FCM聚类的基础上,以贝叶斯置信度为基础,利用PNN进行概率分类。它结合了FCM聚类和PNN概率分类的优势,同时克服了传统参数模型分类和FCM聚类的局限性。实验结果证实了FCM-PNN分类器具有分类精度高、速度快及揭示细节的能力。  相似文献   

17.
AdaBoost是机器学习中比较流行的分类算法.通过研究弱分类器的特性,提出了两种新的弱分类器的阈值和偏置计算方法,二者可以使弱分类器识别率大于50%,从而保证在弱分类器达到一定数目的情况下,AdaBoost训练收敛.对两种阈值和偏置计算方法的仿真实验结果表明,在错分率降可接受的范围内,二者均使用较少的弱分类器便可获得高识别率的强分类器.  相似文献   

18.
针对二支决策TAN分类器在处理不确定数据时有较高的错误率,提出一种新的三支扩展TAN贝叶斯分类器(3WDTAN).首先通过构建TAN贝叶斯分类模型,采用先验概率和类条件概率估计三支决策中的条件概率;其次构建3WD-TAN分类器,制定3WD-TAN分类器中正域,负域和边界域的三支分类规则,结合边界域处理不确定性数据的优势,在一定程度上纠正了传统TAN贝叶斯分类器产生的分类错误;最后通过在5个UCI数据集上选取NB、TAN、SETAN算法进行对比实验,表明3WD-TAN具有较高的准确率和召回率,且适用于不同规模数据集的分类问题.  相似文献   

19.
Achieving high rates of detection in low rates of embedding is still a challenging problem in many steganalysis systems. The newly proposed steganalysis system based on sparse representation classifier has shown remarkable detection rates in low embedding rate. In this paper, we propose a new steganalysis system based on double sparse representation classifier. We compare our proposed method with other steganalysis systems which use different classifier (including nearest neighbor, support vector machine, ensemble support vector machine and sparse representation). In all of our experiments, input features to the classifier are fixed and the ability of classifier is examined. Also we provide a complexity analysis in terms of execution time for different classifier. In most of experiments, our proposed method shows superior performance in terms of detection rate and complexity for low embedding rates.  相似文献   

20.
This paper presents a new approach to combine decisions from face and fingerprint classifiers for multi-modal biometry by exploiting the individual classifier space on the basis of availability of class-specific information present in the classifier space. We exploit the prior knowledge by training the face classifier using response vectors on a validation set, enhancing class separability (using parametric and nonparametric Linear Discriminant Analysis) in the classifier output space and thereby improving the performance of the face classifier. Fingerprint classifier often does not provide this information due to high sensitivity of available minutiae points, producing partial matches across subjects. The enhanced face and fingerprint classifiers are combined using a sum rule. We also propose a generalized algorithm for multiple classifier combination (MCC) based on our approach. Experimental results show superiority of the proposed method over other existing fusion techniques, such as sum, product, max, min rules, decision template and Dempster–Shafer theory.  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号