支持向量机在反垃圾邮件过滤中的应用

垃圾邮件对计算机系统的安全和人们的生活造成了严重的威胁,反垃圾邮件问题已经成为的具有重要现实意义的研究课题.针对垃圾邮件过滤本质是分类问题,提出了一种基于服务器前端的反垃圾邮件过滤方法,它采用了改进的v支持向量机算法对邮件内容进行分类,过滤垃圾邮件.研究结果表明该方法与直接的支持向量机增量算法相比,提高了过滤的准确率,具有一定的应用价值.     

一种基于SMO算法的垃圾邮件过滤系统设计

垃圾邮件问题日益严重,给人们带来了极大困扰.基于SMO算法的垃圾邮件过滤方法将统计方法应用到垃圾邮件的判定上,是进行垃圾邮件处理的有效手段.本文介绍了基于SMO算法的垃圾邮件过滤系统模型,并对中文分词、特征选择、SMO算法等关键技术进行了阐述.SMO算法的引入势必会使系统在高效过滤垃圾邮件的同时,提高处理数据的速度.     

基于多种核函数的SVM在垃圾邮件过滤中的应用

采用TF-IDF和Bernoulli两种模型构造邮件向量,首先详细测试了CHI降维策略对线性支持向量机进行邮件分类的影响。将基于核函数的支持向量机引入到垃圾邮件过滤中,对基于线性核、多项式核和径向基核的支持向量机在邮件分类中的准确率和训练时间进行了比较,分析了训练样本不平衡对分类的影响,并从理论上对实验结果进行了分析,实验结果证明基于径向基核函数的SVM分类器对垃圾邮件有较好的过滤效果。     

支持向量机及其在邮件过滤中的应用

电子邮件已经成为了人们日常生活中不可缺少的通讯方式,然而垃圾邮件的泛滥给计算机网络安全带来威胁并给人们正常的信息交流带来了极大的不便,因此反垃圾邮件日益重要。支持向量机是在统计学习理论的基础上发展起来的新型机器学习算法,在解决小样本学习、非线性及高维模式识别问题中表现较好。因此采用支持向量机对垃圾邮件进行过滤,首先将文本类型的邮件进行预处理,提取合适的邮件特征,把邮件转化成向量空间模型,最后用支持向量机方法进行分类。实验表明支持向量机提高了过滤性能。     

基于支持向量机的垃圾邮件过滤方法

针对中英文混合垃圾邮件过滤问题,提出一种基于支持向量机(SVM)的过滤方法和融合多种分类特征的框架.通过改进SVM中线性核的表示方式,解决存储空间和计算最问题.通过领域术语自动抽取技术,增强垃圾邮件过滤的语义单元识别能力,提高垃圾邮件分类性能.在跨语言大规模语料库上的实验表明,采用SVM比采用Good-Turing算法平滑的朴素贝叶斯模型泛化性能提高了6.13%,分类精度比最大熵模型提高了8.18%.     

基于粗糙集的带决策规则边界的邮件过滤算法

针对垃圾邮件过滤的准确率和稳定性不高,以及为了解决邮件过滤算法在语料分类上存在漏报和误报等问题,提出基于粗糙集的带决策规则边界的邮件过滤算法(RARM)。该算法运用粗糙集理论对语料库进行直接分析,并采用启发式方法提出了粗糙集理论的三种不同决策规则的执行计划,确保当邮件内容的词汇语义较为模糊时,仍能保证一定的分类准确度。在实验仿真中,通过与基于支持向量机(SVM)、Ada Boost和贝叶斯分类的邮件过滤算法相比较,该算法在垃圾邮件过滤上的准确率优于对比算法。     

基于主成分分析的SMO文本分类

利用SMO进行文本分类的核心问题是特征的选择问题,特征选择涉及到哪些特征和选择的特征维度问题。针对以上问题,介绍一种基于主成分分析和信息增益相结合的数据集样本降维的方法,并在此基础上对序贯最小优化算法进行改进,提出降维序贯最小优化(P-SOM)算法。P-SMO算法去掉了冗余维。实验结果证明,该方法提高SMO算法的性能,缩短支持向量机的训练时间,提高支持向量机的分类精度。     

支持向量机在电子邮件分类中的应用研究

在电子邮件分类的研究中,针对研究垃圾邮件识别问题,垃圾邮件问题日益严重,影响正常工作,受到研究人员的广泛关注.而电子邮件特征维数相当的高,使传统分类方法存在分类速度慢、正确率低的问题.为了加快电子邮件分类速度、提高分类的正确率,更好的过滤出垃圾邮件,提出一种基于支持向量机的电子邮件自动分类方法.采用互信息量法提取电子邮件关键词作为分类特征,选择最优的分类特征,加快分类速度,然后支持向量机模型对分类特征进行学习训练,建立最优电子邮件分类器模型,最后对电子邮件测试集进行分类.UCI垃圾邮件数据库进行仿真,支持向量机识别正确率远远高于神经网络,且分类速度明显加快,能够很好的把垃圾分类出来.支持向量机分类方法是一种有效的电子邮件分类方法,有利于清除拉圾邮件.     

支持向量机(SVM)的研究进展

介绍了基于分解思想的支持向量机的训练算法,主要有两大类:块算法和固定工作样本集算法及其对应的快速算法SVM-light、SMO、BSVM和LIBSVM;介绍了支持向量机的变形算法、多类分类算法及模型选择问题;并且对近年来支持向量机在实际中的应用做了简要介绍,最后讨论了支持向量机亟待解决的问题并对其发展进行了展望.     

噪声消除与SMO算法收敛性

近年来,随着序列最小优化分类算法SMO等一系列快速算法的推出,支持向量机在自动文本分类研究领域取得了很大的成功。大多数文本分类问题是线性可分的,使用线性核函数的SMO算法能够取得非常好的分类效果。但是文本向量是一种非常稀疏的向量,采用线性核函数的SMO算法对噪声样本非常敏感,容易产生发散的问题。文章分析证明了噪声如何影响SMO算法收敛性。为了解决训练样本中噪声样本影响SMO算法收敛的问题,设计了一个消除噪声样本的算法,取得了非常好的效果。     

基于多层grams的在线支持向量机的中文垃圾邮件过滤

该文提出一种多层grams特征抽取方法来提升基于在线支持向量模型的垃圾邮件过滤器。基于在线支持向量机模型的垃圾邮件过滤器在大规模垃圾邮件数据集已取得了很好的过滤效果,但与逻辑回归模型相比,计算性能的耗时是巨大的,很难被工业界所运用。该文提出的多层grams特征抽取方法能够有效减少特征数,抽取更精准有效的特征,大幅降低模型的运行时间,同时提升过滤器的过滤效果。实验表明,该方法使得在线支持向量机模型的运行时间从10337s减少到3784s,同时模型(1-ROCA)%降低了一半。     

训练支持向量机的并行序列最小优化方法

序列最小优化(SMO)是训练支持向量机(SVM)的常见算法,在求解大规模问题时,需要耗费大量的计算时间。该文提出了SMO的一种并行实现方法,验证了该算法的有效性。实验结果表明,当采用多处理器时,并行SMO具有较大的加速比。     

基于SVM的大样本集系统辨识与函数拟合仿真

支持向量机是一种优秀的学习方法,也是具有很好泛化性能的回归方法。但由于支持向量机算法实习复杂,效率低,严格限制了其应用,SMO算法的提出大大提高了支持向量机的学习效率。因此,借助SMO算法,便可以实现大样本集的非线性系统辨识和函数拟合。文中对回归问题的SMO算法作了详细介绍,并对其进行改进。然后研究了利用改进SMO算法的非线性系统辨识方法,给出了非线性系统的辨识的仿真结果,和一维二维函数的拟合仿真。并通过仿真,与原始算法进行了比较,显示了改进SMO算法的快速性。     

代价敏感支持向量机在垃圾邮件过滤中的应用

支持向量机在垃圾邮件过滤中能达到较高的分类准确率,实际应用中,将正常邮件误判为垃圾邮件会给用户造成更大的损失。该文提出一个基于代价敏感支持向量机的垃圾邮件过滤方案,通过为正类和负类训练样本设置不同的错误惩罚系数对分类器进行训练,在保证较高的垃圾邮件召回率的前提下,尽可能降低正常邮件的误判率(假阳性率)。实验结果表明,该方案能有效地提高过滤器的整体性能,更好地满足垃圾邮件过滤的实际要求。     

应用于垃圾邮件过滤的词序列核

针对支持向量机(SVM)中常用核函数由于忽略文本结构而导致大量语义信息丢失的现象,提出一种类别相关度量的词序列核(WSK),并将其应用于垃圾邮件过滤。首先提取邮件文本特征并计算特征的类别相关度量,然后利用词序列核作为核函数训练支持向量机,训练过程中利用类别相关度量计算词的衰减系数,最后对邮件进行分类。实验结果表明,与常用核函数和字符串核相比,改进的词序列核分类准确率更高,提高了垃圾邮件过滤的准确率。     

基于样本取样的SMO算法

介绍了一种对样本集取样的方法 ,并在此基础上对序贯最小优化 (sequentialminimaloptimization ,SMO)算法进行了改进 ,提出了取样序贯最小优化 (S-SMO)算法 .S-SMO算法去掉了大部分非支持向量 ,将支持向量逐渐收集到工作集中 .实验结果表明 ,该方法提高了SMO算法的性能 ,缩短了支持向量机分类器的训练时间 .     

基于覆盖算法的垃圾邮件过滤

电子邮件系统分类的正确性与风险性是评价邮件系统好坏的关键因素,邮件过滤是文本分类问题的一种特殊应用.将神经网络中的覆盖算法引入到邮件过滤中,结合多种特征降维方法进行邮件分类实验,并与SVM方法进行了比较.给出一个结合覆盖算法、合适的特征选择与降维方法的分类器,可以实现较好的效果.另外,根据垃圾邮件过滤在实际使用中的最小风险性的要求,从风险角度分析了覆盖算法对测试样本进行分类时的过程.根据分析结果提出对其拒识样本的处理过程进行改进,通过改变非垃圾邮件所属覆盖的影响范围降低了垃圾邮件过滤时的风险.     

基于梯度和颜色特征的图像垃圾邮件过滤

提出以图像的梯度直方图和颜色直方图作为分类特征,分析最小二乘支持向量机(LS-SVM)算法以及该算法与传统SVM算法的区别,比较传统分类算法与LS-SVM算法的分类准确度,将LS-SVM算法用于图像垃圾邮件过滤。实验结果表明,该方法能提高图像垃圾邮件的检测率。     

基于SVM的垃圾短信过滤系统

传统的垃圾短信过滤方案,以垃圾短信中出现的敏感词作为判断的依据,却忽略了正常短信中出现的词对分类的贡献,并且由于短信用语的灵活性,特征提取难度较大。提出了一种基于svm算法对垃圾短信进行监控和过滤的方案,该方案根据短信内容、短信长度等特征,对短信文本进行向量空间的表示。通过机器学习的方式,对垃圾短信进行判断,过滤。相比传统方法而言,本系统在过滤准确度和效率两方面均获得大幅度提升。