一种基于内容的垃圾邮件过滤系统的设计

众所周知，垃圾邮件问题已经是当今网络世界的一个严重问题。大量无用，甚至有害的信件在网络传播，不仅消耗了大量的网络资源，而且还严重威胁到邮件系统用户信息的安全。本文将用采用基于内容的文本检索过滤技术对电子邮件进行判别及分类．     

基于贝叶斯理论的垃圾邮件过滤技术综述

介绍贝叶斯方法的理论依据及近几年的典型贝叶斯分类方法,并给出不同方法下垃圾邮件过滤实验数据对比,总结贝叶斯方法在垃圾邮件处理中的优点和局限性,并提出下一步可能的研究方向.     

一种基于内容的垃圾邮件过滤系统的设计

众所周知,垃圾邮件问题已经是当今网络世界的一个严重问题。大量无用,甚至有害的信件在网络传播,不仅消耗了大量的网络资源,而且还严重威胁到邮件系统用户信息的安全。本文将用采用基于内容的文本检索过滤技术对电子邮件进行判别及分类。     

基于内容的贝叶斯自学习邮件过滤模型

简单贝叶斯算法在邮件过滤领域得到广泛的应用,但它的两个缺点限制了它的使用,首先它不能进行连续的自学习,当邮件内容发生较大变化时,准确性急剧下降.其次是没有考虑字,词,短语之间的联系,以及词语的表现能力,不能准确反映邮件本身的内容性质.因此提出一种自学习的贝叶斯邮件过滤模型:它能够不断地进行自学习,使模型内部参数能够随着邮件内容的变化而改变,而且它将邮件特征(词语)之间的关系以及它们的表达能力引入,作为模型计算的基础之一,并且对用户发送的邮件进行学习.     

基于NB的双级分类模型在邮件过滤中的研究

使用朴素的贝叶斯（NB）分类模型对邮件进行分类，是目前基于内容的垃圾邮件过滤方法的研究热点。朴素的贝叶斯在参数之间联系不强的时候分类效果简单而有效。但是朴素的贝叶斯分类模型中对特征参数的条件独立假设无法表达参数之间在语义上的关系，影响分类性能。在朴素的贝叶斯分类模型的基础上，我们提出了一种双级贝叶斯分类模型（DLB，Double Level Bayes），既考虑到了参数之间的影响又保留了朴素的贝叶斯分类模型的优点。同时时DLB模型与朴素的贝叶斯分类模型的性能进行比较。仿真实验表明，DLB分类模型在垃圾邮件过滤应用中的效果在大部分条件下优于朴素的贝叶斯分类模型。     

一种基于多贝叶斯算法的垃圾邮件过滤方法

贝叶斯算法在垃圾邮件过滤中应用广泛。针对算法提高精确率和召回率的矛盾,提出了一种新的基于多贝叶斯算法组合的垃圾邮件过滤方法,并给出了不同方法下中、英文垃圾邮件过滤实验数据对比。实验表明该方法显著提高了垃圾邮件的过滤性能。     

基于用户反馈的混合型垃圾邮件过滤方法

针对目前垃圾邮件过滤技术仅依赖单一邮件特征实施邮件分类、对邮件特征变化的适应性较差等局限,提出一种基于用户反馈的混合型垃圾邮件过滤方法。以用户社会网络关系为基础,借助用户反馈机制分别实现对基于内容与基于身份标识的邮件分类知识的动态更新;在此基础上采用贝叶斯模型,实现邮件的内容特征与发件人身份标识特征在邮件分类中的有机结合。实验结果表明,与传统的过滤方法比较,所提方法在邮件特征动态变化的环境下能够获得更好的邮件分类效果,邮件分类的总体召回率、查准率、精确率均能达到90%以上。所提方法能够在保证邮件分类性能的同时,有效提高邮件分类对邮件特征变化的适应性,是已有垃圾邮件过滤技术的重要补充。     

基于贝叶斯分类器的垃圾邮件过滤的研究与改进

介绍了一个改进的基于贝叶斯分类技术的垃圾邮件过滤器的系统结构,完成了系统的整体设计和实现。提出了一种改进的邮件信息增益方法,选取多个样本进行实验比较分析,提高了贝叶斯分类器的性能。     

一种基于概率推理的邮件过滤系统的研究与设计

分类问题是机器学习与数据挖掘研究中最重要的问题之一,其中文本自动分类是信息检索与数据挖掘领域的研究热点与核心技术,近年来得到了广泛的关注和快速的发展。设计了一种基于贝叶斯概率推理方法的垃圾邮件过滤系统。它用概率测试的权重来描述数据间的相关性,从而解决了数据间的不一致性,甚至是相互独立的问题。作为互联网的第一大应用,电子邮件一直受到广大网民的青睐,但近些年来,垃圾邮件问题日益严重。将上述研究的结果应用到目前互联网上垃圾邮件的过滤工作中,实验证明了方法的有效性。     

基于内容的垃圾短信过滤

研究一种基于最小风险贝叶斯决策的垃圾短信过滤方法。对于以文本信息为主的短信,采用信息增益的方法进行特征选择,使用基于最小风险贝叶斯决策方法进行分类。通过自建短信语料库对该方法进行了实验。实验结果表明,该方法能够准确地对短信进行分类,降低合法短信的分类错误率,分类正确率达到99.3%,符合了短信分类要求。     

基于粗糙集的两阶段邮件过滤方法

如何将邮件的头信息和内容信息有效结合起来进行垃圾邮件过滤备受研究人员的关注。基于粗糙集具有很好地处理不确定信息的特点,提出了一种基于粗糙集的两阶段邮件过滤方法,首先根据邮件头信息将其分为正常邮件、垃圾邮件和可疑邮件,再根据邮件内容将可疑邮件分为正常和垃圾邮件。通过在中英文邮件集上的测试实验,证明了所提出的邮件过滤方法不仅能提高垃圾邮件过滤的准确率,而且能大幅降低误杀率。     

Better Naive Bayes classification for high‐precision spam detection

Email spam has become a major problem for Internet users and providers. One major obstacle to its eradication is that the potential solutions need to ensure a very low false‐positive rate, which tends to be difficult in practice. We address the problem of low‐FPR classification in the context of naive Bayes, which represents one of the most popular machine learning models applied in the spam filtering domain. Drawing from the recent extensions, we propose a new term weight aggregation function, which leads to markedly better results than the standard alternatives. We identify short instances as ones with disproportionally poor performance and counter this behavior with a collaborative filtering‐based feature augmentation. Finally, we propose a tree‐based classifier cascade for which decision thresholds of the leaf nodes are jointly optimized for the best overall performance. These improvements, both individually and in aggregate, lead to substantially better detection rate of precision when compared with some of the best variants of naive Bayes proposed to date. Copyright © 2009 John Wiley & Sons, Ltd.     

基于Hash函数和贝叶斯方法的垃圾短信在线过滤系统

提出了一种综合集成黑白名单过滤模块和综合评价函数模块的垃圾短信在线过滤系统架构,引入了两层Hash函数和基于朴素贝叶斯的概率计算方法,对疑似垃圾短信从内容、长度、频率等特征上进行深入分析,实现了海量短信的实时高效过滤,并有效地解决了传统垃圾短信过滤系统中存在的问题。     

应用精确代价因子的两层邮件过滤模型

分析了一种基于直线几何分割的朴素贝叶斯邮件过滤模型LGDNBF,用更为精确的代价因子描述了分类器误判的代价。定义了高风险决策区域,对高风险决策区域中的邮件引入SVM方法进行二次分类,提出了基于精确代价因子的两层邮件过滤模型。在中文邮件语料集上的实验结果证明了这一两层过滤模型的分类效果较之朴素贝叶斯邮件过滤模型有明显的改进。     

基于改进Nave Bayes的垃圾邮件过滤模型研究

分析了目前在垃圾邮件过滤中广泛应用的NaveBayes过滤模型(NBF),指出了期望交叉熵(ECE)特征词选取方法的不足。提出了改进的NaveBayes垃圾邮件过滤模型(A-NBF),用改进的期望交叉熵(AECE)选取垃圾邮件特征词,并在邮件分类过程中对特征词进行加权,从而提高对垃圾邮件过滤的精度。实验结果可以看出A-NBF比NBF在过滤精度方面有明显的提高。     

基于改进K近邻的垃圾邮件过滤技术

提出了一种基于K近邻（KNN）原理的快速文本分类算法。该算法不仅具有原始K近邻算法分类效果好的优点,还通过对训练样本进行压缩,消除相似度之间的比较,提高了分类效率。实验表明,该算法用于邮件过滤系统时,分类效果要优于基于朴素贝叶斯分类器的二项独立模型和多项式模型,而分类的时间复杂度与其相当,完全可以应用于实时邮件过滤。     

层次式文本分类的Na(i)ve Bayes改进方法

Naive Bayes方法在文本分类中的决策强烈依赖于主观选择的样本关于类别的分布。本文利用层次式分类的特点并引入概率条件改进Naive Bayes方法,使其在每个内部类别所属的子类局部数据中进行决策,缓解了全局数据分布对分类器的影响,部分克服了数据偏斜问题。实验表明,改进方法在层次式分类中的效果较Naive Bayes方法有显著提高     

一种新型朴素贝叶斯文本分类算法

针对在文本分类中先验概率的计算比较费时而且对分类效果影响不大、后验概率的精度损失影响分类准确率的现象,对经典朴素贝叶斯分类算法进行了改进,提出了一种“先抑后扬”（抑制先验概率的作用,扩大后验概率的影响）的文本分类算法。算法中去掉了对先验概率的计算,并在后验概率的计算中引入了一个放大系数。实验结果表明,分类时不计算先验概率对分类精度影响甚微但可以明显加快分类的速度,在后验概率的计算中引入放大系数减少了误差传播的影响,提高了分类精度。     

基于文本区域特征的图像型垃圾邮件过滤算法

垃圾邮件图像中通常含有大量文本区域,且这些区域常含有较多区分能力强的特征。提出一种基于图像中文本区域特征的垃圾邮件图像识别算法。首先提取出图像中文本区域的特征,包括：文本区域数量和面积、色饱和度、文字数量和颜色数量,以及图像的一些属性特征如图像面积等;然后利用支持向量机分类算法来识别垃圾邮件图像。实验表明,对于真实的邮件图像集,算法能够识别出98.5%的垃圾邮件图像,且正确率超过98%。