一种基于概率推理的邮件过滤系统的研究与设计

分类问题是机器学习与数据挖掘研究中最重要的问题之一,其中文本自动分类是信息检索与数据挖掘领域的研究热点与核心技术,近年来得到了广泛的关注和快速的发展.设计了一种基于贝叶斯概率推理方法的垃圾邮件过滤系统.它用概率测试的权重来描述数据间的相关性,从而解决了数据间的不一致性,甚至是相互独立的问题.作为互联网的第一大应用,电子邮件一直受到广大网民的青睐,但近些年来,垃圾邮件问胚日益严重.将上述研究的结果应用到目前互联网上垃圾邮件的过滤工作中,实验证明了方法的有效性.     

基于SMTP协议解析的垃圾邮件防治技术

针对当前垃圾邮件的防治技术不足的问题,考虑到协议分析技术检测效率更高,检测准确度更高,并能对一些未知的攻击特征进行识别,因此结合对SMTP协议的分析来识别垃圾邮件,同时进行阻截,可有效防治垃圾邮件.介绍了SMTP的工作模式和协议分析过程,及对SMTP协议命令的解释.从协议分析的角度出发,实现SMTP协议分析程序--snifferSMTP.该程序分析从网络中捕获邮件数据包,还原出邮件信息,依据规则进行模式匹配,检测出入侵邮件.     

基于截图内容的图片垃圾邮件过滤系统

垃圾邮件制造者常常将文字嵌入到图像中,产生了大量的图片垃圾邮件.为解决这一问题,提出并实现了一个基于截图内容的图片垃圾邮件过滤方案.首先由用户从垃圾邮件中截取某一子域图片,每一截图对应一类垃圾图片,所有的截图构成一个自定义的垃圾图片“黑名单”.其次对读入的每一封图片邮件,其内置图片与“黑名单”中的图片进行图像匹配.最后若存在匹配项,则判定该邮件含有用户已指定的垃圾图片信息.将此图片垃圾邮件过滤方案应用于一个小型的邮件收发系统,使用3 534幅垃圾邮件图片进行实验,结果证明了该垃圾邮件过滤方案有效.     

检测病毒与垃圾邮件融合的分层合作过滤方案*

从垃圾邮件产生的原因入手,分析了几种典型的垃圾邮件防护技术,并在此基础上提出了一种检测病毒与垃圾邮件技术融合的分层合作过滤方案,该方案实施在网关,在提高系统安全性的同时大大降低了漏报。     

CIO：源头遏制垃圾邮件的新方法

分析了垃圾邮件的起源和目前泛滥的严峻形势,讨论了几种主流的垃圾邮件处理技术,指出了这些技术的缺陷,根据垃圾邮件的本质,提出了能够从源头上遏制这类邮件的CIO方法。     

面向垃圾邮件过滤的典型机器学习算法比较研究

基于机器学习的垃圾邮件过滤技术是当前垃圾邮件过滤的主流方法。机器学习模型主要分为两类：以朴素贝叶斯（NB）为代表的生成模型和以逻辑回归模型（LR）、支持向量机模型（SVM）为代表的判别学习模型。以往对两种模型的研究都是针对某一种语言进行,对于模型的语言独立性与相关性研究较少。因此,在中文数据集和英文数据集上比较典型的生产模型和判别学习模型的过滤性能。比较Bogo（Bogo系统是基于贝叶斯算法的,它是典型的生成模型）、逻辑回归模型和松弛在线支持向量机（两种典型的判别学习模型）在中英文数据集上的过滤性能。其中：实验是在公开英文数据集TREC05p-1、TREC06p和公开中文数据集TREC06c、SEWM2011上进行。实验结果显示基于判别模型垃圾邮件过滤器性能明显优于基于生成模型,并且相同的模型在中文数据集上显示了较好的效果。     

基于行为的垃圾邮件检测技术

电子邮件作为一种重要的信息交互手段,引发了诸如垃圾邮件、恶意邮件、隐私泄露等一系列严重的问题。 垃圾邮件检测是近年来出现的一个研究领域,其目的在于判定一封邮件是否为垃圾邮件。提出了一种基于邮件行为 的垃圾邮件检测技术I3JMD,介绍了邮件行为检测的主要思想和算法过程。通过在实际邮件集上的实验和分析,给出 了新方法的一些性能评判。     

基于签名的近似垃圾邮件检测算法

针对垃圾邮件短小、一定时间内在网络上重复、大量地散发的特点，提出了基于签名的近似垃圾邮件检测算法（ASD）。该算法以句为基本单位，求取邮件所含的全部句子的摘要，垃圾邮件的近似检测转变为两个摘要集近似度的比较。通过与近似文本查询算法DSC、DSC-SS、I-Match的比较，ASD算法在近似垃圾邮件查询中，表现出样本集的存储空间大小适中、运算时问短、鲁棒性高、高准确率、高召回率的特征。     

一种基于AIS和Bayes网络的垃圾邮件过滤算法

将人工免疫系统和贝叶斯网络相结合应用于垃圾邮件的过滤，设计了一个基于AIS和Bayes网络的垃圾邮件过滤算法，分析并解决了该算法实现过程中的关键问题，给出了亲和力的计算方法和抗原/抗体的结构定义。在PU1bare 语料的基础上与Carreras提出的AdaBoost方法进行对比实验，最后给出了实验结果。     

基于结构特征的nBayes双层过滤模型

由于算法的简单和效果的出色，Nave Bayes被广泛地应用到了垃圾邮件过滤当中。通过理论与实验分析发现，结构差异较大的邮件集特征分布差异也较大，这种特征分布差异影响到了Nave Bayes算法的效果。在此基础上，论文提出了一种基于结构特征的双层过滤模型，对不同结构的邮件使用不同的Nave Bayes分类器分开训练和学习。实验分析表明，Nave Bayes使用该模型之后效果有明显的提高，已经与SVM非常接近。