基于最小风险的贝叶斯邮件过滤算法

1.引言随着因特网的迅猛增长,电子邮件作为最快捷、最经济的通信方式,也得到飞速发展。但是,许多销售广告、快速致富等垃圾邮件也在网络中传送,这些垃圾邮件不仅占据邮件服务器的大量存储空间,同时也要用户花费大量时间来处理这些垃圾。尽管一些商业化产品允许用户人工建立垃圾邮件的过滤规则,但是系统要求用户有丰富经验和花去许多时间,而且,由于垃圾邮件在不断改变,用户必须经常调整这些规则,这需要花大量时间。因此,研究邮件自动过滤方法具有重要意义。邮件自动过滤方法研究主要有基于规则和基于概率两种,后者已成为一种主要研究趋势。     

用Sieve实现邮件过滤

Sieve是一种用来产生电子邮件过滤器的语言。为便于广大用户的使用,它设计得相当简单,但同时又内涵丰富,应用广泛。介绍了一种应用Sieve语言的电子邮件过滤系统。     

基于数据挖掘方法的电子邮件过滤

电子邮件在给人们带来很多方便抽时,也产生了一个新的问题,即大量垃圾邮件的出现。邮件过滤就是从大量邮件中过滤出垃圾邮件,帮助用户寻找到所需要的有用邮件。本文介绍了一个基于数据挖掘方法的邮件过滤系统原型,给出了Bayes方法的几个基于概念,并重点讨论了要实现这个系统所需要处理的几个关键问题。     

基于多层架构的邮件过滤系统

介绍了一种工作在Linux环境下、基于多层架构邮件过滤系统的实现,通过在邮件传递的不同层次提供过滤,有效地节制垃圾邮件和病毒邮件的泛滥.     

基于Bayes的邮件过滤系统的研究与设计

邮件过滤技术是反垃圾邮件的重要手段,本文提出了一种基于服务器端的垃圾邮件过滤系统,它采用改进的Bayes算法,将反映垃圾邮件的特征综合在一起统称为"属性",用这些"属性"构成表示邮件特征的向量空间模型重点特征向量,避免了单纯基于IP、信头、信封过滤的规则性太强的缺点,降低将正常邮件判断为垃圾邮件的风险。     

基于Qmail的邮件过滤系统的设计与实现

对垃圾邮件的过滤能力是邮件服务器性能的重要标识之一,在MTA层次可以实现真正意义上的邮件过滤,并且可以有效防止邮件病毒。本文介绍了邮件过滤的基本原理,基于Qmail邮件服务器,用perl语言实现了一个邮件过滤系统应用实例。     

一种独立于邮件服务器的垃圾邮件过滤系统的设计

介绍了一种垃圾邮件过滤系统的设计方案,该系统应用于邮件服务器的前端,不依赖于所采用的邮件服务器系统。该系统按其功能可以划分为邮件采集模块、邮件过滤模块、数据库和管理维护模块等四个部分。重点介绍了采用基于贝叶斯方法的智能启发式过滤技术的邮件过滤模块设计。最后给出了系统的测试情况。     

基于邮件过滤的中文邮件语料库构建

首先分析了现阶段邮件过滤的主要技术和邮件语料库建设的现状,并提出了建设中文邮件语料库的相关问题,建议在邮件建设过程中保留邮件信头信息、不排斥邮件副本.然后给出了邮件语料库系统的实现框架,分为邮件源代码的解析与预处理、邮件的初次标注、词分类和邮件的二次标注四个步骤,并通过提供一个管理工具来管理邮件语料.最后,介绍了目前已经建设的一个邮件语料库的情况.     

邮件网络协同过滤机制研究

基于Enron邮件集合探索真实邮件网络,揭示出邮件网络的无标度特性和有限小世界特性. 在此基础上,依据用户间交互强度设计出垃圾邮件协同过滤机制,通过调整参数λ,用户可以决定主要是依靠自己还是其他用户协同进行垃圾信息过滤. 算法即使在没有对用户个人阅读习惯充分训练的情况下,也可以通过基于交互强度的网络协同方式实现良好过滤. 同时为了解决Enron数据集缺乏标注的情况,基于训练样本集W和测试样本集T独立同分布的假设,利用改进的EM (Expectation maximization)算法最小化W∪T集合上风险函数,给出了未知样本的一个良好标注. 真实数据上的实验表明,同单机过滤和集成过滤方法相比,协同过滤能够提高平均过滤精度且方法简单易行.     

基于Multi-agent的多用户协作垃圾邮件过滤系统的研究

基于单客户端的垃圾邮件过滤系统面对技术越来越高明的垃圾邮件发布者已经突现出它的弱点,多Agent技术为垃圾邮件过滤系统的设计提供了新的思路.旨在将Multi-agent技术和多用户协作的思想引入到垃圾邮件过滤系统中,提出了一个分布式的垃圾邮件过滤系统,使各邮件客户端能够互相协作,共享反垃圾邮件信息,从而提高单客户端垃圾邮件过滤的效果和准确率.     

应用精确代价因子的两层邮件过滤模型

分析了一种基于直线几何分割的朴素贝叶斯邮件过滤模型LGDNBF,用更为精确的代价因子描述了分类器误判的代价。定义了高风险决策区域,对高风险决策区域中的邮件引入SVM方法进行二次分类,提出了基于精确代价因子的两层邮件过滤模型。在中文邮件语料集上的实验结果证明了这一两层过滤模型的分类效果较之朴素贝叶斯邮件过滤模型有明显的改进。     

基于用户反馈的混合型垃圾邮件过滤方法

针对目前垃圾邮件过滤技术仅依赖单一邮件特征实施邮件分类、对邮件特征变化的适应性较差等局限,提出一种基于用户反馈的混合型垃圾邮件过滤方法。以用户社会网络关系为基础,借助用户反馈机制分别实现对基于内容与基于身份标识的邮件分类知识的动态更新;在此基础上采用贝叶斯模型,实现邮件的内容特征与发件人身份标识特征在邮件分类中的有机结合。实验结果表明,与传统的过滤方法比较,所提方法在邮件特征动态变化的环境下能够获得更好的邮件分类效果,邮件分类的总体召回率、查准率、精确率均能达到90%以上。所提方法能够在保证邮件分类性能的同时,有效提高邮件分类对邮件特征变化的适应性,是已有垃圾邮件过滤技术的重要补充。     

An empirical study of supervised email classification in Internet of Things: Practical performance and key influencing factors

Internet of Things (IoT) is gradually adopted by many organizations to facilitate the information collection and sharing. In an organization, an IoT node usually can receive and send an email for event notification and reminder. However, unwanted and malicious emails are a big security challenge to IoT systems. For example, attackers may intrude a network by sending emails with phishing links. To mitigate this issue, email classification is an important solution with the aim of distinguishing legitimate and spam emails. Artificial intelligence especially machine learning is a major tool for helping detect malicious emails, but the performance might be fluctuant according to specific datasets. The previous research figured out that supervised learning could be acceptable in practice, and that practical evaluation and users' feedback are important. Motivated by these observations, we conduct an empirical study to validate the performance of common learning algorithms under three different environments for email classification. With over 900 users, our study results validate prior observations and indicate that LibSVM and SMO-SVM can achieve better performance than other selected algorithms.     

基于有向赋权图的垃圾邮件社团发现算法

本文在有向赋权邮件网络的基础上,针对垃圾邮件的特征,分析邮件发送者和接收者的关系,通过社团密度这一度量函数,对有向赋权邮件网络进行社团结构分析,以准确确定社团结构与形式,该算法另一优势是可发现重叠社团。     

基于贝叶斯的垃圾邮件过滤算法的研究

基于内容的垃圾邮件过滤问题是Internet安全技术研究的一个重点问题,而基于贝叶斯的分类方法在垃圾邮件处理上表现出了很高的准确度,因此受到了广泛的关注。在朴素贝叶斯算法的基础上,提出了一种基于最小风险贝叶斯方法同Boosting算法相结合的邮件过滤改进算法,提高了分类的精确度。实验证明,算法在邮件过滤中有更好的表现。     

基于感知学习的垃圾邮件过滤算法

Edelman等人根据其神经元群选择学说（the Theory of Neuronal Group Selection,TNGS）提出了脑感知学习的模型,将该模型中脑对陌生事物的学习类比于垃圾邮件过滤系统中对未知邮件的学习,提出了一种新的基于感知学习的网络垃圾邮件过滤算法,并将其应用于一种基于合作式网络的垃圾邮件过滤系统模型中。系统使用改进的文本数字签名技术得到邮件文本之间的内容相似度矩阵,将其与邮件到达的行为特征等一起作为该算法的参数,最后给出了仿真实验结果。     

基于网络会话层的垃圾邮件行为识别

目前最流行的邮件内容过滤技术工作在网络应用层,通过对邮件内容的分析来判别邮件的合法性,无法避免由于垃圾邮件的泛滥而造成的网络带宽资源的浪费。针对这种情况,论文提出一种基于网络会话层的垃圾邮件行为识别方法。该方法运用决策树算法,对邮件发送过程中的网络会话层数据进行挖掘,发现垃圾邮件的行为规律,在垃圾邮件的内容数据发送前就对其实施过滤,有效地解决了垃圾邮件占用网络带宽的问题,是对当前各种垃圾邮件过滤技术的一个有益的补充。     

基于改进K近邻的垃圾邮件过滤技术

提出了一种基于K近邻（KNN）原理的快速文本分类算法。该算法不仅具有原始K近邻算法分类效果好的优点,还通过对训练样本进行压缩,消除相似度之间的比较,提高了分类效率。实验表明,该算法用于邮件过滤系统时,分类效果要优于基于朴素贝叶斯分类器的二项独立模型和多项式模型,而分类的时间复杂度与其相当,完全可以应用于实时邮件过滤。     

粗糙集与决策树在电子邮件分类与过滤中的应用

垃圾邮件的识别与过滤是目前研究的热点问题之一。而粗糙集是一种新的处理模糊和不确定性知识的数据分析工具,已被成功地应用到许多有关分类的领域。将粗糙集与决策树结合,提出一个基于RS-DT的邮件分类方案与模型,并进行了实验及结果分析。通过与朴素贝叶斯模型及SVM的比较,表明提出的基于RS-DT的模型可以降低把正常邮件错分为垃圾邮件的比率,提高过滤系统的自学习能力。