一种基于个性化邮件特征的反垃圾邮件系统

垃圾邮件的内容因人而异,现有的垃圾邮件过滤系统大多采用统一的过滤标准对用户的邮件进行过滤,因而忽略了垃圾邮件的这种个性化特征.针对这一情况提出一种个性化垃圾邮件过滤的计算模型,它事先不需要对模型进行针对性的训练,从对用户日常处理不同类型邮件的行为中分析和挖掘垃圾邮件的个性化特征,然后利用这种个性化特征在对垃圾邮件进行识别的同时不断强化这种个性化特征,以实现逐步提升对垃圾邮件识别率的目的.据此实现了相应的原型系统,通过对此系统的实验验证,该方法在现实环境下对垃圾邮件具有很好的过滤效果.     

基于粗糙集的两阶段邮件过滤方法

如何将邮件的头信息和内容信息有效结合起来进行垃圾邮件过滤备受研究人员的关注。基于粗糙集具有很好地处理不确定信息的特点,提出了一种基于粗糙集的两阶段邮件过滤方法,首先根据邮件头信息将其分为正常邮件、垃圾邮件和可疑邮件,再根据邮件内容将可疑邮件分为正常和垃圾邮件。通过在中英文邮件集上的测试实验,证明了所提出的邮件过滤方法不仅能提高垃圾邮件过滤的准确率,而且能大幅降低误杀率。     

垃圾邮件行为识别技术研究

对反垃圾邮件行为识别技术进行了研究。提出了一种基于会话层的垃圾邮件识别方法,在分析发送过程中的邮件行为特征基础上,提取出能够区分垃圾邮件和正常邮件的行为特征,并采用支持向量机分类算法建立行为特征识别模型,找出垃圾邮件行为规律。该方法在邮件正文发送之前对垃圾邮件进行过滤,能够有效地节省带宽。采用真实的邮件数据集合分别使用行为识别技术与基于内容的过滤技术进行实验,验证该技术具有较好的邮件分类能力。     

一种基于条件熵的垃圾邮件过滤算法

在垃圾邮件过滤中,针对过滤器对合法邮件的误判问题,提出一种改进的垃圾邮件过滤算法。该算法对信息增益的条件熵估计方法作了改进,结合最小风险贝叶斯决策方法,在英文语料库上进行实验,并采用召回率和正确率对算法进行评价分析。实验结果表明,改进后的方法可提高过滤器对合法邮件的识别能力,降低对合法邮件的误判,减少用户的损失。     

应用特征词分类贡献的垃圾邮件过滤研究

在垃圾邮件过滤中,考虑到特征词对合法邮件和垃圾邮件分类贡献的不同,通过定义分类贡献比系数,将特征词分类贡献的思想应用到特征选择和朴素贝叶斯过滤器的设计中,在英文语料库上进行实验,实验结果表明,应用特征词分类贡献的垃圾邮件过滤方法可以有效提高过滤器对合法邮件和垃圾邮件的识别能力,降低过滤器对合法邮件和垃圾邮件的误判率。     

基于WinPcap的多邮件并行还原技术设计与实现

目前网络中存在大量的垃圾邮件,需要对传输中的邮件信息进行判别过滤,避免有害信息的传播。为了实现垃圾邮件的恰当过滤,文章利用Win32平台下的WinPcap函数库及2EE平台Jpcap网络开发包,面向多邮件在线并行还原需求,设计针对多邮件的高效并行还原方法。通过实验验证和评估,该方法优于传统的邮件还原方法,达到了同时处理多封邮件及附件信息的还原要求,为解决高速网络中的信息审查提供了有效方法。     

基于自学习K近邻的垃圾邮件过滤算法

针对现有垃圾邮件过滤算法所存在的训练样本与测试样本分布不一致而导致实际应用效果比较差的现象,提出了一种基于自学习K近邻(k nearest neighbors,KNN)方法的垃圾邮件过滤算法.应用KNN方法对未知邮件样本进行精确匹配,以排除合法邮件的误判结果,同时结合用户对垃圾邮件的处理,自动调整训练集合.实验表明算法具有较好的过滤性能.     

一种复合的双引擎智能垃圾邮件过滤方法

研究了几种常用的垃圾邮件过滤算法,分析了这几种方法在邮件过滤应用中各自的优缺点.根据这几种算法的优缺点,对它们进行改良与结合,并增加了通过查看发出的邮件内容进行自动学习的机制;同时针对中英文垃圾邮件采用不同的学习算法,从而建立一个适用中英文环境的垃圾邮件过滤方法.实验表明,该方法的效率和性能达到了较好的水平.     

基于小样本学习的垃圾邮件过滤方法

针对客户端垃圾邮件过滤器难以获取足够训练样本的问题,提出一种基于小样本学习的垃圾邮件过滤方法,利用容易获取的未标记样本提高垃圾邮件过滤的性能。该方法使用已标记的小样本邮件实例集训练一个初始Na?ve Bayes分类器,以此标注未标记邮件,再使用所有数据训练新的分类器,利用EM算法进行迭代直至收敛。实验结果证明,当给定5个~20个已标记小样本训练邮件时,该方法可有效提高垃圾邮件过滤性能。     

Hadoop平台下垃圾邮件过滤技术研究

传统的贝叶斯垃圾邮件过滤系统虽然具有较高的分类准确性,但是在处理邮件时存在效率低、消耗资源量大的问题。本文针对贝叶斯垃圾邮件过滤算法进行了在Hadoop Map Reduce下的研究,并对判定类别的阈值进行了优化,实验表明,本文提出的算法降低了正常邮件的误判率,提高了垃圾邮件判定的准确率和F值,同时提高了垃圾邮件过滤的效率。     

一种基于多贝叶斯算法的垃圾邮件过滤方法

贝叶斯算法在垃圾邮件过滤中应用广泛。针对算法提高精确率和召回率的矛盾,提出了一种新的基于多贝叶斯算法组合的垃圾邮件过滤方法,并给出了不同方法下中、英文垃圾邮件过滤实验数据对比。实验表明该方法显著提高了垃圾邮件的过滤性能。     

适于垃圾文本流过滤的条件概率集成方法

通过用于垃圾文本流过滤的在线文本分类研究,提出了一种新的条件概率集成方法。采用语汇序列表示文本,使用索引结构存储分类知识,设计实现了分类模型的在线训练算法和在线分类算法。抽取电子邮件和手机短信的多种文本特征,分别在TREC07P电子邮件语料和真实中文手机短信语料上进行了垃圾信息过滤实验。实验结果表明,提出的方法能够获得很好的垃圾信息过滤效果。     

基于Logistic回归的中文垃圾邮件过滤方法

研究如何实现Logistic回归模型在中文垃圾邮件过滤中的应用,给出了关键技术,并将其应用于SEWM20071)垃圾邮件语料库上,取得了较优的过滤效果.还分析了影响正常邮件误判率、垃圾邮件误判率和精确率等因子.对比实验结果表明,应用于中文垃圾邮件过滤的Logistic回归模型与SVM相比具有更优的ROC指标和更快的运行效率.     

Highly discriminative statistical features for email classification

This paper reports on email classification and filtering, more specifically on spam versus ham and phishing versus spam classification, based on content features. We test the validity of several novel statistical feature extraction methods. The methods rely on dimensionality reduction in order to retain the most informative and discriminative features. We successfully test our methods under two schemas. The first one is a classic classification scenario using a 10-fold cross-validation technique for several corpora, including four ground truth standard corpora: Ling-Spam, SpamAssassin, PU1, and a subset of the TREC 2007 spam corpus, and one proprietary corpus. In the second schema, we test the anticipatory properties of our extracted features and classification models with two proprietary datasets, formed by phishing and spam emails sorted by date, and with the public TREC 2007 spam corpus. The contributions of our work are an exhaustive comparison of several feature selection and extraction methods in the frame of email classification on different benchmarking corpora, and the evidence that especially the technique of biased discriminant analysis offers better discriminative features for the classification, gives stable classification results notwithstanding the amount of features chosen, and robustly retains their discriminative value over time and data setups. These findings are especially useful in a commercial setting, where short profile rules are built based on a limited number of features for filtering emails.     

基于领域知网的垃圾邮件过滤方法

垃圾过滤技术的一个重要指标是误判率。把用户的一封正常邮件误判为垃圾邮件,其损失更大。领域知网是某领域内的知识库。提出为常见垃圾邮件类别建立领域知网,当遇到难判别的邮件时,使用基于领域知网的过滤技术,可以降低垃圾邮件的误判率。还介绍了构建领域知网的方法,以及其他关键技术。     

基于感知学习的垃圾邮件过滤算法

Edelman等人根据其神经元群选择学说（the Theory of Neuronal Group Selection,TNGS）提出了脑感知学习的模型,将该模型中脑对陌生事物的学习类比于垃圾邮件过滤系统中对未知邮件的学习,提出了一种新的基于感知学习的网络垃圾邮件过滤算法,并将其应用于一种基于合作式网络的垃圾邮件过滤系统模型中。系统使用改进的文本数字签名技术得到邮件文本之间的内容相似度矩阵,将其与邮件到达的行为特征等一起作为该算法的参数,最后给出了仿真实验结果。     

An effective multi-layered defense framework against spam

Spam is a big problem for email users. The battle between spamming and anti-spamming technologies has been going on for many years. Though many advanced anti-spamming technologies are progressing significantly, spam is still able to bombard many email users. The problem worsens when some anti-spamming methods unintentionally filtered legitimate emails instead! In this paper, we first review existing anti-spam technologies, then propose a layered defense framework using a combination of anti-spamming methods. Under this framework, the server-level defense is targeted for common spam while the client-level defense further filters specific spam for individual users. This layered structure improves on filtering accuracy and yet reduces the number of false positives. A sub-system using our pre-challenge method is implemented as an add-on in Microsoft Outlook 2002. In addition, we extend our client-based pre-challenge method to a domain-based solution thus further reducing the individual email users' overheads.     

基于改进贝叶斯的垃圾邮件过滤系统设计与实现

该文设计并实现了一种基于改进贝叶斯的垃圾邮件过滤系统。传统的贝叶斯方法对邮件进行过滤时,将邮件视为一个无序关键词的向量空间,丢掉了词与词之间,句子之间的相互关系。该文则将邮件视为句间有序,句子内部关键词无序但是相关的部分有序的集合。减少传统方法处理时信息的丢失。得到的实验结果比传统方法更好。     

基于发送许可的邮件验证系统研究与设计

针对垃圾邮件的泛滥的问题,分析垃圾邮件的类别及特征,提出建立基于发送许可的邮件验证系统.系统可以从源头识别邮件身份,检查发送的内容,变目前的对垃圾邮件被动防御为主动控制,进而达到疏导商业广告邮件的目的.该系统基于现有SMTP协议,部分功能使用插件技术实现,可以方便地与现有邮件系统整合.     

基于P2P协作的垃圾邮件发送行为识别技术研究

在分析目前垃圾邮件过滤技术的基础上,并根据垃圾邮件大量发送行为特征,提出了一种基于P2P协作的垃圾邮件发送行为识别技术。该技术将各邮件服务器组成一个反垃圾邮件（Anti-Spam）P2P网络,每个邮件服务器储存可疑邮件信息并将这些信息共享在Anti-Spam P2P网络上,然后根据可疑邮件信息在Anti-Spam P2P网络上进行协作识别垃圾邮件。实验结果表明,该技术是针对垃圾邮件的群发特征而不依赖于邮件内容、语言类型或格式分析,在MTA阶段就能过滤大量垃圾邮件,提高了处理速度和准确率并节省大量的系统资源,具有良好的过滤性能。