基于贝叶斯算法的垃圾邮件过滤技术的研究与改进

随着电子邮件的应用与普及,垃圾邮件的泛滥也越来越多地受到人们的关注。本文对基于贝叶斯的垃圾邮件过滤器的原理及其关键技术进行了详细的描述。针对朴素贝叶斯模型对分类信息过度简化和准确率低等缺点,通过引入分级的最小风险算法和对多项式和多重贝努利估计模型进行混合的方法分别对贝叶斯过滤器进行了改进,并进行了实验。实验结果表明,改进后的贝叶斯过滤器具有了更好过滤效果。     

客户端垃圾邮件过滤系统的设计

垃圾邮件不仅浪费大量的网络资源,并且给用户带来很大的不便,如何有效地防范垃圾邮件,已成为网络信息安全领域的主要课题之一。本文通过对传统垃圾邮件过滤技术的分析,提出了一种基于指纹的定量过滤方法。对白名单和黑名单过滤、定时过滤、基于指纹的定量过滤和贝叶斯过滤技术进行了整合,建立了一种客户端垃圾邮件过滤系统的模型,该系统具有较高的过滤准确性,并且能适应用户的个性化需求。     

邮件过滤Agent的设计

为实现对电子邮件中垃圾邮件的过滤,提出一种新的邮件过滤算法和邮件过滤Agent的设计方法。Agent通过算法学习用户接收邮件的信息及用户对邮件的处理习惯,据此最终确定邮件是否为垃圾邮件或病毒邮件,从而过滤掉非正常邮件。实验测试表明,Agent对邮件过滤的正确率可达85％,为现有电子邮件系统提供了一种改进方法。     

基于贝叶斯分类的邮件过滤系统研究与实现

电子邮件的普及给人们的生活带来极大的方便,但目前垃圾邮件的泛滥严重影响了用户的正常使用。贝叶斯算法因简单在英文邮件过滤中取得了良好的过滤效果,分析了贝叶斯算法的原理及其在垃圾邮件过滤中的应用,给出垃圾邮件过滤的整个过滤流程,设计并实现了一种语言无关的垃圾邮件过滤系统。     

LSA和MD5算法在垃圾邮件过滤系统的应用研究

随着对垃圾邮件问题的普遍关注,针对目前邮件过滤方法中存在着的语义缺失现象和处理群发型垃圾邮件低效问题,提出一种基于潜在语义分析(LSA)和信息-摘要算法5(MD5)的垃圾邮件过滤模型。利用潜在语义分析标注垃圾邮件中潜在特征词,从而在过滤技术中引入语义分析;利用MD5在LSA分析基础上,对群发型垃圾邮件生成"邮件指纹",解决过滤技术在处理群发型垃圾邮件中低效的问题。结合该模型设计了一个垃圾邮件过滤系统。采用自选数据集对文中设计的系统进行测试评估,经与Naïve Bayes算法过滤器进行比较,证明该方法在垃圾邮件过滤上优于Naïve Bayes方法,实验结果达到了预期的效果,验证了该方法的可行性、优越性。     

一种基于多模态特征融合的垃圾邮件过滤方法

近年来,垃圾邮件制造者为了逃避基于文本的垃圾邮件过滤系统的检测,将垃圾信息嵌入到图像中,并将其附着在邮件正文中进行传播。传统的基于文本的过滤方式无法处理此类包含垃圾信息的邮件图像。为了应对这种同时包含文本和图像的垃圾邮件,本文提出了一种基于多模态特征的融合文本、图像等多媒体信息的过滤方法。首先通过抽取邮件的文本特征和图像特征构建多个分类器,然后采用多分类器融合技术对各分类器的输出结果进行综合。通过对TREC垃圾邮件语料集的测试实验表明,本文提出多模态特征融合的方法获得了比单个分类器更好的效果,准确率达到90%以上。     

基于模糊自适应粒子群的垃圾邮件过滤新方法

提出了一种新的垃圾邮件过滤方法(NSFM),从高维的文本特征中删除冗余的特征,选择对分类精度提高有贡献的特征,从而提高了垃圾邮件过滤的分类准确率。提出了一种模糊自适应粒子群(IFAPSO),通过模糊控制,动态的调控粒子群的惯性权重、学习因子和粒子数量比。NSFM包含核心特征选择、特征选择、垃圾邮件过滤3个阶段,第一阶段利用信息增益求取每个特征的信息值,构建核心特征集合,生成一定数量的核心特征子集;第二阶段根据核心特征子集对IFAPSO进行初始化,利用模糊控制器对粒子群进行自适应的调节,完成特征选择;第三阶段使用支持向量机对最优的特征子集分类,完成垃圾邮件过滤。本文采用PU1、Ling-Spam、SpamAssassin数据集数,通过多种对比实验证明:本方法自适应性强,可选择到较优的特征子集,有效地提高了分类精度,提升了垃圾邮件过滤的性能,具有较高的实用价值。     

垃圾邮件过滤系统的设计

伴随着电子邮件的广泛使用,垃圾邮件日益泛滥,严重影响了人们正常的工作、学习和生活。如今新型的垃圾邮件变化多端,使得传统的、单一的垃圾邮件过滤方法对新型垃圾邮件已经无能为力。针对这一难题,介绍了当前已经应用于垃圾邮件过滤领域主流的3种垃圾邮件过滤技术。通过详细分析各种技术的优缺点,对黑白名单过滤技术、基于规则的过滤技术和贝叶斯过滤技术进行整合,从而建立了一个分层次的垃圾邮件过滤系统模型,并对该过滤系统进行了性能分析。     

基于支持向量机技术的垃圾邮件过滤系统

使用基于统计学习理论的支持向量机(Support Vector Machine,SVM)技术来构造垃圾邮件过滤系统.利用2个公开的邮件语料PU1和PU2来训练和测试过滤系统的性能.实验首先测试了语料的6种数据子集对过滤系统的分类错误率的影响情况,随后考察了采用不同类型核函数的SVMs准确率性能,最后考察了采用不同特征规模的数据集对过滤系统的影响.实验结果表明SVM技术是解决垃圾邮件过滤问题的一种很有效的方法.     

一种获取电子邮件的“蜜罐”系统研究

基于规则过滤的自动过滤方法对于垃圾邮件的过滤是一种非常有效的过滤方法。自动过滤方法要求进行规则学习,这样就必须有大量的邮件来做为学习的种子。本文提出了利用“蜜罐”系统捕获邮件来提供学习的种子,并建立了捕获邮件的蜜罐系统。在SMTP协议的分析研究的基础上,对蜜罐的配置进行了分析、改进,并以sendmail邮件服务器为例,进行了具体的设计与配置。     

Lucene的最小风险概率加权朴素贝叶斯算法

为了提高垃圾邮件过滤的准确性,在分析垃圾邮件数据的基础上,对比信息检索与信息过滤之间的关系,将信息检索框架Lucene应用到垃圾邮件过滤系统中,提出最小风险概率加权的朴素贝叶斯算法,与最小风险法结合,有效地减少贝叶斯方法的独立性约束.实验验证了加权朴素贝叶斯算法的有效性.     

基于多Agent的垃圾邮件过滤系统的研究

单一的垃圾邮件过滤技术已经不能有效阻止不断出现的新型垃圾邮件,基于多Agent技术结合现有垃圾邮件过滤技术建立一个多技术整合分层过滤的垃圾邮件过滤系统.该系统在服务器端主要对一些具有反动、色情和病毒特征的邮件进行强制过滤,在客户端可以根据用户的兴趣选择进行个性化过滤.     

实用高效的垃圾邮件过滤算法

为了提高电子邮件中垃圾邮件的过滤准确率和效率,以朴素贝叶斯算法和K最近邻（KNN：K-Nearest Neighbors）算法为基础,对传统垃圾邮件过滤算法进行改进,给出邮件的合法属性和非法属性的概念,并提出一种新的分类算法——基于邮件合法属性和非法属性的分类算法（SEASF：Simple and Efficient Algorithm to Spam Filter based on legitimate attribute and nonlicet attribute）。SEASF计算复杂度较低,可适用于大规模场合及邮件的在线过滤。将SEASF算法应用于垃圾邮件过滤的结果表明,该算法可大幅度提高分类精度,分类速度也令人满意。     

基于逻辑回归模型的中文垃圾短信过滤

设计并实现中文垃圾短信过滤器,能够较好识别不断变化的垃圾短信。以逻辑回归模型为基础,提出字节级n元文法提取短信特征,并采用TONE（Train On or Near Error）方法训练过滤器。通过实验测试,证明应用该方法实现的垃圾短信过滤效果很好。     

博弈论在邮件特征选择中的应用

特征选择在垃圾邮件过滤中起着十分重要的作用,本文分析讨论了现有邮件特征选择方法所存在的不足,并在此基础上,提出一种基于博弈论的邮件特征选择模型。该模型将博弈论应用于邮件特征选择中,以达到约减信息规模,提高垃圾邮件过滤效率的目的。在设计特征选择模型时,考虑到邮件样本自身的模糊隶属性对特征选择所产生的影响,在特征点对邮件类别的区分度定义中,通过引入由相融性度量定义的样本模糊隶属度函数,提高博弈邮件特征选择模型对实际问题的处理能力。在CDSCE语料库上的实验表明,该邮件特征选择模型的性能优于同类其他特征选择方法,验证了该邮件特征选择模型的有效性。     

利用会话模式的垃圾电话检测

为了解决网络电话(VoIP)业务面临的Internet垃圾电话(SPIT)问题,在针对SPIT检测方案的基础上提出利用人类会话模型对会话进行建模,在该模型的基础上将会话转化为表征会话模式的状态序列,再利用朴素贝叶斯分类器计算得到该会话模式为恶意会话模式可能性的数值度量.该数值度量可用作检测呼叫机器人制造垃圾电话的依据,并在VoIP边界防护系统中得到了应用.实验结果表明,该方法在较低误报率(2%左右)的情况下能保证较低的漏报率(小于10%),同时证明了会话模式可作为判断SPIT的特性之一.     

基于相对知识粒度的决策表约简

知识粒度主要应用于信息系统的属性约简。为了把知识粒度拓展到决策表约简领域,在研究知识粒度的基础上,定义了相对知识粒度的概念,证明了对一致决策表约简而言,相对知识粒度表示与Pawlak代数表示的等价性。进一步定义了基于相对知识粒度的属性重要度,提出了两个基于相对知识粒度的启发式决策表约简算法。通过理论分析与实例表明约简算法是有效可行的。