基于内容的手机端垃圾短信过滤策略研究

针对目前垃圾短信日益猖獗的现象,研究了一种基于内容的垃圾短信过滤策略。对训练语料进行分词和统计,计算信息增益并通过选取信息增益较大的若干特征项实现特征降维。在短信分类器的设计上,依据朴素贝叶斯算法,进行改进,减小了个别特征项对判断结果的直接影响,使得分类策略更能综合所有特征项的影响因素。实验结果表明,该方法对于手机用户能取得较好的垃圾短信过滤效果。     

数据挖掘在垃圾短信过滤中的应用

针对手机垃圾短信泛滥、治理效果不佳的问题,基于运营商现有业务平台,借助统计分析和数据挖掘技术设计了垃圾短信过滤系统,提出了垃圾短信过滤闭环流程图;系统根据动态荻取的垃圾短信数据自动生成过滤规则,在信息转发阶段对垃圾短信进行过滤.结合某省运营商短信运营数据对垃圾短信过滤进行了实证研究,在分析样本短信数据的基础上确定了建模特征属性集,采用决策树推进算法获取了垃圾短信的过滤规则,并设计了垃圾短信过滤方案,从准确率和覆盖率两方面进行了验证,取得了较好的效果.     

一个大规模垃圾短信实时过滤系统

在分析现有短信监控系统不足的基础上,结合文本分类技术和行为识别技术,设计了一种垃圾短信监控和过滤系统. 系统综合考虑短信发送行为特征、短信文本内容等特点,并采用实时分类和离线分类相结合的方法进行高效短信过滤. 此外,还设计了一组基于反馈的自学习机制,使分类器具备增量式学习能力. 与传统方法相比,本文方法在过滤效率和准确率两方面均获得大幅度提升.     

文本分类综述及手机垃圾短信过滤方法的研究

主要介绍了文本分类问题,讨论了文本分类所涉及的关键技术,包括中文分词,文本表示,特征选取方法,以及Rocchio、朴素贝叶斯、K近邻、决策树、神经网络和支持向量机等文本分类算法的原理和方法.最后,给出了基于文本分类技术的中文垃圾短信过滤方法的实验和结果.     

基于Symbian OS短信智能过滤设计与实现

分析了目前短信过滤2种方式的局限性,论述了对已知号码运用黑白名单过滤和对未知号码运用有害信息特征库扫描短信内容的方法,采用面向对象和组件化的思想,设计和实现了一种在基于Symbian OS手机的短信智能过滤系统.论文从系统设计目标出发描述了系统总体结构,介绍了用户界面和过滤引擎组件.对过滤引擎的关键类进行了详细描述.     

基于关联分类的中文短信分类

为高效地识别垃圾短信,在关联分类算法基础上,提出基于语序的关联分类(associative classification based on word order,ACW)算法.该算法利用关联规则挖掘方法,同时结合句法顺序,生成分类规则.通过实验证明,在短信分类领域,ACW算法的效果优于传统关联分类算法.     

基于层次过滤模型的中文指代消解

针对现有的中文指代消解研究大多采用二元分类模型,容易出现消解正确率低的特征覆盖消解正确率高的特征以致模型指代划分错误的问题,提出了一种改进的层次过滤模型用于中文指代消解。该模型结合中文语义知识,在原模型中加入语义匹配层,该层通过引入Web语义知识很好地弥补了中文语义知识库较小的不足,并针对中文的特点对原模型的待消解项识别层进行相应的修改使之更加适合中文指代消解。将上述模型与两类基准系统在ACE2005中文语料上进行5种测评,结果表明,所提出模型的F平均值分别高于两类基准系统约4%和9%。     

全国将开展打击垃圾短信的专项行动

工业与信息化部发出《关于开展垃圾短信息整治专项行动工作方案的通知》,从现在起到今年年底,在全国开展一场打击垃圾短信的专项行动,困扰民众已久的垃圾短信问题终于有望得到缓解。     

基于主成分逻辑回归方法的财务失败预测模型

建立了可用于预测财务失败的主成分逻辑回归分析模型,该模型一方面通过主成分的选取不但提取了对财务失败预测有重要影响的信息,而且避免了变量之间所反映信息的重叠;另一方面,通过与主成分分析模型比较,发现该模型比主成分分析模型有着较高的拟合效果,且达到了至少与主成分分析模型相同的预测能力．     

基于词贡献度的垃圾短信分类方法

针对垃圾短信分类问题, 提出了一种以词贡献度为基础的分类方法。该方法引入词贡献度的概念表达词在不同短信分类中的权重差别,通过构建词贡献度——分类矩阵和计算矩阵行均方差来实现降维,以词贡献度为基础计算短信隶属于短信分类的隶属度,并通过比较隶属度密度的方法解决分类冲突问题。实验结果表明,该方法在分类效果和实时性方面优于其他常用垃圾短信分类方法。     

基于贝叶斯理论的垃圾邮件算法研究

为减少垃圾邮件在服务器端的出现,以贝叶斯理论为基础,探讨了可在邮件服务器端实现过滤和自我升级的系统;以合法和非法两类邮件的分析为基础,采用贝叶斯模型生成过滤器,用真实邮件进行仿真操作,验证了模型的可行性。     

基于模糊自适应粒子群的垃圾邮件过滤新方法

提出了一种新的垃圾邮件过滤方法(NSFM),从高维的文本特征中删除冗余的特征,选择对分类精度提高有贡献的特征,从而提高了垃圾邮件过滤的分类准确率。提出了一种模糊自适应粒子群(IFAPSO),通过模糊控制,动态的调控粒子群的惯性权重、学习因子和粒子数量比。NSFM包含核心特征选择、特征选择、垃圾邮件过滤3个阶段,第一阶段利用信息增益求取每个特征的信息值,构建核心特征集合,生成一定数量的核心特征子集;第二阶段根据核心特征子集对IFAPSO进行初始化,利用模糊控制器对粒子群进行自适应的调节,完成特征选择;第三阶段使用支持向量机对最优的特征子集分类,完成垃圾邮件过滤。本文采用PU1、Ling-Spam、SpamAssassin数据集数,通过多种对比实验证明:本方法自适应性强,可选择到较优的特征子集,有效地提高了分类精度,提升了垃圾邮件过滤的性能,具有较高的实用价值。     

面向垃圾邮件过滤的典型机器学习算法比较研究

基于机器学习的垃圾邮件过滤技术是当前垃圾邮件过滤的主流方法。机器学习模型主要分为两类：以朴素贝叶斯（NB）为代表的生成模型和以逻辑回归模型（LR）、支持向量机模型（SVM）为代表的判别学习模型。以往对两种模型的研究都是针对某一种语言进行,对于模型的语言独立性与相关性研究较少。因此,在中文数据集和英文数据集上比较典型的生产模型和判别学习模型的过滤性能。比较Bogo（Bogo系统是基于贝叶斯算法的,它是典型的生成模型）、逻辑回归模型和松弛在线支持向量机（两种典型的判别学习模型）在中英文数据集上的过滤性能。其中：实验是在公开英文数据集TREC05p-1、TREC06p和公开中文数据集TREC06c、SEWM2011上进行。实验结果显示基于判别模型垃圾邮件过滤器性能明显优于基于生成模型,并且相同的模型在中文数据集上显示了较好的效果。     

基于贝叶斯分类的邮件过滤系统研究与实现

电子邮件的普及给人们的生活带来极大的方便,但目前垃圾邮件的泛滥严重影响了用户的正常使用。贝叶斯算法因简单在英文邮件过滤中取得了良好的过滤效果,分析了贝叶斯算法的原理及其在垃圾邮件过滤中的应用,给出垃圾邮件过滤的整个过滤流程,设计并实现了一种语言无关的垃圾邮件过滤系统。     

基于HTML卡方算法的垃圾邮件过滤器设计

介绍基于HTML标签的卡方分布算法在垃圾邮件过滤中的应用。首先对通过浏览器收集到的邮件进行分析,将其转换为HTML源代码的形式,再根据HTML语言的特点对其进行特征提取,从而达到邮件预处理的目的。随后采用LVQ神经网络建立分类器模型,以达到最终分离正常邮件（ham）和垃圾邮件（spam）的目的。对比实验表明,结合HTML代码的卡方分布特征提取和LVQ神经网络的分类器模型效果更好。     

基于贝叶斯算法的垃圾邮件过滤技术的研究与改进

随着电子邮件的应用与普及,垃圾邮件的泛滥也越来越多地受到人们的关注。本文对基于贝叶斯的垃圾邮件过滤器的原理及其关键技术进行了详细的描述。针对朴素贝叶斯模型对分类信息过度简化和准确率低等缺点,通过引入分级的最小风险算法和对多项式和多重贝努利估计模型进行混合的方法分别对贝叶斯过滤器进行了改进,并进行了实验。实验结果表明,改进后的贝叶斯过滤器具有了更好过滤效果。     

管网在线-人工监测系统余氯预测Logistic回归模型

根据国内管网水质监测现状,对南方某城市供水管网多项水质指标进行检测,选择余氯为预测指标,以在线监测水质指标为影响变量,建立在线-人工监测系统的Logistic回归模型,对管网末梢余氯达标与否进行概率预测.经实例验证,预测结果达到了较高的准确度,可通过少量在线监测点预测并了解整个管网水质状况.     

高校后勤社会化模式及其改革路径选择

高校后勤是高校教学和科研的重要支撑。本文在分析现阶段高校后勤社会化模式特征的基础上,探讨了高校后勤改革的原则及其路径选择。     

基于Logistic模型的公路隧道交通事故严重程度的影响因素

根据京珠高速公路韶关段4个隧道的交通事故资料,以事故严重程度为因变量,从时间、隧道环境和交通动态因素3个方面选择9个候选自变量,采用反向选择法分析候选自变量与因变量是否显著相关。研究发现:事故发生时段、碰撞类型、天气和日标准小客车交通量与年平均日交通量(AADT)之比与事故严重程度显著相关。采用logistic回归模型,分析了事故发生时段、碰撞类型、天气和日标准小客车交通量与AADT之比对交通事故严重程度的影响程度,并根据发生比率的概念,对模型的估计情况进行了解释。最后,从模型的拟合优度和预测准确度2个方面对模型进行检验。结果表明,建立的logistic回归模型在事故严重程度影响因素分析中具有较好的适应性和实用性。