垃圾短信黑洞号码的性质及识别方法

现有的垃圾短信检测过滤系统,可以发现和滤除常规垃圾短信。然而,总有一些垃圾短信无法被垃圾短信监控过滤系统识别出来,我们把发送这些垃圾短信的号码称为黑洞号码。该文探讨了垃圾短信中部分号码的黑洞性质,分析了其形成原因和发送特点。并从复杂网络的社会学角度结合黑洞号码的性质、特点提出了识别黑洞号码的方法。     

基于CAPTCHA和Winnow算法的垃圾短信过滤研究

为识别并过滤掉日益增多的垃圾短信,提出了基于全自动人机识别系统(CAPTCHA)和Winnow算法的过滤方法。在CAPTCHA方法中,根据用户能否正确辨认图片,人类和计算机能被辨别,该方法能有效地过滤计算机发送的组垃圾短信。改进的Winnow过滤器可以直接处理原始文本,节省了中文分词时间,而且利用了复合分类思想,提高了分类精度。实验结果表明,CAPTCHA和改进的Winnow算法相结合能较准确地过滤掉垃圾短信。     

移动环境下的垃圾短信过滤系统的研究

提出了一种分布式的垃圾短信过滤系统，它适合于移动网络，具有自学习能力，能够及时发现垃圾信息源，有效的过滤垃圾短信。在传统以词为属性的贝叶斯过滤算法的基础上，加入了规则和长度信息，利用互信息减小单词属性的个数。实验表明，它在短信过滤方面具有空间占用小和性能更好的特点，适合在移动电话上使用。同时还提出了一种垃圾短信发送者的可能性排名的方法。     

基于云计算的垃圾短信语义识别系统设计

随着手机用户的增长,垃圾短信日益泛滥.传统的垃圾短信过滤系统误判率较高,使用基于云计算的分类算法实现垃圾短信语义识别系统.系统使用概率分类算法进行垃圾短信语义识别,并采用基于云计算的语料库作为算法的训练集.实验表明,系统在垃圾短信识别方面具有很高的召回率和正确率,系统的设计为垃圾过滤提供了一种新的设计方法.     

基于抽样的垃圾短信过滤方法*

现有垃圾短信过滤系统主要采用对短信进行逐条分析判断的技术,因此处理的效率比较低。针对这一过滤技术的不足,提出了一个基于抽样的垃圾短信过滤方法,该方法引入用户信任度的概念,根据用户的信任度对用户发送的短信进行抽样过滤,极大地提高了处理效率。同时该方法整合了多项垃圾短信过滤技术（黑白名单、关键词及内容过滤技术）,较之单一的过滤方法在准确率和效率上有很大的提高。     

基于短信发送模式的垃圾号码过滤算法

在一个垃圾短信泛滥的时代,清除垃圾短信将耗费大量的时间和精力,挖掘垃圾短信的发送特征是解决这一问题的关键。在分析现有的短信过滤机制（算法）的基础上,根据中值滤波的思想,将短信发送者离散的交互单元合并成一个连续的交互单元,进而提出有效交互周期的概念,以入出比、有效交互周期等特征建立垃圾短信的综合过滤算法。通过对2000万条真实短信记录进行实验,统计得到过滤算法针对垃圾短信的查全率达到99.51%,查准率为49.90%。实验结果表明,算法提高了垃圾短信检测的效率和速度,可适用于垃圾短信实时拦截技术。     

离线垃圾短信过滤中社会网络行为模式的分析与应用

随着手机短消息服务的发展,垃圾短信呈爆炸性的增长趋势,给人们的日常生活带来了不便,也给通信运营商带来了损失.本文利用短信用户之间的联系构建短信社会网络,分析用户在短信社会网络中的关系及其行为模式,从中抽取出具有类别区分度的社会网络特征,提出了一种新的离线垃圾短信过滤模型.模型针对海量短信数据处理时存在的时空效率的瓶颈问题,提出了线性特征统计算法LFSA,并结合高斯核密度估计和贝叶斯分类器,对短信进行分类过滤.我们使用某省通信运营商提供的30亿条短信数据对模型进行测试,做实验分析.实验结果表明,我们提出的模型能满足运营商的各项性能指标要求,并已部署和应用.     

基于人工免疫系统的僵尸短信入侵检测

针对移动僵尸网络日益活跃的现状,提出一种基于人工免疫的僵尸短信入侵检测模型。该模型包含两个核心模块,短信过滤模块提取短信号码与黑名单信息相匹配初步过滤垃圾短信和广告;短信识别免疫模块量化短信的签名信息生成抗原,采用实值否定选择算法生成抗体,通过抗原与抗体的亲密程度识别僵尸短信,最后根据用户反馈结果更新抗体。实验结果表明:该模型具有较高的检测率,证明了其可行性。     

基于Struts框架的垃圾短信过滤模块的设计

为了提高对垃圾短信的拦截效率,提出一种同时从发送号码、发送频率以及短信内容3个方面对垃圾短信进行过滤的方法。通过黑白名单从发送号码进行一次过滤,对群发短信进行内容分析过滤,发送频率的引入可以实现黑名单的自动生成。以内容过滤为核心,并对其进行了阐述,基于Struts框架进行设计与实现了一个垃圾短信拦截模块。实验结果表明,查准率达到了90.69%。     

垃圾短信的屏蔽机制与应用研究

垃圾短信不但占用了有限的网络资源,造成网络拥塞,而且严重影响了广大用户的日常工作和生活。在分析现有的短信过滤系统的基础上,提出一种通过在短消息服务中心和手机客户端过滤相结合的垃圾短信过滤方法。相比传统方法而言,此方法在过滤效率和准确率两方面均有大幅度的提升。     

An empirical study of behavioral characteristics of spammers: Findings and implications

In this paper we present a detailed study of the behavioral characteristics of spammers based on a two-month email trace collected at a large US university campus network. We analyze the behavioral characteristics of spammers that are critical to spam control, including the distributions of message senders, spam and non-spam messages by spam ratios; the statistics of spam messages from different spammers; the spam arrival patterns across the IP address space; and the active duration of spammers, among others. In addition, we also formally confirm an informal observation that spammers may hijack network prefixes in sending spam messages, by correlating the arrivals of spam messages with the BGP route updates of the corresponding networks. In this paper we present the detailed results of the measurement study; in addition, we also discuss the implications of the findings for the (content-independent) anti-spam efforts.     

Spam Short Messages Detection via Mining Social Networks

Short message service(SMS) is now becoming an indispensable way of social communication,and the problem of mobile spam is getting increasingly serious.We propose a novel approach for spam messages detection.Instead of conventional methods that focus on keywords or flow rate filtering,our system is based on mining under a more robust structure:the social network constructed with SMS.Several features,including static features,dynamic features and graph features,are proposed for describing activities of nodes in the network in various ways.Experimental results operated on real dataset prove the validity of our approach.     

基于行为识别和SVM的短信过滤方法研究

针对手机垃圾短息难以治理的现象,提出一种基于行为识别和SVM的短信过滤方法。综合行为识别和SVM的特点,从运营商短信业务支撑中心方面实施对垃圾短信的过滤,并对SVM方法进行了相关实验。实验表明,SVM方法在短信拦截过滤方面有着较好的效果。     

基于改进的朴素贝叶斯算法在垃圾短信过滤中的研究

研究了基于SVM算法的改进朴素贝叶斯文本分类算法及在垃圾短信过滤中的应用。针对朴素贝叶斯算法条件独立性假设、过分依赖于样本空间的分布和内在不稳定性的缺陷,造成了算法时间复杂度的增加,提出了改进的基于SVM算法的朴素贝叶斯算法垃圾短信过滤的解决方案,充分结合了朴素贝叶斯算法高效分类和SVM算法增量学习及不依赖样本空间的特点;首先利用结构风险最小化原理和非线性变换将分类问题转化为二次寻优问题,最后利用朴素贝叶斯算法过滤短信,提高分类的准确度和稳定性;仿真实验结果表明,该算法能够快速得到最优分类特征子集,有效提高了垃圾短信过滤的准确率和分类速度。     

基于词向量和卷积神经网络的垃圾短信识别方法

对垃圾短信进行过滤识别研究具有重要的社会价值和时代背景意义。针对传统的人工设计短信特征选择方法中存在数据稀疏、特征信息共现不足和特征提取困难的问题,提出一种基于词向量和卷积神经网络（CNN）的垃圾短信识别方法。首先,使用word2vec的skip-gram模型根据维基中文语料库训练出短信数据集中每个词的词向量,并将每条短信中各个词组所对应的词向量组成表示短信的二维特征矩阵;然后,把特征矩阵作为卷积神经网络的输入,通过卷积层的不同尺度卷积核提取多尺度短信特征,以及利用1-max pooling池化策略得到局部最优特征;最后,将局部最优特征组成融合特征向量放入softmax分类器中得出分类结果。在10万条短信数据上进行的实验结果表明,在特征提取方式相同的情况下,基于卷积神经网络模型的识别准确率能够达到99.5%,比传统的机器学习模型提高了2.4%~5.1%,且各模型的识别准确率均保持在94%以上。     

A multi-level approach to highly efficient recognition of Chinese spam short messages

The problem of spam short message (SMS) recognition involves many aspects of natural language processing. A good solution to solving the problem can not only improve the quality of people experiencing the mobile life, but also has a positive role on promoting the analysis of short text occurring in current mobile applications, such as Webchat and microblog. As spam SMSes have characteristics of sparsity, transformation and real-timedness, we propose three methods at different levels, i.e., recognition based on symbolic features, recognition based on text similarity, and recognition based on pattern matching. By combining these methods, we obtain a multi-level approach to spam SMS recognition. In order to enrich the pattern base to reduce manual labor and time, we propose a quasi-pattern learning method, which utilizes quasi-pattern matching results in the pattern matching process. The method can learn many interesting and new patterns from the SMS corpus. Finally, a comprehensive analysis indicates that our spam SMS recognition approach achieves a precision rate as high as 95.18%, and a recall rate of 95.51%.     

基于神经网络的"垃圾"邮件过滤系统设计

为了对垃圾邮件进行有效地过滤，以神经网络作为分类器，采用由垃圾邮件发送者进行确认的邮件认证方法设计了邮件过滤系统。神经网络的自学习、自适应能力解决了垃圾邮件特征不断变化而过滤方法相对固定的矛盾。新的垃圾邮件认证方法使发送垃圾邮件比接收垃圾邮件更费时间，减少了用户收到垃圾邮件的数量。     

基于SVM的垃圾短信过滤系统

传统的垃圾短信过滤方案,以垃圾短信中出现的敏感词作为判断的依据,却忽略了正常短信中出现的词对分类的贡献,并且由于短信用语的灵活性,特征提取难度较大。提出了一种基于svm算法对垃圾短信进行监控和过滤的方案,该方案根据短信内容、短信长度等特征,对短信文本进行向量空间的表示。通过机器学习的方式,对垃圾短信进行判断,过滤。相比传统方法而言,本系统在过滤准确度和效率两方面均获得大幅度提升。