基于Symbian OS手机的垃圾信息研究

该文主要研究了基于Symbian智能手机操作平台的垃圾短信的研究,在设计上提出特有的分层过滤方法,结合手机通信录号码簿,公共号码名单里的电话号码以及对短信内容进行相关关键字匹配的过滤这三个"关口"进行过滤,同时提出了一种短信过滤领域较新颖的BM过滤算法的研究。该方法对于短文本的过滤精确率较高,对于资源有限的手机操作平台运行不受影响,从而增加了算法的可行性。     

基于复杂网络的垃圾短信过滤算法

对垃圾短信发送用户的识别和过滤具有十分重要的研究价值和社会意义. 随着新形式和内容的垃圾短信出现, 传统的关键字匹配和发送速度频率过滤方法无法有效地处理这一问题. 在对短信发送/接收网络形式化表达的基础上, 以真实短信发送和接收以及通话关系数据为例, 统计和分析了短信发送网络的网络特性. 进一步分析和挖掘了垃圾短信用户在网络上发送接收的异常模式和行为, 并以此提出了一个基于语音关联程度和短信回复比率的过滤算法(NASFA算法). 通过实验和分析表明, 本文的算法能够高效地识别垃圾短信发送用户, 同时能够有效地控制将正常用户误识别为垃圾短信用户的比率.     

一种适用于大规模特征集的快速匹配算法

提出了一种适用于大规模特征集的快速匹配算法——SRS算法,该算法性能优异,在特征集达到100 000条时,匹配速度比经典算法快10倍以上。该算法适用于内容过滤、防病毒、反垃圾邮件、短信过滤、网络入侵检测和防御等众多领域。     

基于改进的朴素贝叶斯算法在垃圾短信过滤中的研究

研究了基于SVM算法的改进朴素贝叶斯文本分类算法及在垃圾短信过滤中的应用。针对朴素贝叶斯算法条件独立性假设、过分依赖于样本空间的分布和内在不稳定性的缺陷,造成了算法时间复杂度的增加,提出了改进的基于SVM算法的朴素贝叶斯算法垃圾短信过滤的解决方案,充分结合了朴素贝叶斯算法高效分类和SVM算法增量学习及不依赖样本空间的特点;首先利用结构风险最小化原理和非线性变换将分类问题转化为二次寻优问题,最后利用朴素贝叶斯算法过滤短信,提高分类的准确度和稳定性;仿真实验结果表明,该算法能够快速得到最优分类特征子集,有效提高了垃圾短信过滤的准确率和分类速度。     

基于贝叶斯及多模式串模糊匹配算法的不良短信甄别混合模型

手机短信业务一方面给人们带来诸多便利,另一方面不法分子利用短信进行违法犯罪活动也日益猖狂,如何防范和打击此类犯罪活动对执法机关来说是一个新的挑战。提出了一个基于贝叶斯分类算法和改进的多模式串模糊匹配算法的不良短信甄别混合模型,以实现对不良短信的识别和分类。短信经由朴素贝叶斯分类器进行是否不良的判断,对确认为不良的短信再经过多模式串的模糊匹配进行不良类别的分类。实验表明该方法提高了不良短信识别的准确率,具有良好的应用前景和实际效益。重点分析不良短信识别和分类过程。     

基于模态匹配的校园网信息实时过滤方法

互联网的信息良莠不齐,为避免校园网发送和接收不良的信息,通常都需要实时监测并对敏感关键词实行过滤。提出利用模态匹配的方法进行信息过滤,研究一种新的实时监测与过滤网络信息的方法。通过提取实时监测到数据信息的特征值并转化为向量表示,在MAC算法的基础上,改进其算法,把监测到的数据信息的特征向量与需要过滤的源信息库的特征向量进行模态匹配,以得到的匹配度作为判断实现信息过滤的依据。通过在网络实训室模拟广域网进行过滤实验,实验结果表明模态匹配的实时网络信息监测并过滤的方法可行,准确率能达到应用需求,模态匹配造成的延迟时间在可接受的范围内。     

一种基于双重状态编码的多模式匹配算法

基于自动机的多模式匹配算法是网络内容过滤与业务监管的核心技术之一,但随着模式集合的扩大,对存储资源消耗过大。为降低当前匹配算法的空间复杂度,同时保持较低的时间复杂度,提出了一种基于关键字预处理和状态编码的优化方法。关键字预处理用于过滤冗杂内容,大大降低了处理复杂度;而采用状态编码消除了NFA中的大量failure转移,可有效降低其开销。理论分析和实验仿真表明,相对于传统的基于TCAM的匹配算法,该算法在大大减少内存需求的情况下,实现了模式的高效匹配。     

基于行为识别和SVM的短信过滤方法研究

针对手机垃圾短息难以治理的现象,提出一种基于行为识别和SVM的短信过滤方法。综合行为识别和SVM的特点,从运营商短信业务支撑中心方面实施对垃圾短信的过滤,并对SVM方法进行了相关实验。实验表明,SVM方法在短信拦截过滤方面有着较好的效果。     

基于SVM的垃圾短信过滤系统

传统的垃圾短信过滤方案,以垃圾短信中出现的敏感词作为判断的依据,却忽略了正常短信中出现的词对分类的贡献,并且由于短信用语的灵活性,特征提取难度较大。提出了一种基于svm算法对垃圾短信进行监控和过滤的方案,该方案根据短信内容、短信长度等特征,对短信文本进行向量空间的表示。通过机器学习的方式,对垃圾短信进行判断,过滤。相比传统方法而言,本系统在过滤准确度和效率两方面均获得大幅度提升。     

基于Hash函数和贝叶斯方法的垃圾短信在线过滤系统

提出了一种综合集成黑白名单过滤模块和综合评价函数模块的垃圾短信在线过滤系统架构,引入了两层Hash函数和基于朴素贝叶斯的概率计算方法,对疑似垃圾短信从内容、长度、频率等特征上进行深入分析,实现了海量短信的实时高效过滤,并有效地解决了传统垃圾短信过滤系统中存在的问题。     

适于垃圾文本流过滤的条件概率集成方法

通过用于垃圾文本流过滤的在线文本分类研究,提出了一种新的条件概率集成方法。采用语汇序列表示文本,使用索引结构存储分类知识,设计实现了分类模型的在线训练算法和在线分类算法。抽取电子邮件和手机短信的多种文本特征,分别在TREC07P电子邮件语料和真实中文手机短信语料上进行了垃圾信息过滤实验。实验结果表明,提出的方法能够获得很好的垃圾信息过滤效果。     

基于抽样的垃圾短信过滤方法*

现有垃圾短信过滤系统主要采用对短信进行逐条分析判断的技术,因此处理的效率比较低。针对这一过滤技术的不足,提出了一个基于抽样的垃圾短信过滤方法,该方法引入用户信任度的概念,根据用户的信任度对用户发送的短信进行抽样过滤,极大地提高了处理效率。同时该方法整合了多项垃圾短信过滤技术（黑白名单、关键词及内容过滤技术）,较之单一的过滤方法在准确率和效率上有很大的提高。     

A multi-level approach to highly efficient recognition of Chinese spam short messages

The problem of spam short message (SMS) recognition involves many aspects of natural language processing. A good solution to solving the problem can not only improve the quality of people experiencing the mobile life, but also has a positive role on promoting the analysis of short text occurring in current mobile applications, such as Webchat and microblog. As spam SMSes have characteristics of sparsity, transformation and real-timedness, we propose three methods at different levels, i.e., recognition based on symbolic features, recognition based on text similarity, and recognition based on pattern matching. By combining these methods, we obtain a multi-level approach to spam SMS recognition. In order to enrich the pattern base to reduce manual labor and time, we propose a quasi-pattern learning method, which utilizes quasi-pattern matching results in the pattern matching process. The method can learn many interesting and new patterns from the SMS corpus. Finally, a comprehensive analysis indicates that our spam SMS recognition approach achieves a precision rate as high as 95.18%, and a recall rate of 95.51%.     

面向动画自动生成的中文短信关系抽取

手机短信3D动画自动生成系统是根据发送方短信的内容, 经过信息抽取、语义分析等一系列步骤, 最终生成一段与短信内容匹配的三维动画并发送给接收方. 信息抽取处于手机3D动画自动生成系统首要和关键的位置, 其目的是为3D动画自动生成系统的后续环节提供可动画的信息. 本文引入路径特征实现中文短信文本的关系抽取. 利用哈尔滨工业大学LTP-Cloud平台对短信进行预处理, 从处理结果中提取路径并泛化得到路径特征, 通过一阶归纳学习器组合特征, 得到匹配规则, 然后再通过匹配到的规则对短信进行预测, 从而抽取出短信中的关系类型及对应的关系组合.     

SMS-2008标注中文短信息库

随着短信息应用的普及,用户、运营商及政府管理部门均迫切需要智能短信处理工具。语料库是研究算法,开发系统,测试性能等必不可少的基础资源。但受到技术、版权保护、隐私权利等种种原因,目前还没有公开的标准短信息语料库。SMS-2008标注短信息库是本项目组在国内外率先建立的多用途中文短信息语料库,它包括原始语料库、预处理语料库、隐私标注语料库、内容标注语料库、错误标注语料库等。该语料库可用于短信语言现象研究、短信分类过滤算法研究、隐私保护算法研究、自动纠错算法研究等。     

面向自动回复的公交SMS平台的研究和实现

讨论了短消息服务平台的一般功能和架构，设计了一个基于短消息服务的公交出行信息服务平台，定义了其中的公交出行需求、公交出行需求短消息协议以及服务平台运行机制。介绍了平台实现的数据采集和更新方法、公交换乘算法、地点模糊需求处理等关键技术，提高了平台的服务质量。该平台通过试用，效果良好。     

基于内容的垃圾短信过滤

研究一种基于最小风险贝叶斯决策的垃圾短信过滤方法。对于以文本信息为主的短信,采用信息增益的方法进行特征选择,使用基于最小风险贝叶斯决策方法进行分类。通过自建短信语料库对该方法进行了实验。实验结果表明,该方法能够准确地对短信进行分类,降低合法短信的分类错误率,分类正确率达到99.3%,符合了短信分类要求。     

基于朴素贝叶斯的中文垃圾短信过滤系统的设计

在传统垃圾短信过滤系统基础上引入了中文分词算法和朴素贝叶斯算法,使其具有了自学习能力,克服了传统垃圾短信系统需要人工设置、无法适应短信内容变化、误判率高的缺点。实践证明该短信过滤系统具有较高的准确率和适应力。