基于决策树的敏感词变形体识别算法研究及应用

针对网络中敏感词变形体识别效率不高的问题,提出了基于决策树的敏感词变形体识别算法。首先,通过分析汉字的结构和读音等特征,研究敏感词及变形体;其次,基于敏感词库构建敏感词决策树;最后,通过多因子改进模型,对微博等新媒体的文本敏感程度进行计算。实验结果表明,该算法在识别中文敏感词及变形体时,查全率和查准率最高分别可达95%和94%,与基于确定有穷自动机的改进算法相比,查全率和查准率分别提高了19.8%和21.1%;与敏感信息决策树信息过滤算法相比,查全率和查准率分别提高17.9%和18.1% 。通过分析,该算法对敏感词变形体的识别和自动过滤是有效的。     

网络安全侦测技术研究

在分析网络安全侦测的基本原理基础上，设计实现了对IP数据包包头和包内容的分析处理，可以完成对网络安全状况进行分析、判断、统计、报警等功能。实现在不影响网络流量的情况下对IP数据包进行截收和分析处理、对特罗伊木马等特殊端口危险数据包报警以及对包内容设置敏感词库报警。     

基于改进的Trie树和DFA的敏感词过滤算法

通过对文本内容中敏感词过滤方法及相关技术的研究,提出了一种基于改进的Trie树和DFA的敏感词过滤算法,解决了敏感词过滤技术中的人工干扰、分词障碍等关键问题,提高了文本中敏感词过滤的准确性和有效性.提出的算法包括三个步骤:基于排列组合的数学原理对中文词向中拼混合词进行扩充;采用改进的Trie树结构来存储DFA的所有状态,构建敏感词树;根据构建的敏感词树结构以及采用最小匹配规则对文本内容中的敏感词进行检测和过滤.通过分析得到构建敏感词树算法的时间复杂度为O(n×len),敏感词检测及过滤算法时间复杂度为O(L).实验结果表明,本算法其查准率为100％,查全率约为87％～100％.     

小灵通短消息高速过滤中心研究及实现

目前小灵通短信市场业务繁荣的背后,一些虚假、骚扰、黄色、反动的垃圾短信愈演愈烈.通过分析垃圾短信的特点,提出一种过滤垃圾短信的方法.     

基于不良文本信息过滤预处理方法的研究

本文主要针对不良内容的敏感信息出现的特征变化,提出一种基于文本内容的不良信息过滤的文本预处理方案,并着重探讨了其结构变化的敏感信息的识别及解决的方法。研究表明在文本的分词处理方面,对不良信息形式的变化进行预处理,能够提高过滤的效率。     

手机上网文本信息过滤系统的设计与实现

随着手机上网业务的发展,手机网络的不良信息逐渐增多,引发很多社会问题,基于手机端的不良信息过滤软件又有很大的局限性,难以普及,基于服务器端,提出一种运用关键字过滤技术的手机上网文本信息过滤系统,实现不良文本信息的过滤。     

基于词汇扩展的垃圾邮件过滤方法

提出了一种基于统计的扩展敏感词库的方法.利用人工搜集的敏感词汇,计算垃圾邮件中其他词汇的权重,选取权重高的作为二级敏感词汇并将其分类; 在过滤邮件时,将二级敏感词作为一级敏感词的补充.本方法不仅适用于中文,对英文文本同样适用, 实验表明,本方法能提高垃圾邮件过滤的精度.     

用MATLAB实现维吾尔语广播新闻敏感词检索系统

首先,用MATLAB开发一个敏感词检索系统;然后,用该系统对语音信号来自于新疆广播电台网站的维吾尔语新闻60分节目语音进行连续敏感词检索;最后,对识别结果进行分析并提出提高正识率的思路．     

基于深度学习的图片敏感文字检测

为快速检测图片文字中的敏感词汇,引入深度学习的方法进行文字检测和识别。对图片预处理,对连通区域进行标记;利用两层限制玻尔兹曼机（RBM）对连通区域进行文字区域的判别和选取;利用水平投影和区域生长的方法对得到的文字区域进行字符的分割;用BP神经网络算法和深信度网络（DBN）算法结合对敏感信息进行检测。敏感文字检测理论分析和实验数据表明该方法的算法复杂度低,检测速度快。