基于语义倾向性的文本过滤研究*

以往文本过滤的研究主要集中于主题过滤,然而随着网络的发展,倾向性文本过滤在网络信息安全方面的作用越来越大。在语义倾向性分析中,若忽略关联词和修饰词则有可能导致对极性词的倾向或强度判断失误。针对这一问题,提出了一种新的语义倾向性识别算法,用于对潜在极性词进行倾向性识别,并应用到文本过滤方面。实验表明此方法具有较高的准确率和召回率。     

一个基于语义分析的倾向性文档过滤系统

目前的过滤系统大都是基于关键词的,这类系统适用于主题性过滤,而对倾向性过滤效果不好。本文提出一种适用于倾向性文档过滤的系统,通过语义分析,有效地识别和过滤倾向性文本信息。     

基于互关联后继树的文本压缩

摘 要: 本文主要提出了使用互关联后继树来实现文本压缩的方法。利用互关联后继树的检索功能可以方便地查找最长匹配串,从而达到更好的文本压缩效果。从试验结果上来看,这种方法压缩率高于LZW,有好的实用性。     

全文检索系统中动态更新索引结构的设计与实现

全文检索系统的重心是全文索引,全文检索的动态性取决于全文索引创建和更新的动态性.本文在对互关联后继树模型研究的基础上,借用操作系统和数据库的实现思想,对互关联后继树模型的存储结构进行优化,提高了索引更新的灵活性.文中给出了该结构的详细设计并提出了基于该结构的操作算法.实验证明,独特的结构很好地解决了索引的更新问题,较好地满足了数据频繁变化的应用需求.     

基于语义识别的不良倾向性信息过滤系统的设计与实现

文章基于自然语言理解和神经网络技术,通过对实际应用的分析,建立了三个领域知识的规则库,设计了一个针对BBS站点的过滤系统原型,实现了对网络上某一特定内容信息的过滤和监控功能,达到了较好的实用效果。     

一种基于文本倾向性的不良文本识别方法

针对网络不良文本信息的过滤问题提出了一种基于文本倾向性的不良文本识别方法.首先采用基于主题的文本分类方法,然后对不良主题的相关文本利用倾向性分析方法识别不良文本.基于文本倾向性由文本主题词的上下文词汇确定的假设,提出了一种基于主题词上下文的文本倾向性分类方法.实验结果显示该方法对已有基于主题分类方法很难区分的文本具有较好识别效果.     

一个中文网络文本过滤系统的设计

信息过滤是海量信息检索的重要手段之一,中文网络文本过滤系统在我国更具有明显的应用价值。该文介绍实现的一个中文网络文本过滤系统;该系统包括中文预处理、特征项选择、权重计算和分类等功能模块,可以方便地实现对中文网络文本的过滤功能。同时对系统采用的文本过滤算法的性能进行了测试。该系统具有一定的可扩充性和通用性。     

一个改进的互关联后继树数据模型

介绍了一种新型的全文数据库模型——互关联后继树，阐述它与其它全文数据库模型相比在呈现非结构化信息的存储和检索中的巨大优势，并探讨了面对呈现指数增长的非结构化的海量信息时如何提高其性能。     

一个基于三元互关联后继树的多功能全文检索系统

针对全文检索领域的索引结构模型的研究,基于三元互关联后继树模型,提出并实现了一个存储结构良好的索引系统.利用该系统实现了多种有效的查询.     

一个基于分层的网页文本过滤系统

设计并实现了一种高效率、高性能的网页文本过滤系统,该系统采用分层过滤策略,包括实时过滤和事后分析。实时过滤模块是基于Linux下的IP Queue机制实现的,采用高效的过滤策略,在保证过滤实时性的同时也保证了过滤的准确性;事后分析模块研究过滤系统经过协议还原后备份的网页文本,通过网页预处理、非法关键词抽取、特征选择等步骤,实现了基于二元模型的文本过滤方法,该方法在一定大小的词语距离窗口内,采用包含非法关键词的二元词串作为特征,解决了使用二元词串带来数据稀疏的问题,同时保留了二元词串的强类别分辨能力的特征。实验表明,文章实现的过滤系统有较高的效率和准确率,用于事后分析的基于二元模型的文本过滤方法达到了较高的性能,其准确率、召唤率和F1的值分别为：96.98%,85.75%和91.02%。     

高性能电子邮件过滤系统的设计与实现

该系统采用基于全信息的自然语言理解方法论，对邮件从语法(关键词过滤)、语义(主题过滤)、语用(倾向过滤)三个层次上进行过滤，从而尽量避免对正常邮件的误判和对非法邮件的漏判。     

中英文双语交叉过滤的逻辑模型

文章简要地描述了文本过滤的背景,提出了基于潜在语义索引的中英文双语交叉过滤的逻辑模型。其基本思想是改进双语交叉过滤中基于词汇对译的方法,而是利用双语文本中潜在的语义结构,作为用户模板与文本匹配的基础。将出现的双语词汇和文本映射为语义空间的向量,不必翻译对译词,甚至不需要出现相应的对译词,也能匹配成功,极大地改善了交叉过滤的精度,效果良好。     

文本特征区域与文本过滤的匹配机制

为了根据用户的信息需求,在因特网上搜索相关文本,该文提出了一种文本过滤的匹配机制,其基本思想是：利用基于词典的概念扩张方法,改进用户模板。计算扩张的用户模板与文本的全局相似度,获取初步的过滤结果;在文本特征区域,进行标题、摘要段、首段和尾段等片断的局部相似度计算,以综合评价文本与用户模板的匹配情况。该方法可操作性强,效果明显。     

网络信息分级过滤系统的研究与实现

通过对网络信息内容进行分析并对信息进行过滤,能够保证信息的安全性。在关键字过滤和IP过滤基础上,采用双向最大匹配和基于内容分析的K-最邻近文本分类算法相结合进行内容过滤,以达到信息系统过滤信息的质量和速度的效果。以准确率和查全率为标准,对本方案进行测定和评估,评估结果表明,本方案的过滤效果比较理想。     

应用于结构化文本的检索系统的设计和实现

该文介绍了一个应用于结构化文本的检索系统的设计和实现。根据结构化文本的自身特点,提出了文本层次划分的思想,通过层次划分,文本被切分成有结构信息和有独立思想内容的文本单元。在此基础上,对检索词实现结构化索引,同时采用层次匹配嵌套查询的方法来实现用户自然语言的提问查询。用户查询处理中还综合运用了查询结果优化、相似查询、二次查询及反馈评分的技术。     

基于语义的文本过滤系统的设计与实现

介绍了一种新的文本形式化的语义模型——语境框架。语境框架是一个三维的语义描述,它把文本内容抽象成领域(静态范畴)、情境(动态描述)、背景(褒贬、参照等)三个框架。在语境框架的基础上,根据语境相似度的计算,把文本过滤问题转换成语义框架的匹配问题,可以有效地处理语言中的褒贬倾向、同义、多义等现象,实际应用中表明可以提高文本过滤的性能和过滤系统的定制能力。     

一个文本分类构件的设计与实现

在文本分类构件设计和实现过程中,贯彻面向对象的思想,主要使用设计模式,实现构件内部的高内聚、低耦合。在构件描述方面,使用XML这一直观的手段对构件各方面的信息进行描述,在对构件文本分类功能的测试中取得较好的效果。     

大规模文本数据的分类系统的设计与实现

云计算模式解决了大规模数据存储和计算能力上存在的瓶颈,为大规模数据挖掘技术提供了理想的计算模式和技术手段。分析Hadoop云计算平台的数据存储和计算模型,在云计算模式的基础上．实现云计算平台上Web文本数据的贝叶斯分类模型。对于大规模数据挖掘中的数据存储和计算的问题和难点．提出一种高效、低成本的解决方案。     

基于主题和态度分类的文本过滤系统

文本过滤是指从大量的文本数据流中寻找满足特定用户需求的文本的过程。该文介绍了一种文本过滤算法,该算法把基于空间向量模型的主题分类算法与基于支持向量机文本态度分类结合起来。实验结果表明该方法具有较高的精度和召回率。     

基于短消息中文寻址的设计与实现

短消息业务作为一项板具吸引力的增值业务,已经得到了越来越多用户的认可。除了大量使用的手机点手机之间点对点短消息业务之外,从手机到各种信息平台的短消息业务也在快速发展,并已经成为广大用户及时方便地获取信息的一种手段。随着各种信息平台数量的增加,一种用来查找定位各种信息平台的技术也正在快速发展。本文首先介绍短信网址产生的背景和意义,然后提出了短消息中寻址的原理和设计思想,并给出了其实现。