一种基于信息熵的Web页面主题信息抽取方法

提出了一种剪枝信息熵增较大结点的信息抽取方法。通过对HTML文档解析来构造DOM树。根据配置过滤掉不需处理的相关内容并建立语义模型树,最后对熵增超过阈值的结点进行剪枝并输出抽取的主题信息页面。初步实验结果验证了用这种方法进行Web页面信息抽取的有效性。方法的数学模型简单可靠,基本不需要人工干预即可完成主题信息抽取。可应用于Web数据挖掘系统以及PDA等移动设备的信息获取方面。     

融合信息熵的TextRank关键词抽取方法

将信息熵融入TextRank算法中分词器部分以改善关键词抽取的准确度.在分词前,先用信息熵的方式提取文章的关键新词,加入到分词字典中,使分词器能够自主识别新词,以增强文章关键词提取的准确性.当语料中存在新词的时候,关键词抽取准确度效果提升明显,对不存在新词的语料关键词抽取准确度无明显提升.改善分词效果可以提升关键词抽取...     

基于Web页面有效信息抽取的分类方法

随着Internet的迅猛发展,Web上的网页数目呈现指数级的爆炸性增长趋势,在Web上检索及发现有价值的信息已成为了一项重要的任务,"噪音"的出现往往会降低基于页面处理的各种算法的效率。因此,如何删除页面的噪音,提取页面中的主要内容是Web挖掘中的重要问题。给出了抽取网页中各种分类有效的文本的具体实现。     

多信息块Web页面中的抽取规则

以往的包装器主要针对仅含有一个数据块的Web页面，而对含有多个信息块的Web页面，简称MIB(Multiple Information Block)Web页面无法处理。该文提出了一个新的抽取规则，结合了基于文档结构的抽取规则和基于特征Pattern匹配的抽取规则的优点，能够有效地抽取MIB Web页面中的信息。     

多信息块Web页面的信息抽取

提出了一个采用新的抽取规则的包装器 ,结合采用基于文档结构抽取规则和基于特征Pattern匹配抽取规则包装器的优点 ,可以适用于含有多个信息块的Web页面。     

基于页面分块与信息熵的评论发现及抽取*

提出了一种新颖的REA(Review Extract Algorithm)算法进行评论信息的发现与抽取.算法采用了页面分块与信息熵的迭代计算技术实现了评论块的自动发现与抽取.其中,页面分块技术的运用有效地去除了噪声信息;基于块的熵值计算精确定位了每一个用户评论.实验结果证明该算法具有较高的查全率与查准率.     

基于树比较的Web页面主题信息抽取

为了从具有海量信息的Internet上自动抽取Web页面的信息,提出了一种基于树比较的Web页面主题信息抽取方法。通过目标页面与其相似页面所构建的树之间的比较,简化了目标页面,并在此基础上生成抽取规则,完成了页面主题信息的抽取。对国内主要的一些网站页面进行的抽取检测表明,该方法可以准确、有效地抽取Web页面的主题信息。     

基于页面标签的Web结构化数据抽取

本文研究了从dataintensive类型的web页面中提取结构化数据的问题,提出了基于页面标签的数据抽取算法。该算法先根据标签的显示位置及其大小判断不同标签元素之间的嵌套关系,并构造简化的HTML树Sim-HTree,有效地减少了识别数据记录的时间。在此基础上,提出子串匹配调整算法,对数据记录进行识别,标识数据项。实验表明,该算法是有效的。     

基于页面分类的Web信息抽取方法研究

通过对现有Web信息抽取方法和当前Web网页特点的分析,发现现有抽取技术存在抽取页面类型固定和抽取结果不准确的问题,为了弥补以上两个不足,文中提出了一种基于页面分类的Web信息抽取方法,此方法能够完成对互联网上主流信息的提取。通过对页面进行分类和对页面主体的提取,分别克服传统方法抽取页面类型固定和抽取结果不够准确的问题。文中设计了一个完整的Web信息抽取模型,并给出了各功能模块的实现方法。该模型包含页面主体提取、页面分类和信息抽取等模块,并利用正则表达式自动生成抽取规则,提高了抽取方法的通用性和准确性。最后用实验证实了文中方法的有效性与正确性。     

基于语料的Web页面抽取器的研究与实现

主要介绍了面对万维网上各种各样的诸如文本、声音、图形和图像等语料信息，如何按照用户的实际需求将其中对用户有用的信息抽取出来，从而实现对现有语料信息的一种有效分离。重点介绍了Web信息簇聚性的特点和语料库的设计，以及语料库的实际工作原理。     

基于信息熵理论的特征权重算法研究

文本表示是使用分类算法处理文本时必不可少的环节,文本表示方法的选择对最终的分类精度起着至关重要的作用。针对经典的特征权重计算方法TFIDF（Term Frequency and Inverted Document Frequency）中存在的不足,提出了一种基于信息熵理论的特征权重算法ETFIDF（Entropy based TFIDF）。ETFIDF不仅考虑特征项在文档中出现的频率及该特征项在训练集中的集中度,而且还考虑该特征项在各个类别中的分散度。实验结果表明,采用ETFIDF计算特征权重可以有效地提高文本分类性能,对ETFIDF与特征选择的关系进行了较详细的理论分析和实验研究。实验结果表明,在文本表示阶段考虑特征与类别的关系可以更为准确地表示文本;如果综合考虑精度与效率两个方面因素,ETFIDF算法与特征选择算法一起采用能够得到更好的分类效果。     

Web页面信息块的自动分割

随着Internet的发展,Web页面数量的急剧增加,如何快速有效地获取信息变得越来越重要。一类Web页面往往包含着多个信息单元,它们在展现上排列紧凑、风格相似,在HTML语法上具有类似的模式,例如一个BBS页面上多个发言,每个信息被称为一个信息块。对于信息抽取、信息过滤等应用,需要首先将原始页面中分割为若干合适的信息块以便于后续的处理。本文提出了一种自动将Web页面分割为信息块的方法:首先通过创建Web页面结构化的HMTL分析树,然后根据包含有效文本量等确定包含信息块的子树,最后根据子树深度信息利用2-rank PAT算法进行分割。通过对BBS页面的信息块抽取实验,证明了该方法的有效性。     

面向术语抽取的双阈值互信息过滤方法

为了降低互信息方法固有问题对术语过滤效果的影响，提出一种双阈值互信息过滤方法，给出了一种基于局部评价指标的阈值确定算法，通过数据抽样、统计和计算，能够快速精确地给出最优上下限阈值。相比单阈值互信息过滤方法，在不更改互信息计算公式的前提下，通过设置双阈值的方法进行候选术语过滤与抽取。实验结果表明，在相同条件下，该方法能够显著提高准确率和F-测度值。     

树和模板的文献信息提取方法研究*

教师科研文献信息的自动搜集是科研成果有效管理的重要手段,将网页信息的提取方法用于网络数据库中文献信息的自动搜集有广大的应用前景。提出基于DOM树和模板的文献信息提取方法,利用HTML标记间的嵌套关系将Web网页表示成一棵DOM树,将DOM树结构用于网页相似度的度量和自动分类,相似度高的网页应用同一模板进行信息提取。实验结果表明该方法在提取网络数据库中文献信息的准确率在94%以上。     

知识粗糙性和条件信息熵的关系

目前,粗糙集理论存在着两种观点,它们分别是代数观和信息观。在代数观点中,知识粗糙性体现了知识的粒度;而在信息观中,定义了知识的信息熵和条件信息熵。已经有定理证明了信息熵与知识的粗糙性存在对应关系,它建立了代数观和信息观之间的联系,但是这种关系却不是一一对应的。该文通过重新证明知识粗糙性和信息熵的对应关系定理,找到与知识粗糙性存在一一对应关系的是条件信息熵,并给出相关定理及其证明。     

信息熵方法及在中文问题分类中的应用

针对中文问题分类方法中布尔模型提取特征信息损失较大的问题,提出了一种新的特征权重计算方法。在提取问题特征时,通过把信息熵算法和医院本体概念模型结合在一起,进行问题的特征模型计算,在此基础上使用支持向量机方法进行中文问题分类。在城域医院问答系统的中文问题集上进行实验,证明了该方法的有效性,大类准确率及小类准确率分别达到89.0%和87.1%,取得了较好的效果。     

一种基于信息熵的多分类器动态组合方法

为提高数据分类的性能,提出了一种基于信息熵[1]的多分类器动态组合方法（EMDA）。此方法在多个UCI标准数据集上进行了测试,并与由集成学习算法—AdaBoost,训练出的各个基分类器的分类效果进行比较,证明了该算法的有效性。     

基于决策熵的增量式知识获取算法

为了在知识约简中能够客观地反映决策规则的决策能力,提高约简的效率和识别率,针对动态知识获取这一问题,提出了一种基于决策熵的增量式知识获取算法。该方法利用决策熵能够客观地衡量决策表的决策能力的特点,在现有规则集基础上实现知识的动态更新,避免了重复计算从而提高了知识获取的识别率和效率。最后通过实验说明了该方法的有效性。     

犹豫模糊粒计算中信息熵研究

基于犹豫模糊粒度结构理论,结合Shannon熵和梁吉业等人提出的新熵概念,给出[Ι]型和[Π]型犹豫模糊信息熵、联合熵、条件熵概念,讨论了两类犹豫模糊信息熵的偏序性,分析了给出的犹豫模糊信息熵、联合熵、条件熵与已存在的各类相关熵之间的关系。