一种利用相邻页面信息修正分类结果的方法

提出一种利用相邻网页信息修正分类结果的方法。这种方法首先利用NaiveBayes分类器分类待分类网页;其次对待分类网页做链接分析并计算页面与链出页面的相似度,对初始分类结果做修正,得到最终分类结果。根据该方法实现了网页自动分类原型系统,并进行分类实验,实验表明该方法有效提高了分类性能。     

一种基于网页自动分类的分类查询搜索引擎

文章分析了传统搜索引擎的缺点,提出了一种基于网页自动分类的分类查询搜索引擎新模型,重点阐述了利用粗糙集进行文本分类的方法,提出了一种基于特征矩阵的决策表约简算法,并以此实现了网页自动分类器。     

基于内容的中文网页自动分类研究

本文主要介绍基于内容的网页自动分类系统,具体介绍了类别词典的建造方法,网页超文本类别词切分的方法,中文网页自动分类算法以及利用类别词与网页间的模糊关系对网页文本进行自动分类等内容.通过对旅游网页进行测试,自动分类正确率可达93.37%以上,有效地提高了查准率和查全率.     

基于核函数的层次判别回归

层次判别回归把分类和回归统一成回归问题，在每个内部节点进行输入和输出空间的双聚类，输入空间的分类子空间可以自动从聚类中获得，再用层次概率分布模型计算判别子空间，构成输入空间由粗到精的概率分布，可以准确而且快速地实现高维数据的检索。该文提出了利用核函数在输入空间先对样本进行核聚类，就能够有效降低非线性分类边界的影响，使得检索结果更加准确。     

奇异性数据的分类检索方法研究与仿真北大核心CSCD

对奇异性数据进行分类,可以提升检索的精度并改善用户需求。在对奇异性数据的进行分类检索时,当检索对象为海量数据时,需要对海量数据进行自动标定和划分,并对数据特征进行检测,获取数据特征集,并从中提取奇异性语义向量空间,完成奇异性数据的分类检索,而传统算法只能根据人工标定方法进行分类检索,当针对海量数据时,只能粗略的进行标定分类,分类检索时会漏掉很多奇异性特征,无法实现准确的分类检索。提出采用奇异值分解的奇异性数据分类检索方法,对海量数据进行划分,并对数据特征进行挖掘,获取数据特征集,引入奇异值分解方法提取数据特征集的奇异性数据向量空间,利用奇异值分解方法,逐级进行奇异性数据特征的相似度匹配,实现奇异性数据的分类检索。仿真结果表明,所提方法的奇异性数据匹配检索效果良好,并具有稳定的检索性能。     

基于提取网站层次结构的网页分类方法

网页自动分类是当前互联网搜索领域一个热点研究课题,目前主要有基于网页文本内容的分类和基于网页间超链接结构的分类。但是这些分类都只利用了网页的信息,没有考虑到网页所在网站提供的信息。文中提出了一种全新的对网站内部拓扑结构进行简约的算法,提取网站隐含的层次结构,生成层次结构树,从而达到对网站内部网页实现多层次分类的目的,并且已经成功应用到电子商务智能搜索和挖掘系统中。     

基于本体实现对网页文本的自动主题分类

提出了一种实现对中文网页进行自动分类的平衡差值法，它利用本体中主题概念的层次结构和主题词、特征项的各种语义关系，降低了分类算法的复杂性和计算量。试验表明，该方法可以获得85％以上的网页分类准确率。     

网页查重技术在企业数据仓库中的应用

介绍了处理网页排重的三类通用方法，并介绍了在企业数据仓库系统中，通过利用相似性检索技术实现情报资料自动排重的应用。通过对测试结果的评估表明，这种基于相似性检索技术的自动排重的方法能够达到较好的效果，实现了企业情报资料智能化预处理的应用。     

"天网"目录导航服务研究

为了提高搜索引擎的查准率,帮助用户快速地定位其感兴趣的网页,研究了如何在Spider式搜索引擎“天网”系统中提供目录导航服务。基本思想就是利用有指导的机器学习方法实现中文网页的自动分类。主要贡献有两点：①搜集并建立了一个面向中文网页并且支持层次模型的大规模中文网页数据集,这是实现中文网页自动分类的前提和基础;②针对中文网页信息的自身特性以及CHI方法的固有缺陷,提出一种自动清除“噪音”的特征选取算法,并实现了一个能够处理海量中文网页的分类器。实验结果表明该分类器有较高的分类质量,满足了搜索引擎目录导航服务的要求。     

中文网页分类中的网页特征提取方法

为了网页信息的有效组织和检索,针对网页中的超文本结构特征,在研究网页间的超链接、超文本标记对信息提取的作用的基础上,阐述了一种基于“超文本标记加权”和“超链接森林”的因特网信息提取方法,并与传统方法进行了对比。实验结果表明,该方法用于网页的自动分类具有较好的效果。     

A Naive Bayes approach for URL classification with supervised feature selection and rejection framework

Web page classification has become a challenging task due to the exponential growth of the World Wide Web. Uniform Resource Locator (URL)‐based web page classification systems play an important role, but high accuracy may not be achievable as URL contains minimal information. Nevertheless, URL‐based classifiers along with rejection framework can be used as a first‐level filter in a multistage classifier, and a costlier feature extraction from contents may be done in later stages. However, noisy and irrelevant features present in URL demand feature selection methods for URL classification. Therefore, we propose a supervised feature selection method by which relevant URL features are identified using statistical methods. We propose a new feature weighting method for a Naive Bayes classifier by embedding the term goodness obtained from the feature selection method. We also propose a rejection framework to the Naive Bayes classifier by using posterior probability for determining the confidence score. The proposed method is evaluated on the Open Directory Project and WebKB data sets. Experimental results show that our method can be an effective first‐level filter. McNemar tests confirm that our approach significantly improves the performance.     

树和模板的文献信息提取方法研究*

教师科研文献信息的自动搜集是科研成果有效管理的重要手段,将网页信息的提取方法用于网络数据库中文献信息的自动搜集有广大的应用前景。提出基于DOM树和模板的文献信息提取方法,利用HTML标记间的嵌套关系将Web网页表示成一棵DOM树,将DOM树结构用于网页相似度的度量和自动分类,相似度高的网页应用同一模板进行信息提取。实验结果表明该方法在提取网络数据库中文献信息的准确率在94%以上。     

基于网页结构树的Web信息抽取方法

提出了网页结构树提取算法及基于网页结构树的Web信息抽取方法。抽取信息时,在网页结构树中定位模式库中的待抽取信息,用模式库中的待抽取信息和网页结构树的叶结点对应的网页信息进行匹配。因而对网页信息的抽取,可以转化为对网页结构树的树叶结点信息的查找。实验证明,该方法具有较强的网页信息抽取能力。     

一个面向实时网页分类的主题特征提取算法

网页实时分类是聚焦爬虫需要解决的重要问题,现有主题特征提取方法多数是面向离线分类的,性能达不到应用要求。本文首先扩展了标签树表示模型DocView的节点类型,且将其作为加权的重要因素,然后提出一个面向实时网页分类的Web文本和文本集主题特征提取算法。实验结果表明,算法的准确率提高了31％,主题偏移度降低了1倍多,能够满足应用要求。同时,还提出了一个新的主题特征提取性能评价模型。     

基于决策支持向量机的中文网页分类器

提出了基于决策支持向量机的中文网页分类算法。把支持向量机方法和二叉决策树的基本思想结合起来构成多类别的分类器，用于中文网页分类，从而减少支持向量机分类器训练样本的数量，提高训练效率。实验表明，该方法训练数据规模大大减少，训练效率较高，同时具有较好的精确率和召回率。     

一种基于容错粗糙集的Web文档分类方法

为了充分利用Web这一宝贵资源，需要一种高效准确的Web分类方法．应用机器学习技术，如K-邻近法、贝叶斯概率模型等已经实现了Web文档半自动和自动分类，但是，大多数Web分类方法共同的特点是把类作为互斥的概念，很少考虑类与类之间存在一定的交叉概念．其实，一个Web文档有时可属于几个类别，说明web文档的类之间存在不确定的关系．粗糙集理论-l982年Pawlak提出的，它在不确定关系表示有显著优点．由近似关系产生的分类方法分类精度更高．在web文档常用向量模型基础上，利用特征词协同出现的价值，本文采用一种广义粗糙集……容错关系（tolerance relation）来表示文档，丰富特征词对Web文档的描述，实验结果表明它更适合表示Web文档，有利于提高Web分类的准确性．     

面向信息检索需要的网络数据清理研究

Web数据中的质量参差不齐、可信度不高以及冗余现象造成了网络信息检索工具存储和运算资源的极大浪费,并直接影响着检索性能的提高。现有的网络数据清理方式并非专门针对网络信息检索的需要,因而存在着较大不足。本文根据对检索用户的查询行为分析,提出了一种利用查询无关特征分析和先验知识学习的方法计算页面成为检索结果页面的概率,从而进行网络数据清理的算法。基于文本信息检索会议标准测试平台的实验结果证明,此算法可以在保留近95%检索结果页面的基础上清理占语料库页面总数45%以上的低质量页面,这意味着使用更少的存储和运算资源获取更高的检索性能将成为可能。     

A Web page classification system based on a genetic algorithm using tagged-terms as features

The incredible increase in the amount of information on the World Wide Web has caused the birth of topic specific crawling of the Web. During a focused crawling process, an automatic Web page classification mechanism is needed to determine whether the page being considered is on the topic or not. In this study, a genetic algorithm (GA) based automatic Web page classification system which uses both HTML tags and terms belong to each tag as classification features and learns optimal classifier from the positive and negative Web pages in the training dataset is developed. Our system classifies Web pages by simply computing similarity between the learned classifier and the new Web pages. In the existing GA-based classifiers, only HTML tags or terms are used as features, however in this study both of them are taken together and optimal weights for the features are learned by our GA. It was found that, using both HTML tags and terms in each tag as separate features improves accuracy of classification, and the number of documents in the training dataset affects the accuracy such that if the number of negative documents is larger than the number of positive documents in the training dataset, the classification accuracy of our system increases up to 95% and becomes higher than the well known Naïve Bayes and k nearest neighbor classifiers.     

基于特征词复合权重的关联网页分类

针对网页分类中关联分类方法存在的如下两点不足:(1)仅把网页当成纯文本处理,忽略了网页的标签信息,(2)仅用网页中的特征词作为关联规则的项,没有考虑特征词的权重,或仅以词频来量化权重,忽略了特征词位置特征的影响,提出了基于特征词复合权重的关联网页分类方法。该方法利用网页标签信息所体现的位置特征计算特征词的复合权重,并以此权重为基础建立分类规则,对网页进行分类。实验结果表明,该方法取得了比传统的关联分类方法更好的效果。     

基于树比较的Web页面主题信息抽取

为了从具有海量信息的Internet上自动抽取Web页面的信息,提出了一种基于树比较的Web页面主题信息抽取方法。通过目标页面与其相似页面所构建的树之间的比较,简化了目标页面,并在此基础上生成抽取规则,完成了页面主题信息的抽取。对国内主要的一些网站页面进行的抽取检测表明,该方法可以准确、有效地抽取Web页面的主题信息。