基于链接信息的网页分类算法

为了提高网页文本分类的准确性.克服传统的文本分类算法易受网页中虚假、错误信息的影响.提出一种基于链接信息的网页分类算法.通过对K近邻方法的改进.利用当前网页与其父网页的链接信息对网页实沲分类,用空间向量表示待分类网页的父链接信息。在训练集合中找到K篇与该网页链接信息向量最相似的网页,计算该网页所属的类别,通过实验与传统文本分类算法进行了对比,验证了该方法的有效性.     

基于链接相似性聚类的重叠社区识别

社区结构是社会网络最普遍和重要的拓扑属性之一,提出一种基于链接相似性聚类的重叠社区识别算法.该算法首先根据相邻链接的度分布状态,提出链接间的相似性度量方法;其次以链接相似性矩阵为输入,以链接社区的最优划分为目标,建立链接局部相似性聚类算法,实现了重叠社区的有效识别;然后对链接社区进行优化,解决了可能出现的过度重叠及孤立社区问题;最后在真实网络及人工合成网络上的实验验证了算法的高效性.     

网页静态链接文本安全相关性分析算法研究

文中采用网页代码的静态文本特征分析的方法,讨论并分析网页静态链接安全相关性的技术研究．首先根据当前网站木马分析研究的现状及存在的问题,提出了网页静态链接关系分析模型,并描述了网页链接文本安全相关性的分析算法;然后对模型及算法进行了算法的数学表示,并给出算法实现的数据结构．最后通过对实验结果的分析,验证了该算法的可靠性和合理性．     

一种基于主题相关度的网页排序算法

针对现有基于链接结构的PageRank算法的不足,提出了基于网页主题相关度的改进PageRank算法.通过分析网页内容,提取出网页中的链接及其对应的锚文本,建立网页链接库,利用向量空间模型(VSM)计算链接锚文本和网页内容的相关度,在此基础上实现离线计算改进后的PageRank算法.理论分析和仿真实验表明,改进的PageRank算法使用户能方便地找到所需网页,提高了网页查询效率.     

从基于超链接结构到面向语义网的网页排序研究

本文首先介绍了基于超链接结构的网页排序的思想和算法,重点介绍了PageRank算法和HITS算法,比较分析了二者的不同,进而指出了链接分析排序的优缺点.随后,笔者引入了语义网检索排序的原理及模型,认为提出建立面向语义网的搜索引擎技术,可以更好地改进网页排序.     

基于图的Co-Training网页分类

 本文充分利用网页数据的超链接关系和文本信息,提出了一种用于网页分类的归纳式半监督学习算法:基于图的Co-training网页分类算法(Graph based Co-training algorithm for web page classification),简称GCo-training,并从理论上证明了算法的有效性.GCo-training在Co-training算法框架下,迭代地学习一个基于由超链接信息构造的图的半监督分类器和一个基于文本特征的Bayes 分类器.基于图的半监督分类器只利用少量的标记数据,通过挖掘数据间大量的关系信息就可达到比较高的预测精度,可为Bayes分类器提供大量的标记信息;反过来学习大量标记信息后的Bayes分类器也可为基于图的分类器提供有效信息.迭代过程中,二者互相帮助,不断提高各自的性能,而后Bayes分类器可以用来预测大量未见数据的类别.在Web→KB数据集上的实验结果表明,与利用文本特征和锚文本特征的Co-training算法和基于EM的Bayes算法相比,GCo-training算法性能优越.     

面向网页分类的网页摘要方法

网页分类是网络挖掘的重要研究内容之一.与文本分类相比,网页分类面临的困难更多.去除网页中的噪声信息可以提高网页分类的精度,基于摘要的网页分类方法利用了这一思想.本文对三种传统的网页摘要方法进行了分析和改进,提出了Content Body摘要方法以及基于四种摘要方法的混合摘要方法;在此基础上,进行了大量基于摘要的网页分类实验.实验结果表明,所有的摘要方法都可以提高分类效果,其中混和摘要方法效果最好,可以使分类的F1值得到12.9%的改进.     

网页信息抽取方法的研究

信息抽取技术属于人工智能的一个分支.使用信息抽取技术可以人性化地从网页中把人们需要的信息抽取出来.文中提出的信息抽取技术是基于DOM和网页模板的一种归纳网页模板的新方法,它能很好地对各种布局元素的网页进行模板归纳,同时给出核心算法的C++实现.     

大规模双语句对自动获取技术

从互联网上挖掘大量双语平行句对,可以快速有效地构建大规模双语资源,服务于统计机器翻译。从挖掘对象的不同,将网络数据源分成对照网页和平行网页两类,提出一种抽取双语句对的方法。首先,从上述两类网页中分别抽取平行文本段,对照网页文本段抽取的主要方法为页面过滤和模板匹配,而平行网页依赖于网页结构的相似,采用对应节点匹配方法;其次,采用Gale-Church算法进行句对齐,得到平行句对;最后统一进行后处理。实验结果表明,从对照网页获取平行句对的准确率达到93.3%,平行网页为93.5%。     

基于结构和链接扩展的中文网页分类研究

在研究Web结构特征的基础上,综合网页的结构和内容,抽取网页不同区域的内容信息,并赋予不同权重来表明其重要程度的不同。按网页间相互链接关系,扩展链接,将链接源网页所含有的类别信息传播给目标网页,从而提高分类效果。实验证明,该方法比单独依赖网页内容信息的分类在效果上有所提高。