基于超链接和内容相关度的综合爬行策略

介绍了网页分析算法HITS算法,并对HITS算法进行改进,提出了一种基于超链接和内容相关度的网页排序算法VHITS算法.VHITS算法引入向量空间模型计算网页内容的主题相关度,并用来评价超链接的重要性,从而避免了HITS算法所产生的主题漂移现象,有效的引导主题挖掘.     

一种基于相似度值的向量空间投影HITS算法

利用传统的搜索引擎寻找信息,返回的页面结果集查准率低且信息冗余,基于Web结构挖掘技术的HITS算法可以提高页面搜索的有效性.在深入分析HITS算法及其相关改进算法的基础上,提出一种基于相似度值的向量空间投影HITS算法.该算法在超链接结构分析的基础上结合页面文本内容,能较好地消除HITS算法存在的主题偏移现象,且不增加顿外的系统开销.     

一种基于超链接结构的向量空间模型改进算法

在基于向量空间模型的信息检索系统中,TF2IDF 算法被广泛的应用在基于关键字的信息检索中。然而,对于网页独特的超链接结构,需要有一种技术在表示网页内容的同时将与它相邻链接的网页内容考虑进去。本文分析了向量空间模型的实质,并找出了其精度低的原因,在传统模型基础上提出了一种基于网页超链接结构的向量空间模型改进算法。实验分析表明改进后的算法与原算法相比检索精确度提高了10 % ,在一定程度上改善了检索效果。     

基于超链接和标记文本的信息检索算法

在HITS超链接主题查找算法的基础上提出了一种检索改进算法，该算法首先通过网页之间的链接关系计算出每一网页的出度值和入度值，并将查询条件与超链接上的标记文本或网页全文内容进行相似度匹配。得出每一网页的权值，综合权值与出度或入度值，将检索结果进行排序输出。实验结果表明，与HITS、TF*IDF算法相比，该信息检索方法在相同查全率的条件下具有更好的查准率。     

基于网页标题的主题相关度算法的研究

首先,给出了主题爬虫的概念;然后介绍了主题相关度计算的两种模型;布尔模型和空间向量模型;通过对两种模型进行分析,提出了一种基于网页标题的空间向量模型主题相关度计算方法Relative.经过试验分析,该算法具有很好的实用性,基于该算法的主题爬虫系统能够在Web上爬取高度主题相关的网页,极大的提高了网络爬虫的效率.     

面向垂直搜索引擎的主题提取算法

针对HITS算法对所有链接分配相等权重导致产生主题漂移的问题,提出基于计算链接价值度及Web页面语义主题相似度对链接分配合理权重的HITS改进算法,突出链接重要度的差异。实验表明,该算法的主题相关度提高了13％～42％,且较好地避免了主题漂移问题,增强了采集信息的准确性,对垂直搜索引擎的研究有重要的理论和实际应用价值。     

一种基于聚类的语义检索算法

潜在语义分析在进行大规模语义检索时计算效率较低、存储开销较大。针对该问题,提出一种基于聚类的潜在语义检索算法。通过文档之间的结构关系对文档进行聚类,利用簇代替文档分析潜在语义,以此减少处理文档的个数。实验结果表明,该算法能减少查询时间,且检索精确度较高。     

基于N层向量空间模型的Web主题检索算法

本文在N层向量空间模型和主题树模型的基础上，通过分析两个模型的分层特性，提出了一种Web主题检索锋法。实验证明，在主题检索方面，该算法具有较快的速度和较高的查准率。     

基于超链接引导和链接图分析的主题搜索引擎

主题搜索引擎足专为查询某一学科或主题信息而出现的查询工具.针对目前各种主题搜索引擎在主题搜索上的优缺点,提出将基于文字内容启发的超链接引导技术与基于 Web 链接图的 PageRank 算法相结合的 IPageRank-IND 算法,以提高链接相关度判断的准确性和主题资源搜索的覆盖率,并将网页按照 VSM 算法进行内容相关度判断和自动分类,从而提高检索效率.最后构建一个搜索引擎进行实验,通过比较该算法与其他几种算法的实验结果,能够看到 IPageRank-IND 算法的优势是明显的.     

基于超链接信息的Web文本聚类方法研究

面对当前大量的文本数据信息,如何帮助人们准确定位所需信息,成为文本挖掘领域的一个研究趋势。通过将文本分类和聚类方法应用于信息检索-—对网页文本进行聚类,提出了基于超链接信息的Web文本自动聚类模型。利用结构挖掘技术获得主题领域的多个权威网页作为初始聚类中心,通过去除超链接信息中的噪声和多余链接得到网站的简明拓扑结构,并结合内容挖掘,动态调整聚类中心,最终将网页聚成各主题下的不同子类别。     

Authorware中超级链接的实现

灵活、方便的超级链接是多媒体课件开发的一个关键，本文笔者结合自己使用Ａｕｔｈｏｒｗ ａｒｅ 开发课件的实践，介绍了在Ａｕｔｈｏｒｗａｒｅ 中文件内与文件间实现超级链接的几种方法     

Web超链分析算法研究

The World Wide Web serves as a huge, widely distributed, global information service center, and expand-ing in a rapid speed. It is import to find the information the user need precisely and rapidly. In recent years, re-searchers discovery that rich and import information is contained among hyperlinks, and develop a lot of algorithm us-ing hyperlink to improve the quantity and relevance of the results which search engine returned. This paper presents a review and a comparison of such algorithms existing now. Problems of these algorithms and directions to further re-search will be discussed.     

内容与结构相结合的科学元数据相似度计算

为更加精确的计算科学数据共享工程中科学元数据间的相似度,提出了一种内容与结构相结合的科学元数据相似度计算方法。在综合分析各个领域元数据特点的基础上,把科学元数据相似度的计算分为两个方面:内容相似度和结构相似度。其中内容相似度基于改进的向量空间模型计算而得,结构相似度包含元数据树的节点相似度和层次相似度两个方面,两者叠加计算出相似度值,并通过实验证明了该方法具有更高的准确性和有效性。     

基于Hadoop平台的HITS算法

本文对Hadoop平台进行了分析研究后,与HITS算法的设计理论和技术相结合,对基于中文词汇网络的HITS算法进行了重新设计,使其符合Hadoop平台的框架,详细分析了Map／Reduce函数的设计方案．用测试数据在不同集群上做实验,实验结果证明,HITS算法在分布式环境下能很好的运行,集群的优越性明显．     

基于Hyperlink和相关度发现Web相关文档的研究

分析了Web文档的相似度计算方法，提出了Web上查询相关信息发现的SW0HITS算法，它结合了Web超链接、网页知识表示的信息相关度以及HITS方法来搜索Web上相关知识．本文通过它们搜索网上有关医药的信息和知识，其效果和查准率比传统HITS和IR方法有一定提高。     

Web数据挖掘系统的设计及实现研究

在全球信息化进程中，信息超载已经成为一个大问题。Web上信息虽多，但想找到需要的信息却很困难。人们通过点击和搜索引擎与Web进行交互，但是都不能从中准确快捷地获取需要的信息，Web数据挖掘技术就是解决此问题的好方法。讲述了Web数据挖掘的基本理论，根据挖掘对象的不同将其划分为Web内容挖掘、Web链接结构挖掘和Web访问信息挖掘；利用HTML网页的特殊结构性质，提出了一种Web数据挖掘系统的通用框架，并讨论了一些实现的具体技术。     

基于链接结构和内容相似度的聚焦爬虫系统

介绍了基于链接结构和内容相似度的主题Web Crawler系统结构,重点介绍了其中的联合网页链接结构和内容相似度来计算网页相关度算法.该算法计算种子网页集到抓取网页的链接数目和抓取网页到种子网页集的链接数目,及Web内容与主题的内容相似度,综合计算该网页的相关度权值,从中选择权威网页或hub网页作为种子网页,从而提高主题爬虫系统的爬行效率和抓取网页的查准率.     

基于自然语言检索的综合相似度计算算法

随着人工智能的发展,自然语言检索已逐步成为信息检索领域中的研究热点,而文本相似度计算算法直接决定着检索效果.在分析已有研究工作的基础之上,分别在统计信息层面和语义信息层面上提出了对应的相似度计算算法,最后提出了一种综合相似度计算算法,并通过相关实验验证了综合相似度计算算法对自然语言智能检索的有效性.