基于网页标题的主题相关度算法的研究

首先,给出了主题爬虫的概念;然后介绍了主题相关度计算的两种模型;布尔模型和空间向量模型;通过对两种模型进行分析,提出了一种基于网页标题的空间向量模型主题相关度计算方法Relative.经过试验分析,该算法具有很好的实用性,基于该算法的主题爬虫系统能够在Web上爬取高度主题相关的网页,极大的提高了网络爬虫的效率.     

语义特征建模系统中布尔算法的研究

为了提高语义特征建模系统中布尔操作的运行效率,提出了一种基于语义表示法的布尔操作算法.该算法用语义表示法表示特征模型,用细胞元模型组织和管理特征元素,用语义面替代几何面来提高特征的交互检测效率,通过细胞分裂和语义面分解来生成新实体.该算法不仅可以快速准确地生成布尔实体,还可以避免几何面的丢失及“孔洞”等错误的发生.实验证明,该算法具有广泛的使用前景和实用价值.     

基于VSM的网页过滤系统模型

介绍了一种采用向量空间模型的网页过滤系统模型,以及该模型在应用中的一些关键技术和算法.     

基于领域模型的网页搜索排序算法

通用搜索引擎在检索过程中会出现查询结果与关键词所属领域无关的主题漂移现象.本文提出了面向特定领域的网页重排序算法-TSRR(Topic Sensitive Re-Ranking)算法,从一个新的视角对主题漂移问题加以解决. TSRR算法设计一种独立于网页排序的模型,用来表示领域,然后建立网页信息模型,在用户检索过程中结合领域向量模型和网页信息模型对网页搜索结果进行重排序.在爬取的特定领域的数据集上,以用户满意度和准确率为标准进行评估,实验结果表明,本文中提出的TSRR算法性能优异,比经典的基于Lucene的排序算法在用户满意度上平均提高17.3%,在准确率上平均提高41.9%.     

非线性布尔函数处理模型研究与设计

针对序列密码算法中非线性布尔函数的实现,利用布尔函数的拆分建模,提出一种以布尔函数拆分、布尔函数计算和输出回写为基础的通用非线性布尔函数处理模型,模型能够完成不同形式的非线性布尔函数实现.为更好地评估模型的实现能力,完成了序列密码中常见的非线性布尔函数的算法适配.适配结果表明,和现有的方式相比,模型适配能力较强,资源占用低,具有较好的发展前景.     

一种基于社会性标注的网页排序算法

社会性标注作为一种新的资源管理和共享方式,吸引为数众多的用户参与其中,由此产生的大量社会性标注数据成为网页质量评价的一个新维度.文中研究如何利用社会性标注改进网页检索性能,提出一种有机结合网页和用户的查询相关性与互增强关系的网页排序算法.首先利用统计主题模型,使用相关标签为网页和用户建模,并计算查询相关性.然后利用二部图模型刻画网页和用户间的互增强关系,并使用相关标签与用户兴趣和网页内容的匹配度为互增强关系赋予权重.最后结合查询相关性和互增强关系,以迭代方式同时计算网页和用户的评分.实验结果表明,文中提出的检索模型和互增强模型能够有效地提高排序算法的性能.与目前的代表性算法相比,该算法在检索性能上有明显提高.     

改进的布尔公式学习算法

当前,布尔公式学习算法的研究大多数是理论上的模型建立和推导,很少有人考虑到布尔公式学习算法在实际应用中的效率改进。现在较成熟的布尔学习算法主要利用的是询问模型,而询问模型需要依赖外部的SMT 工具进行询问问题的回答。虽然,布尔公式学习算法可以在多项式次数的询问之后得到正确结果,但是,减少询问的次数可以减少使用 SMT 工具进行问题计算的次数,即减少问题计算的时间。主要针对布尔公式学习算法在实际系统中的应用问题,提出了利用单调理论中的最小赋值向量的方法,来减少布尔公式学习算法的询问次数,提高算法效率和适用性。     

基于向量空间模型的网页文本表示改进算法

介绍了一种新的文本表示算法，应用在网页文本过滤系统中。比起传统的向量空间模型，这种建立在其上的改进算法有更快的过滤速度和更高的过滤精度。该算法直接从过滤模板的特征集中取出词条，只在网页文本出现该词的地方进行精确处理。根据特征项所在的网页标签，赋予不同的权值系数，以准确定义特征词在文中的重要程度，最后建立该网页的文本表示模型。     

基于视觉特征的网页最优分割算法

网页分割技术是实现网页自适应呈现的关键。针对经典的基于视觉的网页分割算法VIPS(Vision-based Page Segmentation Algorithm)分割过碎和半自动的问题,基于图最优划分思想提出了一种新颖的基于视觉的网页最优分割算法VWOS(Vision-based Web Optimal Segmentation)。考虑到视觉特征和网页结构,将网页构造为加权无向连通图,网页分割转化为图的最优划分,基于Kruskal算法并结合网页分割的过程,设计网页分割算法VWOS。实验证明,与VIPS相比,采用VWOS算法分割网页的语义完整性更好,且不需要人工参与。     

基于DOM树结构的Blog网页自动识别*

针对当前Internet中大量出现的博客网页,通过分析博客网页自身的结构特点和技术特征,结合网页的DOM节点特性,提出了基于DOM树分析和模式匹配的博客网页自动识别算法,并通过实验对本算法进行了验证,指出需进一步完善的研究内容和方向。     

新的PageRank优化算法

为了克服PageRank在搜索过程中重复性地把当前受欢迎的网页放在搜索结果的首要位置,而不受欢迎的网页被大多数用户忽略的问题,采用了一种改进的评估函数及有效的用户模型,获得了一个新的PageRank优化算法。实验结果表明,该算法达到了较好的公平性。     

基于网页文本结构的网页去重

搜索引擎返回的重复网页不但浪费了存储资源，而且加重了用户浏览的负担。 针对网页重复的特征和网页文本自身的特点，提出了一种动态的网页去重方法。该方法通过将网页的正文表示成目录结构树的形式，实现了一种动态的特征提取算法和层次指纹的相似度计算算法。实验证明，该方法对全文重复和部分重复的网页都能进行准确的检测。     

一种基于支持向量机的专业中文网页分类器

文中提出了一种基于支持向量机的专业中文网页分类算法，利用支持向量机对网页进行二类分类，找出所需专业的中文网页；然后利用向量空间模型，对分类好的专业网页进行多类分类。在构造支持向量机的过程中，为了提高分类的召回率，采用了一种偏移因子。该算法只需要计算二类SVM分类器，实验表明，它不仅具有较高的训练效率，同时能得到很高的分类精确率和召回率。     

针对小文本的Web数据挖掘技术及其应用

现有搜索引擎技术返回给用户的信息太多太杂,为此提出一种针对小文本的基于近似网页聚类算法的Web文本数据挖掘技术,该技术根据用户的兴趣程度形成词汇库,利用模糊聚类方法获得分词词典组,采用MD5算法去除重复页面,采用近似网页聚类算法对剩余页面聚类,并用马尔可夫Web序列挖掘算法对聚类结果排序,从而提供用户感兴趣的网页簇序列,使用户可以迅速找到感兴趣的页面。实验证明该算法在保证查全率和查准率的基础上大大提高了搜索效率。由于是针对小文本的数据挖掘,所研究的算法时间和空间复杂度都不高,因此有望成为一种实用、有效的信息检索技术。     

网页分块聚类的Web站点逻辑域挖掘

Web逻辑域挖掘是当前Web挖掘领域的研究热点之一，它强调从网站设计者的角度来挖掘站点中有逻辑联系的网页，以形成一个逻辑域，而不是单纯的文本聚类或超链排序。随着应用的不同，站点逻辑域的界定也有所不同。在综合分析了几种具有代表性的站点逻辑域及其挖掘方法后，提出了基于网页分块聚类的Web站点逻辑域挖掘模型和挖掘算法。实验结果表明，该算法具有很好的稳定性和适应性，其精度不受站点规模、语言、镜像等因素的影响，召回率则会随着取回网页数目的增加而增加。     

基于编辑距离的Web数据挖掘

Div+CSS流行于Web页面的布局,在这种布局下,网页中很多数据记录以重复结构的形式聚集在一个层级。为了更好地从网页中挖掘数据,提出了一种新的Web数据挖掘算法,把树编辑距离转化为字符串编辑距离的计算,改进字符串编辑距离算法,利用字符串编辑距离评价树的相似度,进而找到网页中的重复模式,提取数据。通过针对不同重复模式特征的网页的实验说明,基于编辑距离的Web数据挖掘算法不仅能提取具有根节点及上面几层相同的网页的数据,对具有底层节点相同的网页也是有效的。     

基于决策树方法的特定主题Web搜索策略

基于数据挖掘中决策树方法提出了一种新的Web搜索策略。在该策略中，通过对预先采集的Web页面进行学习得到一棵决策树，然后对其进行剪枝，得到简化布尔表达式形式的主题内在规律性信息，在其基础上进行查询修改，把修改后的查询转发到通用搜索引擎上，最终得到查询结果。实验结果表明，提出的查询策略对于特定主题的Web搜索，查询结果的质量有明显的改善和提升。     

基于统计学习的挂马网页实时检测

近年来挂马网页对Web安全造成严重威胁,客户端的主要防御手段包括反病毒软件与恶意站点黑名单。反病毒软件采用特征码匹配方法,无法有效检测经过加密与混淆变形的网页脚本代码;黑名单无法防御最新出现的恶意站点。提出一种新型的、与网页内容代码无关的挂马网页实时检测方法。该方法主要提取访问网页时HTTP会话过程的各种统计特征,利用决策树机器学习方法构建挂马网页分类模型并用于在线实时检测。实验证明,该方法能够达到89. 7%的挂马网页检测率与0. 3%的误检率。     

基于密度及文本特征的新闻标题抽取算法

为从大量的复杂非规范网页结构中自动抽取出新闻标题,该文提出一种基于密度和文本特征的新闻标题抽取算法(title extraction with density and text-features, TEDT)。主要通过融合网页文本密度分布和语言特征的语料判定模型,将网页划分为语料区和标题候选区,选取语料后通过TextRank算法计算对应的key-value权重集合,最后采用改进的相似度计算方法从标题候选区抽取新闻标题。该算法能有效划分语料和标题区域,降低网页噪声干扰,准确抽取出新闻标题。实验结果表明,TEDT的准确率和召回率均优于传统的基于规则和相似度的新闻标题抽取算法,证明了TEDT不仅对主流新闻网站有效,而且对复杂非规范网页也广泛适用。     

Clustering Web pages based on their structure

Several techniques have been recently proposed to automatically generate Web wrappers, i.e., programs that extract data from HTML pages, and transform them into a more structured format, typically in XML. These techniques automatically induce a wrapper from a set of sample pages that share a common HTML template. An open issue, however, is how to collect suitable classes of sample pages to feed the wrapper inducer. Presently, the pages are chosen manually. In this paper, we tackle the problem of automatically discovering the main classes of pages offered by a site by exploring only a small yet representative portion of it. We propose a model to describe abstract structural features of HTML pages. Based on this model, we have developed an algorithm that accepts the URL of an entry point to a target Web site, visits a limited yet representative number of pages, and produces an accurate clustering of pages based on their structure. We have developed a prototype, which has been used to perform experiments on real-life Web sites.