基于CSS的网页分割算法

在页面变换,信息抽取,信息过滤等应用中,首先需要将原始页面分割成为若干合适的信息块以便于后续的处理.本文提出了一种基于CSS的网页分割算法,通过对网页进行解析和布局处理,提取出其中的CSS信息,并且使用重复模式检测和聚类的方法对生成的CSS树进行分割.试验证明该方法能够有效地分割网页,并且不依赖于特定的浏览器,适合嵌入式系统使用.     

基于机器学习的HTML标题抽取

标题是描述一个HTML文档主题的重要信息,但常常不能被准确指明。本文通过对过去标题抽取方法优缺点的总结和进一步分析,提出了通过机器学习策略进行标题抽取的方法。我们将HTML格式及DOM树结构等信息引入了机器学习标题抽取过程中,并通过实验验证了我们提出方法的可行性。     

基于相似度的网页标题抽取方法

目前网页标题的抽取方法大多结合HTML结构和标签特征进行抽取,但是这些方法并没有考虑标题与正文信息之间内容上的联系。该文提出一种基于相似度的网页标题抽取方法,该方法利用网页标题与正文信息之间的关系,通过计算语言“单位”之间的相似度和对应的权值,并引入HITS算法模型对权值进行调整,根据特定的选取方法抽取出真实标题。实验结果表明,该方法不仅对“非标准网页”的抽取达到满意的效果,而且对“标准网页”具有较高的泛化能力。     

基于机器学习的网页木马识别方法研究

网页木马程序的加壳和混淆机制使得静态分析遇到困难,而动态分析又有不能穷尽所有执行路径这一问题。文章提出了一种基于机器学习的网马识别方法,提取Url和网马场景的特征,并把Url打上类别标记,对训练数据进行分类模型建构并做了预测实验,取得了比较好的实验效果。     

基于机器学习的网页主题词自动抽取

主题词在信息处理和信息检索过程中有广泛的用途，然而大量网页没有主题词，手工抽取主题词是一个繁重的过程，可以将主题词自动抽取看作是分类问题，充分利用网页的结构信息并且使用有监督的机器学习方法来自动地抽取网页中的主题词，试验结果表明该算法具有实用的价值。     

基于视觉特征的网页最优分割算法

网页分割技术是实现网页自适应呈现的关键。针对经典的基于视觉的网页分割算法VIPS(Vision-based Page Segmentation Algorithm)分割过碎和半自动的问题,基于图最优划分思想提出了一种新颖的基于视觉的网页最优分割算法VWOS(Vision-based Web Optimal Segmentation)。考虑到视觉特征和网页结构,将网页构造为加权无向连通图,网页分割转化为图的最优划分,基于Kruskal算法并结合网页分割的过程,设计网页分割算法VWOS。实验证明,与VIPS相比,采用VWOS算法分割网页的语义完整性更好,且不需要人工参与。     

基于网页分割的Web信息提取算法

针对网页非结构化信息抽取复杂度高的问题,提出了一种基于网页分割的Web信息提取算法。对网页噪音进行预处理,根据网页的文档对象模型树结构进行标签路径聚类,通过自动训练的阈值和网页分割算法快速判定网页的关键部分,根据数据块中的嵌套结构获取网页文本提取模板。对不同类型网站的实验结果表明,该算法运行速度快、准确度高。     

基于超链接和DOM结构树的网页标题实时抽取方法

网页标题的正确抽取,在Web文本信息抽取领域有着重大意义。本文提出一种网页标题实时抽取方法。首先通过对目录型网页进行实时解析,接着采用基于超链接遍历的方法,并利用标题与发布时间的对应关系,最终获取对应目录型网页的URL及锚文本。若获得锚文本不是网页正文的标题,则获取主题型网页的HTML源码并构建网页DOM树。在此基础上,结合网页标题的视觉特点,深度优先遍历DOM树,正确提取网页正文标题。实验结果表明,本文提出的Web网页标题实时抽取方法,具有实现简单,准确率高等优点。      

基于网页标题的主题相关度算法的研究

首先,给出了主题爬虫的概念;然后介绍了主题相关度计算的两种模型;布尔模型和空间向量模型;通过对两种模型进行分析,提出了一种基于网页标题的空间向量模型主题相关度计算方法Relative.经过试验分析,该算法具有很好的实用性,基于该算法的主题爬虫系统能够在Web上爬取高度主题相关的网页,极大的提高了网络爬虫的效率.     

基于规则的网页分割预处理算法研究

针对国家精品课程网站中网页内容和样式独立设计,网页分割算法难以运行的问题,基于规则提出了一种网页分割预处理算法,建立了网页标签和样式信息的关联。算法包括3个步骤:第一,获取样式信息;第二,关联样式信息和标签;第三,输出HTML和PerfectNode关联类列表。随机选取了100个国家精品课程网站的网页运行预处理算法,实验结果表明该算法可以有效地 融合 网页标签和样式信息,解决了网页分割算法无法运行的问题。     

基于统计分词的中文网页分类

本文将基于统计的二元分词方法应用于中文网页分类,实现了在事先没有词表的情况下通过统计构造二字词词表,从而根据网页中的文本进行分词,进而进行网页的分类。因特网上不同类型和来源的文本内容用词风格和类型存在相当的差别,新词不断出现,而且易于获得大量的同类型文本作为训练语料。这些都为实现统计分词提供了条件。本文通过试验测试了统计分词构造二字词表用于中文网页分类的效果。试验表明,在统计阈值选择合适的时候,通过构建的词表进行分词进而进行网页分类,能有效地提高网页分类的分类精度。此外,本文还分析了单字和分词对于文本分类的不同影响及其原因。     

一种基于节点密度分割和标签传播的Web页面挖掘方法

获取Web页面中的重要内容如文本和链接,在许多Web挖掘研究领域有着重要的应用价值.目前针对该问题主要采用Web页面分割和区块识别的方法.但现有的方法将Web页面中重要文本和链接的识别视为两个相互独立的问题,这种做法忽略了Web页面中文本和链接的内在语义关系,同时降低了页面处理的效率.文中提出了一种Web页面重要内容挖掘的统一框架,该框架主要由3个部分组成:第一,先将Web页面转换为DOM树表示,然后采用节点密度熵为度量将DOM树分割为不同的页面块;第二,采用基于K最近邻标签传播的半监督方法自动扩展页面块训练集;第三,在扩展的页面块训练集上对SVM分类器进行训练,并用来对页面块进行分类.采用该框架可以将Web页面块区分为多种类型,并且该框架独立于Web页面的类型和布局.我们在真实的Web环境下进行了广泛的实验,实验结果表明了该方法的有效性.     

基于网页格局的内容分块算法

随着移动上网业务的日益发展,人们迫切希望能够通过手持终端设备访问丰富的Web内容。同时,由于手持终端设备存在着多方面的局限性,使得必须对所要访问的Web页面进行转换处理。本文提出了一种新的内容分块算法,能够智能化地通过分析内容关系对Web页面信息进行分块和抽取,使得手持终端设备用户能够快速、高效地访问Web内容。     

基于机器学习方法的入侵检测技术的研究

入侵检测技术是近20年来才出现的一种有效保护网络系统免受网络攻击的新型网络安全技术.随着网络技术的迅速发展、安全问题的日益突出,传统的入侵检测系统已难以满足对越来越复杂的网络攻击的检测任务,将机器学习的技术引入到入侵监测系统之中以有效地提高系统性能,已成为入侵检测技术的研究热点.本文主要介绍了入侵检测系统的基本结构以及几种机器学习方法在入侵检测中的应用,其中包括:基于贝叶斯分类的方法、基于神经网络的方法、基于数据挖掘的方法与基于支持向量机的方法.     

基于分类的Web页面保护技术研究

针对传统的Web页面保护系统对所有的网页都“一视同仁”,从而影响用户的访问速度,基于网页分类技术提出了一种改进方案,设计了一个新的页面保护系统,使Web服务器在网页防护上具备完善的、适用的安全体系结构,它能够及时发现并恢复被删改的网页,同时通过对网页进行分类,并对不同分类的网页采用相应的监控策略,从而合理利用系统资源,减小安全措施对服务器性能的影响。     

图像搜索中基于网页分块的图像分类研究

本文提出并实现了一种基于网页分块的图像分类模型,利用图像位于网页中的特点,将图像和网页结构有效地结合起来对网络环境中的图像进行分类。首先利用VIPS页面分块算法对网页进行分块,然后根据分块网页结构的特点将各分块网页中的图像分为背景类、广告类和主题类,最后利用这个图像分类结果指导网络环境下的图像搜索。实验结果表明明,这种方法能够显著提高图像搜索性能。     

基于深度学习的实例分割研究进展

目标检测确定检测图像中目标对象所在区域及其类别,语义分割对检测图像实现像素级分类,实例分割可以定义为同时解决目标检测与语义分割问题,在分类的同时确定每个目标实例语义.实例分割网络在无人机驾驶、机器人抓取、工业筛检等领域具有重要应用意义,针对目前基于深度学习实例分割综述性文章的空白,对实例分割进展进行概述,按照单阶段实例...     

网页分块聚类的Web站点逻辑域挖掘

Web逻辑域挖掘是当前Web挖掘领域的研究热点之一,它强调从网站设计者的角度来挖掘站点中有逻辑联系的网页,以形成一个逻辑域,而不是单纯的文本聚类或超链排序。随着应用的不同,站点逻辑域的界定也有所不同。在综合分析了几种具有代表性的站点逻辑域及其挖掘方法后,提出了基于网页分块聚类的Web站点逻辑域挖掘模型和挖掘算法。实验结果表明,该算法具有很好的稳定性和适应性,其精度不受站点规模、语言、镜像等因素的影响,召回率则会随着取回网页数目的增加而增加。