基于聚类算法的网页语义结构分析

随着语义网的不断发展,网页语义的研究也在不断的进步。但现阶段的网络结构中,非语义化网页仍旧占据了信息系统最主要的部分。信息系统在整合的过程中,也需要了解网页的语义结构以完成信息的获取和分析。提出一种基于视觉特征筛选的网页语义结构分析方法。该方法可以在忽略网页语义的情况下,通过网页结构的视觉特性和内容特性分析网页中不同结构的语义关系,使用聚类分析方法来推定网页中半结构化信息的语义结构,并通过该方法对一组随机网页进行了分析,结果证明该方法具有比较好的分析能力。     

基于 HowNet 的用户兴趣挖掘研究及应用磁

搜索引擎中用户查询和网页资源之间的相似度研究一直是页面排序的研究核心。利用 HowNet 对词语的语义层次架构模型,对用户的检索词进行兴趣挖掘,同时对检索词和挖掘出的兴趣关键词的语义相似度计算方法进行改进,用户的检索请求与分块后的网页资源进行相似度迭代计算。实验结果表明,改进的算法使得页面排序的准确率和首页命中率有了较大提高。     

基于多维语义的互联网药品信息提取方法

提出了基于多维语义的互联网药品信息提取方法,构建语义词典通过从多个维度对互联网药品知识进行描述,克服了不同来源网页之间的异构性并找出了其隐藏的共性.同时,采用了基于结构语义熵的方法对目标网页信息聚集区域进行定位,从中提取感兴趣的药品信息.最后再通过语义词典对提取的信息进行验证并自动生成XPath提取规则进行补充.该方法...     

基于结构语义熵的网上商品信息提取系统

目前网上销售已成为一种重要的商品销售途径,其中商品网页信息提取是商品发布信息监测、商品比价等应用的技术基础.传统的网页信息提取系统在提取这些商品信息时存在人工干预过多和提取数据的针对性不强的问题.针对商品销售网站数据的具体表现形式,提出了一种基于结构语义熵的商品信息提取算法.该算法结合了商品的语义特征和网页的结构表现形式,可以实现全自动的网页商品提取.并通过实验证明了算法的有效性,和其在网上商品销售领域的普适性.     

基于FLAAT的加权偏爱模式的挖掘算法

在实际应用中,一个网站的网页对用户有着不同的重要性。该文每个网页由不同的专家给出语义上的重要性评估,这些语义评估再被转化成表示权重的模糊集。此外,由于树结构在挖掘频繁项目时不需要产生频繁项集及对这些频繁项进行测试而被广泛应用于数据挖掘中。然而,单纯的树结构可能造成有用信息的丢失。因此,该文提出了一种新的结构——频繁链表加存取树(简称为FLAAT),并在此结构上提出了一种有效的加权偏爱模式的挖掘算法。试验证明该文的算法是行之有效的。     

基于视觉的网页重要变化检测方法

检测网页重要变化,判断页面核心内容是否发生变化,可有效降低数据采集中重复索引的数量,因此,文中提出基于视觉的网页重要变化检测方法,用于检测页面不同语义区域的变化,可将页面压缩表示为一个低维向量.从用户视觉的角度,理解页面不同区块语义重要度的差异.相比现有方法,文中方法独立于基于HTML类基础文档的分析方法,在新媒体,如移动互联网上,也有一定的适用性.实验也验证文中方法的有效性.     

Web结构挖掘中基于熵的链接分析法

在Web结构挖掘中,传统的HITS（hyperlinkinducedtopics search）算法被广泛应用来寻找搜索引擎返回页面中的Auto-rity页面和Hub页面.但是在网站中除了有价值的页面内容外,还有很多与页面内容无关的链接,如广告、链接导航等.由于这些链接的存在,应用HITS算法时就会导致某些广告网页或无关网页获得较高的Authority值和Hub值.为了解决这个问题,在原有HITS算法的基础上,引入了香农信息熵的概念,提出了基于熵的网页链接分析方法来挖掘网页结构.该算法的核心思想是用信息熵来表示链接文本所隐含的知识.     

基于视觉特征的网页正文提取方法研究

利用网页的视觉特征和DOM树的结构特性对网页进行分块,并采用逐层分块逐层删减的方法将与正文无关的噪音块删除,从而得到正文块.对得到的正文块运用VIPS算法得到完整的语义块,最后在语义块的基础上提取正文内容.试验表明,这种方法是切实可行的.     

基于潜在语义特性的语义双关语检测及双关词定位

语义双关语是幽默、笑话和喜剧等作品的来源之一,在人类写作的发展进程中具有重要的历史地位。由于语义双关语存在歧义难懂的特点,因此难以挖掘语义双关语的潜在语义信息,故目前语义双关语的检测和双关词的定位是自然语言处理任务中的一项困难和挑战。该文在语义双关语的理论基础上,挖掘了一系列的潜在语义特性,并构建了对应每个特性的特征集,用以检测语义双关语;同时从潜在语义特性出发,提出了一种基于词向量和同义词融合的语义相似度匹配算法实现语义双关词的定位。在SemEval 2017 Task 7和Pun of the Day数据集上均取得了较好的实验结果,验证了该文所提出的检测算法和定位算法。     

基于URL的中文多语义名词在线语义标注

中文语义标注在自然语言处理领域有广泛的应用,其目的在于挖掘并标注出中文多语义名词的多个语义。提出一种新颖的语义标注算法,通过在线URL分类目录,构建得到URL分类器。借助于URL分类器,对搜索引擎返回的多语义名词的搜索结果(包括网页URL及摘要)进行分类,得到多语义名词的初始语义分类结果。对初始语义分类结果按其网页摘要聚类,提取聚类特征后得到多语义词的语义标注结果。该算法利用基于URL的网页分类方法,能在线对中文多语义名词进行语义标注。实验结果证明,该语义标注算法可以取得70%的准确率及80%的召回率,适用于网络热词语义标注。