基于网页标题的主题相关度算法的研究

首先,给出了主题爬虫的概念;然后介绍了主题相关度计算的两种模型;布尔模型和空间向量模型;通过对两种模型进行分析,提出了一种基于网页标题的空间向量模型主题相关度计算方法Relative.经过试验分析,该算法具有很好的实用性,基于该算法的主题爬虫系统能够在Web上爬取高度主题相关的网页,极大的提高了网络爬虫的效率.     

基于Web日志挖掘的Web文档聚类

Web日志挖掘是Web挖掘的一种,介绍了Web日志挖掘的一般过程,研究了k-means聚类算法,并分析了k-means聚类算法的不足.k-means聚类算法迭代过程中每次都需要计算每个数据对象到簇质心的距离,使得聚类效率不高,针对这个问题,提出了k-means聚类算法的改进算法,该算法避免了重复计算数据对象到簇质心的距离,并用这两种算法实现了Web文档的聚类.试验结果表明,该改进算法提高了聚类效率.     

基于领域本体的网页主题相关度计算

为提高网页内容与特定主题之间相关度计算的准确度,提出一种基于领域本体的网页主题相关度计算模型OBWTCCM(ontology based webpage-topic correlation calculation model)。使用领域本体刻画主题,通过计算本体概念间的语义关系提取主题概念并构造主题语义矩阵,将特征词的统计信息与该矩阵相结合计算网页与主题之间的相关度。该模型改进了向量空间模型在相关度计算时对特征词语义层次分析的不足。实际项目应用结果表明,使用该方法计算得到的网页主题相关度与领域专家的判断总体相符,具有较理想的准确度。     

基于Wikipedia的语义相关度计算

在意见挖掘中,为实现特殊领域知识的语义相关度计算,提出基于Wikipedia的语义相关度计算方法。在构建Wikipedia类别树的基础上,通过Wikipedia类别向量表示Wikipedia中的词汇,形成一部包含各种领域知识的Wikipedia词典,利用该词典计算语义相关度。实验结果表明,该方法的斯皮尔曼等级相关系数可达到0.77。     

一种计算结构化文档相关度的方法

讨论了如何精确计算结构化文档相关度的理论模型和算法.首先分析了基于语义内容的文档相关度和基于文档特征的文档相似度之间的区别,提出利用树同构思想测量文档语义相关性.在计算过程中,通过为结点赋予不同权重反映匹配结点的位置重要性,对于未匹配结点则首次提出利用影响因子针对不同情况做适当区分,最后给出文档相关度计算公式.实验证明,此方法能够很好地区分信息检索中的模糊或者相近的请求及文档.     

基于文档对象模型的网页制作自动阅卷技术

从文档对象模型的角度对网页文档格式进行了研究,给出了基于文档对象获取的网页制作题自动阅卷方案,弥补了以往用文本匹配方式进行阋卷在知识点定位及取值过程中的不足。     

基于混合语言模型的文档相似性计算模型

为了克服现有文档相似性模型对文档特性拟合的不完全性和缺乏理论根据的弱点,本文在统计语言模型的基础上,提出了一种基于混合语言模型(Mixture Language Model,MLM)文档相似性计算模型。MLM利用统计语言模型描述文档特征,将相关影响因素作为模型的潜在子模型,文档语言模型由各子模型混合构成,从而准确和全面地反映文档特征。由于MLM根据具体应用确定相关影响因素,并以此构建相应文档描述模型,因此具有很强的灵活性和扩展性。在MLM的基础上,本文给出了一个基于文档主题内容相似性的实例,在TREC9数据集上的实验表明MLM优于向量空间模型(VSM)。     

基于网页导航信息的Web文档性质分类

研究发现传统的Web文档分类算法都是基于内容的相似度划分文档的，并没有涉及到对文档性质的划分，即将网页按照内容划分各类，而没有涉及该网页的内容是属于新闻、评论、学术论文还是原创故事等类别，这对很多用户来说是很不方便的。     

中文语义相关度计算模型研究

现有的中文语义相关度计算模型对相关度的定义并不明确和统一,且计算方法多以相似度计算为基础,导致应用语义相关度存在局限。提出了一个新的语义相关的定义,认为两个词所表达的概念之间,如果存在用类似“知网”的知识描述体系所描述的语义关系,那么这两个概念之间就是语义相关的。通过挖掘这些直接或间接的关系,提出了一种新的语义相关度的计算模型,适用于所有类似知网的知识体系中语义相关度的计算。最后将该计算模型应用于词义排歧,验证了该计算模型的有效性。     

基于云计算的大规模网页日志挖掘研究

互联网上的数据规模大、种类多、变化快,而且越来越复杂。通过数据挖掘和分析,可以获取有潜在价值的信息。但是,传统的数据挖掘系统在数据存储和计算性能上存在瓶颈。通过使用云计算技术,设计了一个基于Hadoop架构的网页日志数据挖掘和分析平台来解决这个问题。同时,为了提高挖掘效率,为大规模网页日志挖掘实现了Apriori算法的并行化,并使用该平台验证了该行算法的效率。     

基于分布式的Web log挖掘模型

本文提出了一种基于分布式web log挖掘模型,并针对该模型设计了一种有效的基于分布式的挖掘算法。该算法首先在各分布式服务器上进行关联规则挖掘,然后将各个服务器上的挖掘结果合成。这有利于减轻网络频繁的通讯负担,体现并行计算、异步挖掘、异构数据挖掘的优点。     

一种基于自组织映射神经网络的Web页面个性化推荐模型

人工神经网络(ANN)为Web挖掘技术提供了一种新思路.针对传统聚类方法面对大量动态增长的Web日志数据健壮性和灵活性不够的缺点,提出了一种基于自组织映射神经网络的用户信息聚类模型,最后给出的实例证明在此基础上的Web页面的个性化推荐算法能够有效地进行Web页面个性化推荐.     

基于Web使用挖掘的匿名用户购买预测模型

基于Web使用挖掘的思想,通过在Web日志文件中加入用户页面动作记录,结合浏览页面和页面行为两方面的内容,设计算法计算支持度计数,进行关联规则挖掘,力图提取更加准确的用户购买模式;参照这些模式,利用一种混合模式算法对Web站点匿名访问用户的购买概率进行预测,建立预测模型,并给出了实验结果分析.提出的模型对企业的客户关系管理具有积极的意义.     

基于框架网页与页面阈值的会话识别算法

会话识别是Web日志预处理过程中的一个重要环节,针对传统会话识别的不足,提出一种改进的会话识别算法.在识别出具体的用户之后,过滤大量的框架网页;然后根据每个页面的内容及网站结构,构造出相对合理的页面访问时间阈值,并以此阈值来进行用户的会话识别.最后通过实验数据,与几种传统的会话识别方法进行了比较,表明该算法更为合理有效.     

基于互关联后继树的Web日志挖掘技术

本文将互关联后继树(Inter-Related Suffix Tree,IRST)模型应用于Web日志事务挖掘,构造Web日志事务集的互关联后继树结构,从中挖掘频繁路径。通过实验证明了基于IRST的Web日志挖掘系统有优秀的性能。     

基于页面聚类的推荐算法的改进

基于页面聚类的推荐算法常被应用在个性化推荐系统中,但是很少考虑页面访问的顺序性.针对这种弊端,提出了一种新的路径相似度系数,同时在推荐算法中运用了关联规则,提高了推荐结果的准确性.     

基于CRISP-DM模型的时序预测Web服务设计与实现

基于CRISP-DM(cross-industry standard process for data mining)模型设计与实现了一个时序预测Web服务,对网站资源的下载需求量进行预测。重点阐述了CRISP-DM模型应用于时序预测任务时的设计思想和实现的关键技术。测试结果表明,该时序预测Web服务具有较高的预测准确率,部署快速,使用方便,对解决同类问题具有一定的示范和参考价值。     

基于模型驱动架构的Web Services应用开发

从Web services的观点看,可以用MDA核心部件UML来精确描述商务信息,并且这种描述方法是与实现技术无关的。本文首先介绍了非形式化模型和形式化模型的不同之处,进而阐释了如何实现从商务信息模型到XML的映射以及从商业服务模型到WSDL的映射。     

基于三元互关联后继树的Web日志挖掘

针对二元的互关联后继树模型进行改进,构造三元互关联后继树,并结合Web日志的特点,构造Web事务集的互关联后继树和增量更新模型,设计基于三元互关联后继树的频繁路径挖掘算法,挖掘Web日志中的频繁路径。通过实验证明了基于三元互关联后继树和改进后的模型的出色插入查询性能。     

一种基于网页元素构件的电子商务网页可视化创建技术

针对电子商务的应用需求，在分析了商务网页特性的基础上，提取网页基本元素和修饰元素设计可以复用的构件，并在某些构件中加入与数据库访问有关的功能；设计了一种用来存入网页格式描述的中间文件－ECM文件；给出由ECM文件生成ASP文件的方法。