一种基于Web文本聚类的用户兴趣发现模型的研究

研究了一种基于Web文本聚类的用户兴趣发现方法．他通过Web文档信息获取，文本的形式表示，以及Web文本聚类方法最终提取用户兴趣知识，并给出了一个设计模型。     

基于海量搜索历史数据的用户兴趣模型

针对互联网搜索引擎环境中,基于海量搜索历史数据分析用户兴趣的问题,提出一种改进的用户兴趣模型。该模型根据用户搜索的历史数据,结合向量空间模型（ VSM ）和TF-IDF算法,递归地回溯出用户兴趣权重列表。为解决用户兴趣变化和时间性能的问题,该模型引入时间遗忘机制进行动态更新,并在Hadoop分布式系统架构下利用MapReduce分布式编程模型进行实现。实验结果表明,改进的用户兴趣模型的查准率和召回率都能达到50',具有较好的可行性和可用性。     

主题搜索引擎中爬虫搜索策略的研究

为了解决传统主题爬虫效率偏低的问题,传统主题爬虫会选择最有价值的链接进行访问,仅简单地计算链接的相关性,却忽视待分析URL之间的相关性关系,致使主题爬虫爬取效率较低。提出一种基于链接模型的相关性判别算法,综合利用有标种子URL和无标的待判别URL实现对无标URL的相关性判别,并推导出迭代初值选取对结果的不敏感性。实验结果表明,与传统的网络爬虫算法相关性判别方法相比,提出的方法效率更高。     

基于受限领域自动问答系统设计

自动问答系统的设计一直是自然语言处理领域的研究热点。尤其是在受限领域,基于问题库的问答系统具有准确、快捷和高效等优点。该文设计了一种融合社交网络技术的基于《计算机网络》课程的自动问答系统,其问答库的构建采用了VSM模型。实验证明,该系统具有较高的准确率,有一定的推广意义。     

基于LDA和word2vec的英文作文跑题检测

针对目前国内的英语作文辅助批阅系统缺少准确而高效的跑题检测算法的问题,提出了一种结合LDA和Word2vec的跑题检测算法。该算法利用LDA模型对文档建模并通过Word2vec对文档训练,利用得到的文档主题和词语之间的语义关系,对文档中各主题及其特征词计算概率加权和,最终通过设定合理阈值筛选出跑题作文。实验中通过改变文档的主题数而得到的不同F值,确定了最佳主题数。实验结果表明所提出的方法比基于向量空间模型的方法更具有效性,可以检测到更多的跑题作文并且准确率较高,F值达到89%以上,实现了作文跑题检测的智能化处理,可以有效地应用在英语作文教学中。     

突发公共事件网络在线评论序列的特征分析*

针对网络评论这种新型文本的特点,给出了一组描述网络评论序列特征的指标,提出了一种基于网络评论倾向性的网络评论序列特征分析方法,并结合实例对网络评论序列的特征、网络新闻与其评论序列的关系,特别是谣言对评论序列的影响进行了分析。     

基于VSM的文本相似度计算的研究*

文本相似度的计算作为其他文本信息处理的基础和关键,其计算准确率和效率直接影响其他文本信息处理的结果。提出改进的DF算法和TDIDF算法,一方面利用了DF算法具有线性的时间复杂度,比较适合大规模文本处理的特点,并通过适当增加关键词的方法,弥补了其对个别有用信息错误过滤的不足;另一方面,利用特征项在特征选择阶段的权重对TDIDF方法进行加权处理,在不增加开销的情况下扩大了文档集的规模,还提高了相似度计算的精确度。     

基于扩展VSM的Web服务发现

在扩展空间向量模型(VSM)的基础上设计并实现了一种Web服务发现机制。该机制结合Web服务语法和结构信息,利用相似度计算实现Web服务的发现。系统通过分析Web服务描述文档结构特点,改进现有的VSM模型,并加入WordNet扩展同义词相似概念,使得语义上等价的词被映射到相似的特征向量上,消除存在歧义的上下文,定义Web服务语法相似度函数,实现Web服务潜在语义信息的进一步挖掘。实验评测和分析表明,基于扩展VSM的方式使Web服务发现的查准率提高了9.7%,错误率降低了8.5%。     

一种基于空间向量模型的主题PageRank算法

该文基于传统的PageRank链接分析原理,分析了PageRank在页面主题内容分析方面的不足之处,结合传统的基于内容的VSM文本分析模型．提出了一种基于向量空间模型的主题算法,并通过实验对改算法的性能进行分析。     

基于链接结构和内容相似度的聚焦爬虫系统

介绍了基于链接结构和内容相似度的主题Web Crawler系统结构,重点介绍了其中的联合网页链接结构和内容相似度来计算网页相关度算法.该算法计算种子网页集到抓取网页的链接数目和抓取网页到种子网页集的链接数目,及Web内容与主题的内容相似度,综合计算该网页的相关度权值,从中选择权威网页或hub网页作为种子网页,从而提高主题爬虫系统的爬行效率和抓取网页的查准率.