基于Rough集潜在语义索引的Web文档分类

Rough集(粗糙集)埋论是一种处理不确定或模糊知识的数学工具。提出了一种基于Rough集理论的潜在语义索引的Web文档分类方法。首先应用向量空间模型表示Web文档信息，然后通过矩阵的奇异值分解来进行信息过滤和潜在语义索引；运用属性约简算法生成分类规则，最后利用多知识库进行文档分类。通过试验比较，该方法具有较好的分类效果。     

基于LSA的Web信息采集和统计服务

在网络信息时代,传统的统计预测方法已经不完全适用,而对特定领域的信息采集和统计的需求日趋明显,使有效定向采集和统计特定领域信息并得到其相应的预测结果成为一个日益重要的研究方向。该文通过运用汉语分词、潜在语义分析和语义匹配等技术,构造了用户兴趣模型,并同时使用了面向服务的体系结构来设计该Web信息采集统计服务,通过具体的实验验证了对Web信息结构分析和未知信息相关性预测来控制信息采集统计的效果。     

基于兴趣模型的WEB信息预测采集过滤方法

Web网上海量信息急速膨胀使得有效定向采集相关信息检索成为网上信息查询一个日益重要的研究方向。该文提出一种基于用户兴趣模型的Web文本信息预测采集过滤方法。这种方法根据正反集文本过滤方法,设计出一种用户兴趣模型,并在对Web站点结构进行分析的基础上,通过对网页的相关度的预测来控制信息的采集。在保持定向采集精度的同时,缩短采集时间、减少存储、加快检索,节约了网络资源。     

XBASE:一个语义文档数据库系统

XBASE语义文档数据库系统是一种基于语义信息的文档数据库原型系统，该系统利用文档外部描述信息和文档内部特征等语义信息，可以对结构化文档、半结构化文档以及无结构文档等多种类型的文档进行有效存储、索引和查询，同时该系统还提供了一个可视化的多维交互浏览器，便于对数据库中文档进行高效浏览．     

潜在语义索引中特征优化技术的研究

潜在语义索引被广泛应用于信息检索、文本分类、自动问答等领域中。潜在语义索引是一种降维方法,它把共现特征映射到同一维空间上,而非共现特征映射到不同的空间上。在潜在语义索引的语义空间中,共现特征通过文档内部以及文档之间的特征传递关系获得。该文认为这种特征传递关系会引入一些不存在的共现特征,从而降低潜在语义索引的性能,应该对这种特征传递关系进行一些选择,削除不存在的共现特征信息。该文采用文档频率对文档集合进行特征选择,用Complete-Link聚类算法在两个公开语料上进行三个实验,实验结果显示,保留文档频度的10%～15%时,其F1值分别提高了6.577 0%,1.992 8%和3.361 4%。     

基于本体知识库的自动语义标注*

为了产生语义Web中的元数据,需要提取Web文档中的语义信息。面对海量的Web文档,自动语义标注相对人工和半自动的语义标注是可行的方法。提出的基于本体知识库的自动语义标注方法,旨在提高标注的质量。为识别出文档中的候选命名实体,设计了语义词典的逻辑结构,论述了以实体之间语义关联路径计算语义距离的方法。语义标注中的复杂问题是语义消歧,提出了基于最短路径的语义消歧方法和基于n-gram的语义消歧方法。采用这种方法对文档进行语义标注,将标注结果持久化为语义索引,为实现语义信息检索提供基础。针对构建的测试数据集,进行的标注实验表明该方法能够依据本体知识库,有效地对Web文档进行自动语义标注。     

WMS:面向领域的Web信息挖掘系统

研究并实现了一个面向领域的Web挖掘系统WMS，能有效地帮助用户挖掘Web上的信息和知识，用户可以通过提交Web页面、文本文档、URLs或关键词，向系统表达自己希望获得的信息主题，系统自动学习用户对特定领域的兴趣．并依据用户对系统采集文档的反馈评估，不断自适应地调整用户兴趣模型．WMS依据用户兴趣模型，利用智能Agents，对用户感兴趣的有关信息进行搜索和过滤，并对主要相关Web站点的信息更新进行监测，利用人工神经网络和智能Agents技术，WMS对所积累的文档库进行信息和知识挖掘，并自动将新信息推荐给用户．     

基于语义的Web信息检索系统的研究

提出了对含有自由文本和丰富语义标记的网络文档资源的一种检索方法.通过对现有的三种语义检索系统原型的分析,提出了一个改进后的实现框架,在此框架中文档资源和查询都可用Web本体语言描述.这些描述提供了关于文档和其内容结构化或半结构化的信息.当这些文档被索引后执行语义查询时或者查询结果处理时,它可以对这些信息进行语义推理,从而将极大地提高检索效果.     

基于DOM的网页主题信息自动提取

Web页面所表达的主要信息通常隐藏在大量无关的结构和文字中，使用户不能迅速获取主题信息，限制了Web的可用性，信息提取有助于解决这一问题．基于DOM规范，针对HTML的半结构化特征和缺乏语义描述的不足，提出含有语义信息的STU-DOM树模型．将HTML文档转换为STU-DOM树，并对其进行基于结构的过滤和基于语义的剪枝，能够准确地提取出主题信息．方法不依赖于信息源，而且不改变源网页的结构和内容，是一种自动、可靠和通用的方法．具有可观的应用价值，可应用于PAD和手机上的web浏览以及信息检索系统．     

基于LSI和SVM分类法的定题邮件过滤研究

潜在语义索引(LSI)是一种有效的信息查询方法,同时也被成功地应用到了文本分类中。LSI能解决同义和多义的问题,通过降低原始文档-术语矩阵的噪声来凸现出词条和文档之间的语义关系。为了识别和过滤有害的、不期望的定题的信息或Email,在双语言环境下(包括中文和英文),提出了一个基于改进的LSI方法的定题邮件类信息过滤系统,该系统采用潜在语义模型来表示被过滤的信息类,通过奇异值分解和正例监护学习方法,选择支持向量机(SVM)来识别和分类预定义的定题信息。实验结果表明:基于LSI的特征选择的SVM分类算法是一种更有效的信息识别和文本分类方法,不但具有较好的分类性能,同时也能大大减小计算的复杂性。     

基于潜在语义的双视图Web社区集成算法

为得到更好的Web社区划分,运用LSI方法,对Web页面的内容和结构信息分别进行基于潜在语义的社区挖掘,并对产生的社区进行集成。实验结果表明,Web双视图集成算法能够加强语义,使较小的社区划分被弱化,与单一的基于结构链接或内容的社区挖掘算法相比,具有更高的准确性。在信息检索的应用中发现,运用该算法检索特指性不强的关键词时,搜索效果有较明显改善。     

Web Discovery and Filtering Based on Textual Relevance Feedback Learning

We develop a new approach for Web information discovery and filtering. Our system, called WID, allows the user to specify long-term information needs by means of various topic profile specifications. An entire example page or an index page can be accepted as input for the discovery. It makes use of a simulated annealing algorithm to automatically explore new Web pages. Simulated annealing algorithms possess some favorable properties to fulfill the discovery objectives. Information retrieval techniques are adopted to evaluate the content-based relevance of each page being explored. The hyperlink information, in addition to the textual context, is considered in the relevance score evaluation of a Web page. WID allows users to provide three forms of the relevance feedback model, namely, the positive page feedback, the negative page feedback, and the positive keyword feedback. The system is domain independent and does not rely on any prior knowledge or information about the Web content. Extensive experiments have been conducted to demonstrate the effectiveness of the discovery performance achieved by WID.     

基于语义的中文网页检索

用户期望搜索引擎能提供基于语义的网页信息检索。基于本体、基于自然语言理解、基于文本统计分析的方法是实现中文网页语义检索的主要途径。分析了它们的实现方法、技术挑战和优、缺点;建议中文网页语义检索系统的开发应选择与普通用户联系紧密的应用领域,并以汉语词汇为索引单元,适量地采用中文信息处理技术。基于语义的中文网页检索应在以下方面加强研究:语义相关性评价方法、本体构建和实体抽取算法、基于语义的索引、大规模语义标注样本集开发等。     

基于词关联度的语义相关度算法研究

如今网页排名算法很多,基本上可以分为两类:基于超链接和基于内容。比较成熟的算法主要有PageRank、HITS、LSI等。本文基于向量空间模型以及信息论,提出一个与文章内容相关的语义相关度算法模型。该模型将文章语义抽象为词频表,并通过机器学习构建词语之间的关联度表,以此词关联度为基础,计算文章之间的相关度。实验结果表明,文中提出的相关度算法可以有效的根据文章之间语义相关度大小来进行排名。     

基于Web日志的煤矿企业网站个性化推荐服务研究

为了解决煤矿企业网站用户查找信息难的问题,提出了一种基于Web日志的煤矿企业网站个性化推荐服务模型。该模型应用关联规则对新用户进行页面推荐,应用聚类算法对老用户进行页面推荐;并结合点击网页的次数、网页的浏览时间、雅可系数与最长公共路径系数来度量用户兴趣度的方法,可为用户准确地推荐其感兴趣的页面。测试结果表明,该模型能够有效地对网页资源进行分类并进行个性化推荐。     

基于快速构建模板的购物信息抽取方法

针对由模板生成的购物信息网页,且根据其网页信息量大,网页结构复杂的特点,提出了一种不使用复杂的学习规则,而将购物信息从模板网页中抽取出来的方法。研究内容包括定义网页模板和网页的信息抽取模板,设计用于快速构建模板的模板语言,并提出一种基于模板语言抽取内容的模型。实验结果表明,在标准的450个网页的测试集下,所提方法的召回率相比抽取问题算法(EXALG)提高了12%;在250个网页的测试集下,召回率相比基于视觉信息和标签结构的包装器生成器(ViNTs)方法和增加自动信息抽取和视觉感知(ViPER)方法分别提升了7.4%,0.2%;准确率相比ViNTs方法和ViPER方法分别提升了5.2%,0.2%。基于快速构建模板的信息抽取方法的召回率和准确率都有很大提升,使得购物信息检索和购物比价系统中的网页分析的准确性和信息召回率得到很大的改进。     

基于正文特征及网页结构的主题网页信息抽取

Web正文信息抽取是信息检索、文本挖掘等Web信息处理工作的基础。在统计分析了主题网页的正文特征及结构特征的基础上,提出了一种结合网页正文信息特征及HTML标签特点的主题网页正文信息抽取方法。在将Web页面解析成DOM树的基础上,根据页面DOM树结构获取正文信息块,分析正文信息块块内噪音信息的特点,去除块内噪音信息。实验证明,这种方法具有很好的准确率及召回率。     

Large-scale information retrieval with latent semantic indexing

As the amount of electronic information increases, traditional lexical (or Boolean) information retrieval techniques will become less useful. Large, heterogeneous collections will be difficult to search since the sheer volume of unranked documents returned in response to a query will overwhelm the user. Vector-space approaches to information retrieval, on the other hand, allow the user to search for concepts rather than specific words, and rank the results of the search according to their relative similarity to the query. One vector-space approach, Latent Semantic Indexing (LSI), has achieved up to 30% better retrieval performance than lexical searching techniques by employing a reduced-rank model of the term-document space. However, the original implementation of LSI lacked the execution efficiency required to make LSI useful for large data sets. A new implementation of LSI, LSI++, seeks to make LSI efficient, extensible, portable, and maintainable. The LSI++ Application Programming Interface (API) allows applications to immediately use LSI without knowing the implementation details of the underlying system. LSI++ supports both serial and distributed searching of large data sets, providing the same programming interface regardless of the implementation actually executing. In addition, a World Wide Web interface was created to allow simple, intuitive searching of document collections using LSI++. Timing results indicate that the serial implementation of LSI++ searches up to six times faster than the original implementation of LSI, while the parallel implementation searches nearly 180 times faster on large document collections.