基于XML和Web Service的异构数据集成研究与实现

计算机网络的迅猛发展使企业内部数据交换越来越频繁,然而,系统实现技术及实现时间上的差异造成了在不同的信息系统中存在着大量异构数据.异构数据源的存在给实现不同信息系统间数据互访带来了很大的不便.为了解决异构数据源共享和部署集成平台过于复杂的问题,在充分调研国内外信息集成文献的基础上,基于XML和Web Service技术实现了一个新型的异构数据集成平台.该平台采用XML文件存储元数据,部署时无需新建数据库,实现了轻量级部署;将中介器和包装器发布成Web Service,支持多种集成平台客户端; 该平台能够屏蔽网络、操作系统、各种关系型数据库、XML文件的异构性,支持企业集成历史遗留数据、发布信息,并具有高度灵活性、轻便性和可重用性.     

Web遗留系统的服务包装器环境设计

Web遗留系统的白盒服务迁移需要侵入原有系统修改代码,因此会产生运行风险。针对该问题,设计并实现一种黑盒包装器环境。通过为遗留系统配置包装器,忽略原系统内部的复杂性,并在不改变系统部署和运行状态的情况下,将遗留的Web应用转化为Web服务。应用结果表明,基于外部包装和规则配置的黑盒方法更具可控性。     

基于扩展标记图的Web信息抽取器

介绍了一种新的Web信息抽取器,该抽取器基于扩展标记图模型,实观了数据和模式的分离,应用于Web检索系统中,能够有效地支持标记级实时信息检索、抽取和重组。还介绍了其在Web信息检索系统PowerSearcher中的实际应用。     

基于解释学习的包装器生成

开发Web信息抽取系统的核心是为各个Web信息源构造包装器，而构造包装器的关键在于规则学习器。鉴于传统的规则学习器一般都基于单一的学习策略，结合归纳学习和分析学习的优点，提出了基于解释学习的规则学习器，以此为核心生成包装器，并将其应用到了实际的包装器生成系统中去。     

Web信息抽取中基于页面特性的包装器平衡算法

Web信息抽取引发了大规模的应用。基于包装器的Web信息抽取有两个研究领域:包装器产生和包装器平衡,提出了一种新的包装器自动平衡算法。它基于以下的观察:尽管页面有多种多样的变化方式,但是许多重要的页面特征在新页面都得到了保存,例如文本模式、注释信息和超级链接。新的算法能充分利用这些保存下来的页面特征在变化的页面中定位目标信息,并能自动修复失效的包装器。对实际Web站点信息抽取的实验表明,新的算法能有效地维持包装器的平衡以便更精确地抽取信息。     

多信息块Web页面的信息抽取

提出了一个采用新的抽取规则的包装器 ,结合采用基于文档结构抽取规则和基于特征Pattern匹配抽取规则包装器的优点 ,可以适用于含有多个信息块的Web页面。     

可视化Web设计器

描述了一种可视化Web设计器VWD(Visual Web Designer)的设计思想、体系结构和实现技术, VWD包括5部分: 基于IFDL的界面交互描述语言、模式抽取方法、基于浏览器的界面原型设计器、基于Eclipse插件的可视化Web设计器、编译引擎等. 界面交互描述语言定义了可复用的Web结构, 模式抽取方法给出了模式定义及抽取方式, VWD界面原型设计器加速了应用需求快速确认, Eclipse插件版设计器支持与数据模型服务的对接和调试, 方便协作式前后端分离开发. 应用实例及评估表明, VWD提高了应用开发效率.     

基于模板流程配置的Web信息抽取

针对Web信息抽取中存在的包装器构造复杂及抽取精度等问题,提出并实现了一种基于模板流程配置的Web信息抽取框架。将用户请求、访问和获取Web页面的动作进行分解,抽取其中的动作模式,并映射到流程配置模板中的节点。通过流程解析器对用户创建的流程配置XML描述文档进行解析,抽取感兴趣的信息。试验结果表明,系统可快速、准确地实现抽取。     

多信息块Web页面中的抽取规则

以往的包装器主要针对仅含有一个数据块的Web页面，而对含有多个信息块的Web页面，简称MIB(Multiple Information Block)Web页面无法处理。该文提出了一个新的抽取规则，结合了基于文档结构的抽取规则和基于特征Pattern匹配的抽取规则的优点，能够有效地抽取MIB Web页面中的信息。     

一个Web抓取器的实现

本文介绍一个Web抓取器的实现。Web抓取器能够根据用户输入的URL和一定的约束条件自动地搜索Web上的超文本文档,建立URL索引,根据该索引有选择的下载Web资源,同时保持了原有的链接关系。本文实现了一种Web遍历过程,并根据遍历结果抓取文档,从而完成对指定URL抓取文本。     

基于论坛语料识别中文未登录词的方法

为解决中文分词中未登录词识别效率低的问题,提出了基于论坛语料识别中文未登录词的新方法.利用网络蜘蛛下载论坛网页构建一个语料库,并对该语料库进行周期性的更新以获取具备较强时效性的语料;利用构造出的新统计量MD(由Mutual Information函数和Duplicated Combination Frequency函数构造)对语料库进行分词产生候选词表;最后通过对比候选词表与原始词表发现未登录词,并将识别出的未登陆词扩充到词库中.实验结果表明,该方法可以有效提高未登录词的识别效率.     

LDA模型下不同分词方法对文本分类性能的影响研究*

通过定义类别聚类密度、类别复杂度以及类别清晰度三个指标,从语料库信息度量的角度研究多种代表性的中文分词方法在隐含概率主题模型LDA下对文本分类性能的影响,定量、定性地分析不同分词方法在网页和学术文献等不同类型文本的语料上进行分类的适用性及影响分类性能的原因。结果表明：三项指标可以有效指明分词方法对语料在分类时产生的影响,Ik Analyzer分词法和ICTCLAS分词法分别受类别复杂度和类别聚类密度的影响较大,二元分词法受三个指标的作用相当,使其对于不同语料具有较好的适应性。对于学术文献类型的语料,使用二元分词法时的分类效果较好,F1值均在80%以上;而网页类型的语料对于各种分词法的适应性更强。本文尝试通过对语料进行信息度量而非单纯的实验来选择提高该语料分类性能的最佳分词方法,以期为网页和学术文献等不同类型的文本在基于LDA模型的分类系统中选择合适的中文分词方法提供参考。     

Web藏文文本资源挖掘与利用研究

该文结合链接分析技术和藏文编码识别技术,使用网络爬虫实现对互联网上藏文文本资源的挖掘,分析了Web藏文文本资源的分布情况。统计数据显示,国内藏文网站50%以上在青海省;约87%的藏文网页集中分布在31个大型网站中;人们正在逐步弃用旧有藏文编码,使用Unicode编码来制作网页。利用HTML标记、栏目归属、标点符号等自然标注信息对这些文本进行抽取,可以构建篇章语料和文本分类语料,可以抽取互联网藏文词库,进行词频统计和训练藏文语言模型,结合双语词典和搜索引擎技术抽取双语平行语料。这些语料可用于藏文分词、命名实体识别、信息检索、统计机器翻译等研究领域。     

基于语料库和网络的新词自动识别

汉语自动分词是进行中文信息处理的基础。目前，困扰汉语自动分词的一个主要难题就是新词自动识别，尤其是非专名新词的自动识别。同时，新词自动识别对于汉语词典的编纂也有着极为重要的意义。文中提出了一种新的新词自动识别的方法。这个方法用到了互信息和log-likelihood ratio两个参数的改进形式。主要分三个阶段完成：先从网络上下载丰富的语料，构建语料库；然后采用统计的方法进行多字词识别；最后与已有的词表进行对照，判定新词。     

基于非功能语义的语义Web服务匹配方法研究

目前,语义Web服务匹配方面的研究主要集中在基于服务功能性信息的语义匹配上,但是,充分利用非功能语义信息有助于提高服务匹配的精度。非功能语义信息主要是文本描述,因此,基于非功能语义的服务匹配转化为文本相似度的问题。为了支持中文,本文根据《知网》来计算文本相似度,详细介绍了词语相似度、概念相似度和义原相似度的计算方法,并进行了实验,实验结果显示加入非功能语义虽然查全率有所下降,但查准率有很大的提高,进而证明非功能语义可以提高服务匹配的精度。     

基于词汇链的中文新闻网页关键词抽取方法

词汇链是一种词语间语义关系引起的连贯性的外在表现,提供关于文本结构和主题的重要线索。文中在解决歧义消解问题的基础上提出利用词汇链,结合词频特征、位置特征和集聚特征抽取中文新闻网页关键词的方法。该方法根据词语在文档中语义联系将文档表示成词汇链形式,并在此基础上抽取关键词。对中文新闻网页和学术期刊文献两种语料进行实验,结果表明该方法可明显提高抽取的关键词质量。     

基于平行语料和翻译概率的多语种词对齐方法

为了实现多语种词对齐,该文提出一种以点互信息为基础的翻译概率作为改进的多语种单词关联强度度量方法。首先,论证了在服从Zipf定律的普通频级词区域,单词间关联强度的点互信息度量法可简化为翻译概率;其次,对汉语、英语、朝鲜语平行语料进行句子对齐、分词和去停用词等预处理后计算平行语料单词之间的翻译概率,取翻译概率最高的前k个词作为候选翻译词,并通过优化处理提高了词对齐准确率。实验结果表明,该方法可以不完全依赖语料规模,在小规模语料中取得94%以上的准确率,为跨语言小众文献及低资源语言词对齐提供了技术基础。     

一种面向中文敏感网页识别的文本分类方法

提出了一种面向中文敏感网页识别的文本分类方法,主要包括中文分词、停用词表的建立、特征选择、分类器等4个部分.为丰富中文分词词库,提出了一种以词频统计为主、以人工判决为辅并标注词性的新词识别算法;提出了一种停用词表的建立算法,据此建立了含300个停用词的停用词表;采用开方拟合检验统计量方法作为特征选择方法,并确定了400...     

基于Transformer网络的中文单字词检错方法研究

错别字自动识别是自然语言处理中一项重要的研究任务,在搜索引擎、自动问答等应用中具有重要价值.尽管传统方法在识别文本中多字词错误方面的准确率较高,但由于中文单字词错误具有特殊性,传统方法对中文单字词检错准确率较低.该文提出了一种基于Transformer网络的中文单字词检错方法.首先,该文通过充分利用汉字混淆集和Web网...     

基于统计分词的中文网页分类

本文将基于统计的二元分词方法应用于中文网页分类,实现了在事先没有词表的情况下通过统计构造二字词词表,从而根据网页中的文本进行分词,进而进行网页的分类。因特网上不同类型和来源的文本内容用词风格和类型存在相当的差别,新词不断出现,而且易于获得大量的同类型文本作为训练语料。这些都为实现统计分词提供了条件。本文通过试验测试了统计分词构造二字词表用于中文网页分类的效果。试验表明,在统计阈值选择合适的时候,通过构建的词表进行分词进而进行网页分类,能有效地提高网页分类的分类精度。此外,本文还分析了单字和分词对于文本分类的不同影响及其原因。