一个基于XML的WEB数据收集模型的研究

目前研究的热门领域Web数据挖掘是从WWW资源上抽取信息(或知识)的过程,是对Web资源中蕴含的、未知的、有潜在应用价值模式的提取。其一般的过程可表示为:信息的发现、信息的选择和预处理、分析过程、产生结果犤1犦。WEB上的数据收集是对WEB数据挖掘的一种支持技术,是WEB数据挖掘的第一步。该文提出了一种基于XML技术的WEB数据收集模型,并实现了其中的一些主要功能。同时针对模型系统的不足做了一些有意义的改进探索。     

基于XML的WEB数据收集的一种应用

Web是一个动态性极强的信息源,访问、分析这些数据必须要研究异构数据的集成问题和选择合适的技术进行数据分析、集成和处理。介绍一种方法充分利用XML的优点对HTML描述的网站信息进行收集,结合一种实际应用说明了这个方法的实现过程。     

数据收集与分发系统常见故障分析

数据收集与分发系统是宁夏与国家气象局资料的交互中枢,是气象信息中心重点保障的业务系统.介绍了数据收集与分发系统和系统的日常维护,并根据长期维护经验提出了可能原因及处理方法.     

基于XML异构数据访问中间件的设计与实现

提出了一个基于XML的异构数据访问中间件模型,给出了该模型的体系结构并对各部分功能做了定义。详细介绍了模型中XML模板与包装器的设计和实现。     

基于XML的高校异构数据集成系统的设计与实现

在比较当前各种异构数据集成技术的基础上．对某高校信息化建设中各部门数据之间缺乏共享问题进行了分析并提出新的需求。采用XML与中间件技术设计并实现一个具有良好独立性和可扩充性的性异构数据集成系统．有效解决了某高校信息化建设中的异构数据集成问题,提高了不同部门之间协同工作的效率。     

探索基于DDS模型的数据分发中间件

介绍了对象管理组织发布的数据分发服务(DDS)新规范,描述了DDS规范两个层次的接口DCPS和DLRL,阐述了DDS数据分发的基本思想,分析了QoS策略及其特征,探讨了DDS适用的场合和未来的发展。     

面向压缩XML文档的数据快速过滤与片断分发方法

X地数据的过滤和分发是X地应用领域的研究热点之一。为了提高X地文档的传输效率,有必要进行压缩。本文提出一种应用于压缩X地文档的过滤和片断分发方法。实验表明,这种方法既保持了压缩文档的传输效率优势,又滤摔了非查询目标数据,提高了分发中心的匹配／分发处理效率。     

基于DDS模型的数据分发中间件的设计与实现

对OMG颁布的以数据为中心的数据分发服务规范模型进行了深入的研究,根据该规范提出的数据分发服务模型,设计并实现了一个高效,实时的数据分发中间件系统,以发布/订阅模式降低数据分发各节点之间的时空耦合,提供灵活的数据传输Qos控制策略,并提出数据质量和优先级的概念,提高分发系统的实时能力.     

基于XML的信息集成系统的分析与设计

本文分析了现有的数据集成方式和XML在数据集成中的优势,提出了一种基于XML和中间件技术的集成系统框架,其中包括用户层、数据转换层和异构数据层3个层次,并给出了核心内容中间件的设计。     

基于XML中间件的企业异构数据整合系统的实现

以某大型钢铁公司经销网络系统为对象,针对其中异构数据的分布情况和存在的问题,在分析了基于XML的中间件技术在数据共享与交互上所具优点的基础上,设计并实现了基于XML中间件的异构数据整合系统(XML Middleware based Heterogeneous Data Harmonization System,简称XMHDHS)。文章详细阐述了系统实现的关键技术。     

一种基于实时数据采集系统的数据处理方法

给出了实时数据采集系统的一种数据存储格式 ,并讨论了基于此格式的一般数据处理方法     

基于数据价值的无人机数据收集方法

数据收集是无线监测网络的关键环节.利用无人机进行数据收集,其本质是通过无人机的移动代替网络中的转发节点,减少数据从源节点到基站的转发次数,有效节约监测网络能量,从而成为未来发展的趋势.现有研究关注如何利用无人机有限的能量获得更多的数据,缺乏对获取数据的价值评估,从而导致无人机数据收集能效比不高.如何利用无人机最少的能量付出在监测区域获取最大的数据价值,其难点在于数据价值是针对不同应用的主观评价,而不同节点获取的数据价值如何比较,目前缺乏统一的标准.我们发现,数据相似节点的数据价值存在相似性.在此基础上,我们提出了一种数据收集方法OnValueGet,利用关键性代表节点的数据,最大程度的近似代表整个监测区域的数据,从而在能量约束下获得最大数据价值.其核心思想在于：从分析感知数据的时空相似性入手,确定数据价值较高的感知节点,本文称为数据关键节点,在应用的误差范围内,它们采集的数据可以近似表示全部网络感知节点采集的数据.无人机以数据关键节点为数据采集的核心目标,在能量有限的情况下,根据遇到的障碍物和节点感知到数据的异常与否,动态的规划数据收集路线,从而使收集到的数据具有最大价值,显著提升数据收集的能效比.     

基于XML和组件技术的复杂数据采集方法

介绍了一种基于XML和组件的数据采集方法,通过该方法可以将结构复杂的数据信息及其结构用XML文档来表示,从而将与数据相关的语义信息一起收集起来,并通过组件的包装和分析使这些数据可以被方便的利用。通过评估数据的收集问题举例说明了该方法的用法和优点。     

一种基于模拟登录的微博数据采集方案

随着Web 2.0时代的到来,舆情信息在微博上能够更快速的产生和传播。为了有效地分析微博舆情信息,微博数据的获取显得尤为重要。文中以新浪微博为研究对象,提出了基于模拟登录的网络爬虫采集方案。此方案解决了调用微博API接口对开发者的次数限制,解决了传统的网络爬虫需要身份验证的问题,加快了微博数据的采集速度,可以在短时间内获得海量的微博数据。实验表明,用该方案开发的系统具有快速的微博信息采集速度,更加灵活,可以很好地为舆情系统分析提供大量准确的数据支持。     

一种基于XML和Base64编码的数据资源统一存储方法①

随着信息技术的广泛应用,组织内积累的各种信息资源也日益增加,如何对这些不同格式的数据资源进行统一管理和有效利用就是我们需要面对的问题．提出一种基于XML、数据库和BASE64编码技术的各种数据资源统一存储的方案,实现组织内各种数据资源的统一管理、查询和共享。     

一种基于实时数据采集的知识获取与学习方法

给出了故障诊断专家系统利用实时数据采集技术获取知识的硬件设计方案和数据处理方法，并描述了建立故障特征集合的具体情况。     

基于XML的卫星数据迁移方案的研究

在遥感卫星目录系统的信息化建设过程中，随着技术的发展，原有的目录系统将被功能更强大的新系统所取代。在新旧系统的切换过程中。必然要面临一个数据迁移的问题。本针对实际工作中面临的问题，结合XML语言的特点，提出一种新的基于XML的数据迁移的解决方案。     

一种基于XML的任务驱动型数据传输与同步方法

出于信息安全和业务需要,人们在彼此逻辑或物理隔离的局域网环境中浏览和处理信息,但是又不想丧失网络互联带来的便利和强大的信息处理能力。通过数据传输与同步机制,模拟广域网环境、避免信息孤岛是一种现实可行的选择。给出了一种基于XML的任务驱动的数据传输与同步方法,通过分析数据传输场景,设定了基于XML的任务数据模板和任务结果数据模板,借助于具体的信息化系统,基于相应的模板,自动生成任务数据包及任务数据结果包,以数据光盘进行信息传输,通过数据寻址、定位及导入操作实现了数据同步功能。通过该数据通路,实现了各级彼此独立的信息系统的互联,用户犹如在一个互联的广域网环境中进行数据处理。该方法大大提升了信息系统的安全性,降低了铺设或租用线路的成本,解决了各级网络之间不连通导致的信息壁垒,更符合现阶段特殊行业使用网络环境的要求。     

一种基于XML的非结构化数据转换方法

XML作为半结构化的语言,因其能预先定义标记等优势被普遍应用于非结构化到结构化信息的转换中。利用POI技术把网络上繁杂的非结构化数据转化为XML半结构化数据,把半结构化数据转化为结构化数据,使用户能够简便地查询所需信息。通过实验对SAX,DOM的解析效率进行了对比,实验表明解析相同大小的XML文件,SAX比DOM效率更高,而且此种差距会随着XML文件的增大而逐渐增大。     

基于XBW变换的XML数据压缩查询方法

XML数据格式虽然具有易于创建和解析的特点,但数据格式过于冗长,难以实现具体的查询。该文引入XBW变换,将XML数据压缩成3个线性序列,使XML数据的查询处理从树形结构转移到这3个序列上。基于XBW变换导航、子路径查询和内容查询,采用Rank&;Select方法来实现查询。实验结果表明,在压缩率和压缩时间方面,XBWZIP的性能接近或者超过一些支持查询的XML压缩方法和一些通用压缩方法。