基于正则表达式的Web资源采集系统的设计与实现

介绍了Web资源类型和采集策略中的对采集质量有影响的因素。设计实现了一套基于正则表达式的Web资源采集系统,系统具有灵活的可扩展性和可配置性,重点介绍了采集系统结构和采集技术。     

基于嵌入式Web Server的煤矿环境参数远程监控系统的设计

文章介绍了嵌入式Web Server的设计思路、特点和配置过程以及基于嵌入式Web Server的煤矿环境参数远程监控系统的设计,详细介绍了煤矿环境参数远程监控系统的体系结构、软硬件设计和实现过程。该监控系统将嵌入式Web Server作为中间设备,有效地实现了底层环境参数采集网络和Internet的无缝链接,为管理人员通过Web浏览器方便地对煤矿现场环境进行安全监管提供了可能。     

一个个性化的Web信息采集模型

介绍了个性化技术和个性化Web信息的采集技术,重点分析了个性化的Web信息采集模型,包括系统总体结构、用户兴趣的获取、个性化Web信息采集流程、个性化推荐的实现。最后对个性化Web信息采集与搜索引擎作了一个比较,分析了个性化Web信息采集的应用。     

一种通用Web信息采集系统的设计与实现

介绍了一种通用的Web信息采集系统,给出了系统总体结构,分析了信息采集器、采集控制服务器和信息发布服务器,讨论了系统实际的应用。实践证明,该系统能够对Internet信息进行自动采集,并对今后的应用提供充分的支持,具有良好的通用性。     

基于WEB+EXCEL模式实现报表采集系统的敏捷方法

开发一个报表采集应用系统往往周期长、难度大。提出基于Web＋Excel模式快速敏捷地实现报表采集系统的开发与布署。文中介绍了该模式的实现思路和设计方法,并与其他设计模式进行了比较。     

基于Web的定向信息采集系统的设计与实现

互联网的快速发展,导致信息采集技术的不断进步。为解决针对不同Web网站的定向信息采集问题,本文介绍了一种基于Web的定向信息采集系统的实现,经实践证明,该系统具备良好的通用性,采集准确率高。     

基于元搜索引擎的个性化Web信息采集

为了减少传统Web采集系统网络资源的耗费,并增强其个性化支持,结合用户兴趣向量模型,将元搜索引擎技术应用到Web信息采集领域中,设计一个基于元搜索引擎的个性化Web信息采集系统.该系统通过调用成员搜索引擎发现与用户兴趣相关的目标Web站点,通过爬虫程序采集目标站点上的Web页面内容.在发现兴趣站点方面更具有针对性,能有效减少爬虫的数量.重点研究了系统的体系结构、个性化Web采集的工作流程,最后给出了该系统的应用场合.     

基于嵌入式Web服务器的远程实时数据采集

对系统进行网络化监控是嵌入式系统的重要研究发展方向之一。介绍了CGI和Java Applet技术的工作原理,及将GGI和Java Applet技术结合的方法,重点介绍了Applet嵌入代码及如何将Applet采集代码加载到HTML网页中及嵌入式Web服务器上,并通过浏览器远程访问嵌入式Web采集实时数据,解决了因距离影响对监测区数据的获取问题,实现真正意义上的网络化监测。     

基于嵌入式Web服务器的远程实时数据采集

对系统进行网络化监控是嵌入式系统的重要研究发展方向之一.介绍了CGI和Java Applet技术的工作原理, 及将CGI和Java Applet技术结合的方法,重点介绍了Applet嵌入代码及如何将Applet采集代码加载到HTML网页中及嵌入式Web服务器上,并通过浏览器远程访问嵌入式Web采集实时数据,解决了因距离影响对监测区数据的获取问题,实现真正意义上的网络化监测.     

基于Web的网站信息采集系统的设计与实现

互联网的迅速发展,使如何采集和利用Web信息越来越受关注。该文提出了基于Web的信息采集系统的设计方案,并利用.Net技术与数据库技术,实现了对特定网站信息的采集与处理。     

语义网资源采集中选种模块的设计与实现

Falcon-F系统是一个语义网资源采集、索引和检索系统,本文对Falcon-F系统里语义网资源采集过程中的选种工作进行了阐述。首先介绍了语义网资源采集和目前的研究现状,然后重点阐述了语义网资源采集过程里选种的具体设计和实现,以及对相关问题的解决,最后是总结与展望。     

一种基于模拟登录的微博数据采集方案

随着Web 2.0时代的到来,舆情信息在微博上能够更快速的产生和传播。为了有效地分析微博舆情信息,微博数据的获取显得尤为重要。文中以新浪微博为研究对象,提出了基于模拟登录的网络爬虫采集方案。此方案解决了调用微博API接口对开发者的次数限制,解决了传统的网络爬虫需要身份验证的问题,加快了微博数据的采集速度,可以在短时间内获得海量的微博数据。实验表明,用该方案开发的系统具有快速的微博信息采集速度,更加灵活,可以很好地为舆情系统分析提供大量准确的数据支持。     

基于Web的智能信息采集及处理系统设计与实现

互联网信息日益扩展的同时，如何采集和利用Web信息越来越备受关注。该文设计和实现的基于Web的智能信息采集及处理系统，采用高效的URL去重和基于模版的下载机制，提高了采集Web资源的性能；应用自然语言处理技术，对采集信息做智能分类和摘要，在发布上突出个性化的信息服务。与同类系统相比，智能性、实用性都显示出了明显的优势。     

WEB文献资料采集系统

为了能够充分利用WEB上丰富的文献资源,设计了一个专业的WEB文献资料采集系统WLES。该系统集成了网页抓取和网页清洗两方面技术,并且引入机器学习方法到网页清洗中,通过机器对训练语料的学习得到一个清洗模型,然后用该模型来实施网页清洗。实验证明该系统在网页抓取和网页清洗方面都具有优良的性能,能够满足使用者的文献采集需求。     

WTMS: a system for collecting and analyzing topic-specific Web information

With the explosive growth of the World Wide Web, it is becoming increasingly difficult for users to collect and analyze Web pages that are relevant to a particular topic. To address this problem we are developing WTMS, a system for Web topic management. In this paper we explain how the WTMS crawler efficiently collects Web pages for a topic. We also introduce the user interface of the system that integrates several techniques for analyzing the collection. Moreover, we present the various views of the interface that allow navigation through the information space. We highlight several examples to show how the system enables the user to gain useful insights about the collection.     

基于VxWorks的嵌入式远程数据采集系统

数据采集和控制是煤矿综合业务数字网(MISDN)的重要环节。嵌入式远程数据采集系统基于Vxworks实时操作系统，是一种通用型数据采集控制系统，支持TCP/IP协议，配置GoAhead Web Server．可以通过互联网远程浏览和控制。给出了系统设计结构原理，及如何在Vxworks环境下进行多任务程序设计的要点。     

面向数据泄漏的Web沙箱测试方法

数据泄漏是导致Web沙箱逃逸的重要原因,即在未授权情况下,程序可以访问系统的敏感数据。已有的Web应用安全分析方法不完全适用于发现Web沙箱的数据泄漏。设计一种面向数据泄漏的Web沙箱测试方法,在JavaScript对象建模的基础上,首先,采用深度优先的策略遍历浏览器的原生对象,获取程序可直接访问的对象集合;其次,设计敏感点导向的封装对象测试算法,获取程序间接访问的对象集合;再次,设计了多程序数据泄漏的测试算法,获取程序间可能的通信路径;最后,对比测试结果和Web沙箱的规格,以识别Web沙箱的数据泄漏。设计并实现了Web沙箱测试系统(WSTS),同时测试了不同版本的ADsafe沙箱,实验结果显示,所提方法具有良好的数据泄漏发现能力。     

网络化数据采集系统的研究和设计

针对底层设备的日益复杂性以及网络技术在设备层的深入应用,基于OPC标准和Web Services技术,研究并设计了一个标准的网络化数据采集系统。首先提出了系统架构,并对服务器端和客户端的开发作进一步展开,最后给出了实例应用。这是一种新型的数据采集方法,为复杂设备的协同服务以及企业信息的垂直集成提供了技术支撑。