分布式I/O日志回放系统的设计与实现

随着存储系统的快速发展,需要对不同存储系统的性能进行评测,以I/O日志为基础在实际应用环境中测试存储系统性能,更为客观和准确。提出了一种分布式环境下日志回放系统,通过中央控制器,能够方便地控制多个节点,同时对分布式存储系统进行性能测试,并对该系统的设计和实现过程进行了详细述。     

分布式防火墙中日志系统的设计与实现

结合分布式防火墙及其日志服务器模型,分析了日志系统的特点,并在此基础上给出了其功能模块与设计要点。     

基于OpenTracing分布式日志跟踪设计与实现

分析中小企业在面临日常分布式系统运维过程中,遇到的维保难和成本高的痛点。基于分布式系统跟踪规范OpenTracing,提出了轻量级的分布式系统日志跟踪设计方案。并根据Spring框架代码开发出设计方案,分别对方案的核心代码逻辑、单元测试、集成测试、性能测试进行详细介绍与分析,证实方案在分布式系统的生产环境的可行性。业界APM产品并非企业的唯一选择,还可以自定义实现低成本低侵入轻量级的分布式跟踪。此方案可支撑中小企IT运维人员快速精准定位分布式系统的异常。     

分布式Internet信息收集系统的设计与实现

Ｉｎｔｅｒｎｅｔ信息收集系统是搜索引擎的信息来源,它决定了搜索引擎的内容是否丰富,更新是否及时。文章提出了一种分布式并行信息收集系统,分析了它相对于传统集中式搜索的优越性,并描述了它的体系结构和实现方法。     

Web日志统计分析系统的设计与实现

Web服务器使用日志记录了Web服务器接收处理请求以及运行时所出现的错误等各种原始信息。通过对该日志的分析和统计。就能有效地掌握服务器的运行状况,发现网站中存在的问题与不足。本文在对MS IIS日志文件格式分析的基础上．详细地介绍在．NET Framework环境中使用C#快速开发MS IIS Web使用日志统计分析系统的相关技术问题。     

综合安全管理平台中日志格式化系统的设计与实现

为了提高日志格式化系统的执行效率以及解决无法解析日志时便丢弃日志的问题,提出了一种日志格式化方案。通过将设备、传输通道和插件三者绑定,避免了格式化过程中的查找判断过程。通过引入自动更新模块,使系统在无法解析日志时可以从插件库自动下载插件来完成格式化过程。最终的测试结果表明了该方案的可行性。     

基于Filebeat自动收集Kubernetes日志的分析系统

Docker容器产生的日志分散在不同的相互隔离的容器中,并且容器具有即用即销的特点,传统的解决方式是将日志文件挂载到宿主机上,但是容器经常会漂移,给日志的统一查看带来挑战,并且传统的Docker容器集群日志分析系统存在扩展性弱、效率低下等问题.本文采用Kubernetes实现容器管理、服务发现及调度,使用Filebeat采集容器及宿主机上的日志文件,并使用Redis作为缓存,Logstash转发,使用主流的开源日志收集系统ELK实现日志的存储、查看、检索.该系统具有可靠性、可扩展性等特点,提高运维人员的工作效率.     

基于Chukwa的大规模日志智能监测收集方法

针对传统分布式计算模型和日志监控收集在编程实现上的困难、实际应用扩展性低和数据处理阶段耦合度高的问题,提出基于Chukwa的大规模日志智能监测和收集方法.在利用MapReduce并行计算模型以提高日志采集效率的基础上,提出数据监测收集阶段的细分方法和解耦过程,弥补MapReduce只能处理大文件数据的缺陷,进一步提高日志处理的灵活性和扩展性.该方法主要包括日志监测、日志收集、数据转存、数据应用几个步骤.实验验证了该方法能提高日志监测采集的效率,具备良好的实际使用价值.     

日志系统的设计与实现

对企业时间管理方法进行研究和探讨,设计并实现日志系统,是信息化工具应用于企业时间管理的一次实践研究。     

基于多代理技术的分布式Web日志挖掘系统

在分析分布式Web日志挖掘的困难以及介绍多代理的概念和特性后，提出了一个基于多代理技术的分布式Web日志挖掘系统的体系结构。介绍了Web日志挖掘过程以及多代理在该系统中的应用。     

增强的Netflow数据采集系统设计与实现

基于端口号进行网络流量分析的Netflow技术无法准确地回答网络流分别由哪些应用协议组成及其比例等问题,也不能提供web用户行为数据来反映用户对大多数网站的访问情况。为改进上述缺陷,提出一种增强的Netflow数据采集系统。结合flow和深度包检测技术进行精确的应用协议识别,对web用户行为数据进行采集与动态存储,为网络流量监测与分析提供全面的数据支撑,设计并实现该系统,验证了其有效性和可行性。     

分布式网络机器人的设计与实现

为了改善网络机器人的爬行性能以及提高系统体系结构的通用性,提出了基于Web Service的新型分布式网络机器人体系架构.分析了分布式网络机器人软件中的关键数据操作,并将这些功能封装在Web Service中,基于Web向网络机器人客户结点提供统一的数据服务,降低了网络机器人爬行客户端对网络环境的依赖性.设计了分布式爬行所需的均衡负载、URL队列操纵和网页消重等算法,实现了分布式网络机器人软件原型.实验结果表明,该原型的性能明显优于单机模式下的网络爬行,且网页消重、均衡负载算法是可行的.     

基于GPRS远程数据采集系统的设计与实现

分析了GPRs技术在远程数据采集系统中的应用现状，提出了基于GPRs的远程数据采集系统的新方案，该方案利用GPRS的Interment接入功能，硬件系统CPU选用MSP430F149单片机，GPRS模块选用PIML-900／1800，重点解决了数据传输的实时性与可靠性问题，构建了通信实时性强、可靠性高的应用系统，应用结果表明该方案的有效性。     

分布式蜜罐系统的设计与实现

针对目前的网络安全形势和攻击行为,诸如防火墙等被动防御的工具已经不能满足人们对网络安全服务的需求.蜜罐是一种主动防御的工具,利用蜜罐容易被入侵者攻击的特点以及被入侵的信息来准确的对网络安全行为进行分析,从而设计适当的防御方案,是一种很有效的网络安全手段.在设置蜜罐的基础上提出一种分布式蜜罐技术,针对不同的系统建立不同平台的蜜罐,从而形成一个交互的体系,全面反馈网络真实信息,可以有效降低系统的误报率和漏报率.     

基于Internet分布式考试系统的设计与实现

针对早期的基于C／S结构或简单B／S结构的网络考试系统已经满足不了实际应用需求,研究开发了一套能适应大型网络考试需求的分布式B／S结构的通用网络考试系统,提出了基于3级管理架构的考试系统方案。从网络架构、总体功能、业务流程和安全4个方面进行了设计,并用JSP和SQL数据库技术实现了基于的Internet分布式考试系统。     

基于Zig Bee和ARM的分布式RFID信息采集系统的设计

针对传统有线射频识别( RFID)技术信息采集系统存在布线成本昂贵、节点众多时连线复杂、读写器需要预先部署且灵活性差、无法在移动载体上读取等问题,提出采用Zig Bee和ARM处理平台构建分布式RFID信息采集系统.在建立ARM最小系统基础上,结合UART,USB和LCD等外围设备构成嵌入式RFID信息处理平台,并针对...     

基于OPC的第三方设备数据采集系统的设计与实现

在当前工业控制系统中,DCS系统与第三方设备进行通信时,必须开发对应的设备驱动程序;当DCS系统升级时,设备驱动也必须进行相应升级,从而增加了升级和维护成本。为此,提出了基于OPC的第三方设备数据采集系统(COMMOPC系统)。该系统由主框架和I/O驱动组成,I/0驱动为主框架提供统一的通信调用接口,主框架部分通过接口的调用来实现对设备I/0的统一管理、调度和通信信息的集中监视,并提供通用OPC Server接口,使上层应用系统通过OPC Client可实时地访问现场设备,解决了设备驱动程序与DCS系统必须一一对应的问题。     

分布式系统中局部处理机的设计与实现

针对企业生产过程中存在大量原始数据需要实时处理的问题,设计并实现了一个基于自定义架构的局部处理机.在设计之初以Hadoop的并行架构为参考,对MapReduce的工作原理和缓存方式进行了分析,在此基础上根据实际生产环境设计了一个"多类线程协同处理"的程序架构,并辅以两类自定义的数据缓存方式,保证了分布式系统中的局部处理机在接收、计算、上传各环节的并发性和正确性.该系统投入实际生产并连续使用一年有余,实现了将企业多个车间生成的原始数据进行实时处理的预期目标,具有很好的稳定性、有效性和可扩展性.实际应用结果表明,自定义的程序架构和有效的缓存方式能实现大量数据的同步处理及分析.     

分布式计算机应用水平考试系统的设计与实现

传统的基于“集中式”的计算机应用水平考试系统存在诸多弊端，如过分依赖中心服务器、造成服务器的负载过大以及系统的扩展性和安全性差，同时，传统的集中控制模式使得系统的维护变得复杂和困难，介绍了分布式计算机应用水平考试系统的软件结构，描述了系统实现过程中的主要技术，对基于网络的考试系统的安全性，主观题阅卷系统的智能化设计进行了详细论述。