大规模查询日志分析模型构建机制

日志分析在用户搜索方面具有重要的意义,但是现代日志分析系统中具有多方面的问题,比如离线处理模式的处理时间较长,大量的数据没有办法进行处理.实现日志数据的分级归档,能够优化处理大数据.基于此,本文就提出了以Hadoop为基础的大数据日志分析模型,并且对其中的业务处理流程和功能架构实现全面的分析.实验结果表示,本文设计的大规模查询日志分析模型具有较强的扩展性、良好的数据处理能力,并且还具有有效性及可行性.     

基于hadoop的大规模查询日志分析模型设计

日志分析对于在用户搜索领域有着很重要的意义,目前的日志分析系统有着不少弊端,比如：海量数据无法处理、离线处理模式、处理时延长等。对日志数据采用分级归档,可以实现大数据的分级优化处理。本文通过提出在一种基于Hadoop的大数据日志分析模型,并对其业务处理流程以及功能架构进行深入分析,实验结果反映出该系统扩展性强、海量数据处理能力卓越、满足在线处理等,具有良好的可行性和有效性。     

流程工业生产操作管理中日志组态的设计

针对流程工业,一般不同角色的人员使用的操作日志模板不一样,如果角色很多,就会产生需要定义多个操作日志模板的问题.提供的一种日志组态的设计和实现方法,通过定义日志片段来动态生成日志模板,可以很灵活的展现日志.     

基于微服务架构的日志系统

由于软件系统的规模日趋扩大和由此带来的复杂性,会产生大量的日志信息,这些日志需要存储以备查询和分析,而传统的关系数据库对日志存储、查询、分析的能力有限,因此,需要考虑一种大容量复杂场景的日志解决方案。本文介绍了一种基于微服务化架构的日志系统,在日志的收集、处理、存储、展示各个流程都使用微服务方式部署,支持动态扩容缩容、支持大规模日志的处理和存储,满足了复杂使用场景的日志需求。     

基于IPFIX的网络流量日志系统

针对高速网络海量数据采集、存储和管理问题,分析了传统IPFIX流量日志系统在高速网络中的性能问题,提出了基于IPFIX协议的用户网络流量日志系统体系结构的优化设计,改进了数据聚类和存储算法,包括二元归并方式采集数据以及多层结构的散列算法存储数据。经校园网部署应用证明,可提供万兆链路下用户网络日志详单及准确上网流量计量值。     

基于日志内容的Web系统评价

近年来随着计算机网络技术的迅猛发展,Web系统的应用渗入到社会的各个领域,在Web系统规模不断扩大的同时其复杂性也变得越来越高.由于Web应用系统具有异构、分布、并发和平台无关的特点.因此,对Web应用系统的软件质量管理,具有其特殊性.提出了一个针对Web应用系统质量评估的新方法,该方法利用Web系统日志文件中提取吞吐量和并发用户数目等相关信息,通过对这些信息的研究、分析、处理,得出对该Web应用系统的质量评价.     

基于FP-Growth算法的安全日志分析系统

传统日志分析存在单一事件分析不全面的问题,难以检测出新型攻击事件。针对这种情况,文中提出一种基于FP-Growth算法的安全日志分析系统,以电子政务平台产生的Web日志为主要研究对象,对日志进行了挖掘过滤分析,统计分析结果通过图表、报表等直观的方式呈现。实验结果表明,该系统能有效地发现潜在的Web安全隐患,为平台的稳定运行和后期优化提供指导。     

基于正则表达式的日志解析系统构建研究

针对日志格式异构造成的日志解析局限性问题,文章介绍了一种基于正则表达式日志数据分组提取的方法,采用日志格式描述与日志内容解析相分离的策略,使用XML语言编写日志格式描述和日志数据项说明的脚本文档,该脚本文档与日志类别相对应,与具体的解析程序分离,提高了日志解析系统的灵活性和扩展性。     

面向语义的日志系统构架设计

现有日志系统存在结构混乱、格式不统一、信息量随机和内容无法为计算机所理解并自动处理等缺陷。为克服这些缺陷，文章根据本体论和语义Web的思想，为日志系统引入语义。文章讨论了语义日志系统主要的设计思想，基于语义日志实现应用的环境感知和松耦合通信，语义日志事件查询和因果分析等应用问题，结合Linux内核给出了一个本体描述框架和系统结构，并结合开发实践给出了应用实例。     

MIS系统操作日志的设计与实现

通过对管理信息系统(MIS)日志的全面分析,提出了一种MIS系统操作日志整体框架,该框架能很好地记录用户操作MIS系统过程中的一些信息,保证了MIS系统的安全性、可靠性和完备性。此方案已在环保信息管理系统中加以应用,取得了较好的效果。     

基于交友网站的日志挖掘和分析系统

针对女之海交友广场网站日志挖掘的具体需求,设计和开发了一个用于会员宣传的Web日志挖掘系统。结合自动获取的网站拓扑结构,对站点日志数据进行关联规则挖掘,以便更好地确定宣传的时间、地区、所针对的用户群年龄特征以及相应的会员信息内容等,系统实现了预期的挖掘任务和目的。     

基于数据挖掘的校园网网络日志的探讨

随着数据库技术的快速发展,管理系统得到广泛应用,人们生产生活中都离不开网络技术,所积累的数据也不断增加.以往的数据库系统能够对数据内容进行录入、查询等功能,但是难以实现对数据未来趋势的预测.校园网络日志能够通过对校园网络中各种事件的记录,将重要的信息提炼出来,及时发现异常行为,对网络结构进行改善.本文将对数据挖掘技术基础上的校园网日志应用以及挖掘系统的设计进行分析.     

基于分布式防火墙日志的入侵检测

采用数据挖掘技术,将误用检测和异常检测相结合,对分布式防火墙日志进行入侵检测分析.实验数据及分析结果表明,通过将两种入侵检测方法相结合的方式对入侵行为具有较高检测率和较低的误报率,具有一定的实际应用意义.     

基于VB程序数据库登录权限问题的研究

程序中的权限设置问题,是程序的关键所在,在程序设计中有着至关重要的作用,在此就程序设计中的权限设置进行讨论。程序采用模块进行权限设置,在模块中,使用程序级公用过程,设置不同权限管理员或用户的登录方法和不同的运行界面,程序使用8个运行界面,设置三级不同权限管理员的运行界面,通过数据库中对管理员或用户权限的设置,使不同的管理员或用户可以获得完全不同的运行方式,在同样界面,由于管理员权限不同,运行方式同样不同。通过这种方法,其目的是对各级别的登录者运行不同的程序界面。其结果是减少了程序的运行界面,使程序量大为减少。在此的设计思路,在其他程序设计中可以借鉴。     

一种基于iOS的错误日志系统设计方案

随着iOS系统上应用复杂度的不断增大,开发者及用户对于应用和系统的可靠性要求也随之不断提升。本文设计实现了一种能够开机自启动并始终在后台运行的iOS日志系统。该日志系统能够收集系统和第三方应用中发生的错误,并将这些错误提交到远程服务器上以供进一步的分析和研究。     

基于安全日志的问责技术的研究

分布式系统发展至今,规模越来越大,网络中故障节点的查找更加困难。在此针对这种问题提出了一种新的基于安全日志的问责方法。通过维护一个系统安全日志以记录节点过去的行为,节点间依赖此安全日志中的记录来确定其他节点行为的正确性。通过在NS-3环境下对问责机制的模拟,得出结论:使用问责机制可以确保分布式环境下任意发生故障的节点最终能被至少一个正确的节点检测出来,并且存在至少一个正确的节点持有该节点发生故障的确凿证据。     

基于DSP的JPEG视频压缩系统的实现

简要介绍静止图像的压缩编码标准（JPEG）的基本原理,详细描述基于DSP的JPEG硬件压缩系统的实现和软件代码的优化。实验结果表明,按JPEG标准得到的压缩图像具有理想的压缩效果,编码耗时少,保证了嵌入式远程监控系统中图像传输的实时性。     

基于多片C64X的高速实时数据压缩系统

针对星载设备中高速遥感图像实时压缩要求,利用多片TI公司的C64X系列DSP构建了一个高速实时数据压缩系统,实现了一种基于空间方向树的集合块SPIHT算法。通过对集合块打包、错误检测和再同步技术,改进的SPIHT算法与传统算法相比,其抗误码能力大大提高,能够适用于星载传输。在该系统中,采用多片DSP级联的方式,对改进的SPIHT算法分级流水处理,保证了该算法的可行性和实时性,满足了星上高速图像传输的要求。实验结果证明了算法的正确性和系统的实时性。     

基于Hadoop的Web日志预处理的设计与实现

Web日志预处理是Web日志挖掘的重要步骤,是通过Web日志获得准确信息的前提,直接影响后续的挖掘算法精确性.本文针对海量Web日志,提出并基于分布式计算平台Hadoop实现了一种改进的Web日志预处理方法.通过Hadoop平台与单机的性能对比,证明了Hadoop进行Web日志预处理的高效性.