基于Solr的海量日志信息查询性能优化的研究

ApacheSolr是一个基于ApacheLucene的开源企业搜索服务器。Apache SolrCloud是基于Solr和Zookeeper的分布式搜索方案,它的主要思想是使用Zookeeper作为集群的配置信息中心。文章在海量日志索引信息存储和查询方面进行了探索,证明了在相关优化策略下Solr Cloud具备了优秀的查询性能。     

Hadoop在海量数据分析中的应用

电子商务及互联网的广泛应用,产生了高达GB甚至TB规模的海量日志文件,传统的日志分析技术已经无法满足海量数据分析的需要。基于Hadoop的分布式并行处理方式在海量数据分析中表现出优越的效率,本文实现一个基于Hadoop的海量数据分析系统,可以并行分析大日志文件。     

大数据环境下计量系统日志的存储架构设计

随着"互联网+计量"模式的不断推进,计量系统日志量迅猛增长,计量领域的大数据时代已经到来。近年来,随着日志采集存储系统的发展,分布式存储正逐步应用到日志系统领域。本文针对大数据环境下的计量日志存储提出一种基于Zoo Keeper的存储方法,并将状态轮询机制与一致性哈希算法相结合,增强了日志存储的性能,提高了日志存储的效率以及安全性。     

一种基于日志结合分析的集群系统失效预测方法

研究了大规模超级计算机群系统的失效预测。针对现有的单一分析系统日志的方法不仅需要复杂的分布式数据挖掘技术,而且失效预测的召回率普遍不高的问题,提出了一种通过将记载集群系统负载变化的作业日志同系统日志结合起来分析来进行失效预测的方法。该方法的原理如下:首先,通过对原始系统日志和作业日志进行预处理和过滤,分别得到细粒度的二维的事件序列和作业序列;然后从中抽取出在系统日志的失效事件发生前作业日志所表现出的三种典型失效征兆;最后,利用失效征兆进行失效预测。在真实的IBM Blue Gene/P系统的系统日志和作业日志上的实验结果表明,基于两种日志结合分析的方法能以较高的准确率和召回率实现细粒度的失效预测。     

基于日志分析的网络管理与安全审计系统

近几年来,随着因特网的飞速发展,网络安全问题日益突出,在这种情况下,网络管理与安全审计系统孕育而生,其审计重点主要在网络的访问行为和网络中的各种数据。对防火墙日志分析方面进行一系列研究,并利用SQL Server数据库设计基于日志分析的网络管理与安全审计系统,系统的实验结果说明日志分析技术的实用价值。目前,该系统已经应用于某广电网络。     

数据挖掘在图书馆日志信息中应用分析

数据挖掘技术能够从海量数据中获取相关信息,本文应用数据挖掘技术对于图书馆日志信息进行分析,建立维度模型,并结合对书目查询信息的web挖掘,较好地对未购图书类型需求度进行相关预测。     

基于会话的Web应用测试方法

Web应用程序难以创建有效的测试用例,如使其既能满足测试的需求,又能测试Web应用程序的多用户交互会话。针对上述问题,采用从Web日志数据中得到域数据创建测试用例的方法,从Web日志中获取用户行为数据和用户会话数据。提出一种基于用户行为和用户会话的测试新方法,通过实验验证该方法在功能覆盖和故障检测方面的有效性。     

基于温场校准的智能采集软件设计与应用

温场环境是一个由多种因素构成的复杂系统,设备品质与环境中温度、湿度等因素密切相关,常规温场设备的信息采集方式主要包括手工采集和电脑软件采集,手工采集费时费力且错误率高,目前电脑软件采集在修正值补偿和不确定度计算上不够成熟且精确度较差,不能满足环境试验设备校准的实际需求。因此,本文基于KEIYHLY 2700数字多用表设计了一种新型温湿度采集软件。通过采集环境试验设备中的温度、湿度等信息并进行数据处理,对设备状况进行评定,并与常规温场采集方法进行了效果对比。实验结果表明,改进后的温湿度采集方式应用于温场设备校准精确,效率显著,能够很好地满足当代环境设备的校准需求。     

浅谈实时数据系统的特点及在企业信息化中的应用

针对能源计量数据采集节点多、采集周期短、数据量大的特点,课题采用了实时数据库系统对采集下来的数据进行存储和管理.该实时数库系统具有可任意指定采集周期、数据读写、查询速度快的特点;并且采用了先进的数据压缩技术可以在有限的空间内存储海量数据;同时它还为其他的系统提供了良好的数据接口,能够实现与其他系统的数据共享.     

一种基于预存交点的矢量空间叠加分析算法

针对矢量空间叠加分析服务实时性的需求,提出了一种基于预存交点信息的矢量空间叠加分析算法。在叠加分析算法中实现了存储计算一体化的交点数据结构,能够满足交点额外空间占用率小的存储需求和快速获取交点信息的计算需求。在叠加分析时,将图层之间的交点离线计算并存储,以查询交点的方式代替传统算法中计算交点的方式,用少量的空间代价避免了计算交点的时间开销。在保证叠加分析算法结果正确性的同时,极大提高了叠加分析算法的效率。实验结果表明,与传统计算模式相比,本文方法在低于10%的额外空间占用率的代价下,使得算法计算的时间减少92. 4%,并且并行算法能够取得较为理想的并行加速比。     

车联网中基于服务的虚拟网络功能放置算法

为满足车联网中海量数据的采集、传输以及对这些数据的快速处理的需求,可采用移动边缘计算(MEC)技术.本文考虑移动边缘计算中基站连接方式和物理资源的特点,对边缘服务器的部署问题进行了分析,以部署成本和网络时延为优化目标,划分基站集群,并使用整数线性规划(ILP)建立模型.为了获得运行效率更高的边缘服务器部署方案,本文使用...     

基于IOCP的高性能代理服务器的实现

代理服务器需要处理大量并发连接请求,它所负担的数据传输和处理的任务是越来越重,然而很多普通的代理软件并不能很好地满足这种日益增长的需求。在许多企业中代理服务器现在已经是不堪重负,成为了整个网络的瓶颈。文章运用IOCP技术有效的解决了代理服务器中海量连接及数据转发中的延迟易形成瓶颈的问题,提出了一种高性能的代理服务器的具体实现方案。     

Web服务交互挖掘技术研究

目前,随着网络技术的迅速发展,Web服务的应用越来越多,Web服务日志资源也越来越多,如何分析和利用这些海量的数据已成为研究热点。近年来,国内外学者围绕Web服务交互挖掘技术展开了广泛的研究,取得了显著的成果。     

基于下肢康复机器人数据信息系统云存储浅探

近年来,随着大数据、云计算的蓬勃发展,不断提升机器人智能化、信息化水平成为机器人发展的趋势。针对下肢康复机器人在患者训练时形成的海量数据,以及分散的病人病历信息、诊疗情况。为将这些数据进行统一有效的管理,建立机器人训练信息云存储平台,显得尤为必要。本文基于Windows平台,通过C#,SQL SERVER编程,开发一款上位机软件,采用开发存储服务(简称:OSS协议)作为本地与云端之间的通信协议,将各地机器人创建的医疗信息数据库和操作日志上传到统一的数据中心,以供后期进行数据处理分析。首先根据步态分析需求,确定了训练时需要采集步态数据。其次构建上下位机通讯,将采集到的数据存入本地数据库。最后利用云存储技术将本地数据库上传云端。     

TH-MSNS系统中基于IP协议的缓存机制设计与实现

为提高IP-SAN的性能,在清华大学海量存储网络系统（TH-MSNS）存储区域网络的基础上,设计和实现了一种iSCSI环境下的缓存系统。该系统采用服务器内存作为数据的缓存,直接在内存中完成部分读写数据的命令,在存储请求空闲时同步远程网络磁盘数据。通过性能对比测试表明,该缓存系统能够较大地提高IP-SAN存储系统的性能,能增大存储系统的带宽,减少操作延迟。     

信息高密度存储介质的发展

光记录技术不仅能够满足信息社会海量数据存储的需要．而且能同时存储图、文、声、像等多种信息，使传统的信息记录、传输和管理方式发生了根本性的变化．     

自动存取系统及其仿真分析

自动存取系统是一种新的存取系统,其效率取决于库位地址的分配方式、存取方式以及堆垛机的运行方式等特性。自动存取系统相对于传统存取方式有优点也有缺点。其效率主要采用通过率来评价。对此,提出了用数学模型的方法来仿真分析,给出了模型的一些相应参数、重要假设和理论结果。最后,对一个实例运用Ａｗｅｓｉｍ软件仿真,给出仿真结果。     

浅谈黄骅数字硬盘播出系统

电视节目播出系统的数字化是电视系统整体数字化的一个重要环节,实现数字网络化多通道播出是电视节目播出发展的一种趋势。除了对播出系统具有安全、可靠这一基本要求以外,对系统的存储容量、节目的输入输出通道数、数据的传输速率以及数据的读写速度等均提出了较高的要求。硬盘自动播出系统实现了电视台电视节目的数字化海量存储、永久保存、自动播出,特别满足目前中国电视事业的发展需求。数字硬盘播出系统的工作原理是：首先将要播出的电视节目信号通过节目上载系统进行数字化采集,即将视音频信号格式转换成标准的MPEG-2格式压缩的数字化节目,通过节目上载软件,将压缩后的节目存储在计算机硬盘中;然后通过自动播出控制软件编排节目播出表,通过审查后控制硬盘自动播出服务器进行播出。下面根据我台实际运行隋况就其工作流程做以简要介绍。     

基于电阻炉环境温度的智能校准装置研究

目前校准规范所要求的采集方法不仅程序多、计算量大、人工能耗多,而且已很难满足现代化校准要求,因此如何实现电阻炉高温环境的智能检测成为现场校准的关键。本装置基于吉时利2700万用表和单片机智能转换开关联控的方式构建电阻炉校准硬件平台,并通过外围热电偶组配置采集模块,并配套软件采集系统完成数据实时监控、采集及计算,并导出电子版校准证书。实验结果表明,智能校准装置应用于电阻炉温度监控采集,能够很好地满足当前电阻炉的校准需求。     

大数据时代下档案信息分析与研究

大数据时代下海量信息膨胀,给档案部门带来挑战。实行网络环境下海量信息整合,建立安全存储海量信息资源的数字档案馆,积极推动公共数据资源开放,是档案部门迎接挑战行之有效的方法。