基于Hadoop平台下日志分析系统的研究

在信息系统当中,日志数据也就是用户对系统的操作记录以及系统自身的运行状况记录,对日志数据的有效分析,有利于排除系统故障、明确用户访问规律等。基于此,文章就Hadoop平台下日志分析系统展开研究,首先介绍了系统的总体框架,进一步对其设计与实现过程中,日志分析处理流程设计、日志数据预处理两个操作环节进行了重点介绍,并进一步提出了针对此类系统的检测方法。     

基于大数据技术的计算机网络安全问题分析

本文利用大数据技术对网络上的安全日志、流量、用户方位、业务行为等信息进行采集、存储和数据分析。建立一个基于大数据技术的智能化计算机网络安全分析模型,以提高计算机网络的安全性。     

大数据智能运维运营系统在运营商的设计与应用

在运营商某融合通信系统中,传统的Hadoop海量文件批处理速度慢,数据库面对海量数据存储及全文检索能力弱,无法应对日常运维需要。处理海量业务日志且提升实时性,技术选型flume+Kafka+Spark+ElasticSearch,改造为流式计算大数据技术架构。文章结合业务诉求,基于领域模型全新设计,DashBoard分层递进,渐进明细地实时发现故障—初步分析—根因分析—定界定位,大幅提升系统运维运营能力和时效性的同时,还降低了人力成本。     

电力系统安全流量与日志分析处理

本文针对电力系统安全流量与日志复杂、多源、海量和异构的特点,提出了一种基于大数据相关技术进行日志采集、存储、分析、挖掘和安全态势展示的框架平台。并通过实验对比了传统SQL查询和大数据框架平台处理,阐述了该平台处理海量安全流量与日志的明显优势。     

历史机车数据的电子化

在企业完成产品数据管理(PDM)系统建设后,新设计的机车数据都以模型化、结构化、轻量化的形式存储在PDM系统中,但大量历史机车数据还以纸质模式存储在企业的档案馆中。设计要查询历史机车数据需要到档案馆查询纸质文件,纸质文件的查询相对电子数据的查询效率较低,数据重用性欠缺。因此将企业纸质的历史机车数据转换为电子化的数据势在必行。本文结合PDM系统,定制历史机车数据信息导入模板,根据上述模板信息编写导入程序。程序将获取历史机车数据信息导入模板中的内容,完全自动化的完成历史机车数据的创建。     

塔式起重机CAD系统的研究与开发

在对塔式起重机结构和功能分析的基础上,采用基于功能的模块化思想,利用系统设计方法开发一种塔机设计系统。通过对塔机进行功能元分析和结构分解,系统划分为原始参数输入、钢结构设计、机构设计、紧固件设计和强度稳定性校核5个功能子系统,能生成起重特性曲线,钢结构内力图、实时应力值和应力报表以及设计计算书和使用说明书等。对于型钢数表、紧固件数表等包含了多项数据并且可以从表中直接查到所需数据的数表,系统采用了静态数据库存储的方法;对于输入的各种参数,系统通过程序构造出产品的几何模型,再将图形信息转化成数据信息,在内部生成相关的数据结构,存储于动态数据库中。系统实现了前台可视化设计、参数化设计和功能化查询。实际应用表明,该系统能有效地应用于塔机的设计中。     

数据挖掘技术在控制器局域网总线中的应用研究

提出了数据挖掘技术在汽车控制器局域网(CAN)总线通信数据中的应用。汽车中的各种电子控制系统通过CAN总线相互连接通信,其中产生的大量报文被存储在日志文件中。首先对CAN总线日志文件的中大量通信数据做预处理,再扩展使用关联分析、分类及聚类分析等方法对处理过的数据进行挖掘,从而找到各条报文之间及报文内部各位或字节之间可能存在的新规律或者关系,为进一步研究CAN总线系统连接的各个控制系统之间的通信提供了帮助。     

数据仓库在智能车辆监控系统中的应用

智能车辆监控系统每时每刻都在搜集和处理大量的信息,本文把数据仓库技术运用到该系统中,对大量的数据信息进行存储和管理。通过对系统主体域的分析,维表、系统数据逻辑模型和物理模型设计来构建系统数据仓库。通过数据分析和展现工具对数据仓库中的数据进行分析和汇总,使决策者可以清晰、直观地看到分析结果,为我国交通的发展提供决策依据。     

一种新型履带起重机监控系统

本文介绍了一种新型履带起重机的安全监控系统。该系统主要采集履带起重机的油量及GPS定位数据,同时也可以检测开关机时间和超载信息,特别是可以检测当前履带起重机的车载电瓶是否正常,并实时将这些数据信息发送到远端服务器存储。在平台网站可以方便地查淘履带起重机的实时状态和历史数据,并有超载和电瓶被拆报警、油量图表显示、GPS定位信息地图显示的功能。     

基于NB-IoT技术的智能家居系统设计

目前智能家居系统对传输稳定性、数据准确性、组网便捷性等提出了更高的要求。以往采用有线设备采集信息,存在线路易老化、功耗高、灵敏度不高等缺点,如采用Zigbee、Wi-Fi、蓝牙等无线技术组网采集的系统也存在网络传输数据有限、不易远程海量数据存储等特点。利用NB-IoT技术,设计一种智能家居软硬件系统,系统主要包括STM32处理器模块,负责采集家居生活环境信息,并通过NB-IoT通信模块把数据传输至云平台服务器,移动手机终端能实时接收数据信息,并对家居设备远程控制等操作,系统采集数据准确,云平台存储便于远程访问,具有一定的推广应用价值。