基于Spark Streaming的海量日志实时处理系统的设计

在网络系统日志信息规模不断增长的情况下,结合运维中的实际需求,通过大数据技术,提出了一种基于Spark Streaming的海量日志实时处理系统,并详细地介绍了系统的底层日志数据收集、 传输、 计算、存储、 查询存储等一系列功能的设计与实现.该系统不仅能够准确、 实时地解析日志信息,对数据进行统计分析,而且能对历史日志数据进行实时存储和离线计算处理.     

流计算及其在电信实时营销中的应用

移动互联网时代,随着新技术的不断涌现,市场竞争愈加激烈,实时营销的需求逐渐增大。通过调研分析大数据实时流式处理技术,并结合其在满足非功能性需求方面的独特优势,设计了一个可以同时满足大数据存储、大数据实时处理的实时营销平台。实时数据处理首先将实时数据以日志的形式存储在Flume中,然后再通过Strom和Spark Streaming工具对实时数据进行实时处理与分析,并对数据进行标签,并将生成的标签存储在Redis数据库中,为发现目标用户进行精准营销做准备。     

SQLite数据库在雷达日志管理中的应用

SQLite数据库作为一种嵌入式实时内存数据库,具有简洁、高效等特点。在雷达日志管理这一特定需求背景中,基于SQLite的雷达嵌入式日志管理系统能够按不同日志类别实时记录每一部雷达的工作过程及完整的状态信息,并根据权限提供检索和统计功能,为装备的维护保障提供完整的信息服务。工程实践表明,使用SQLite数据库作为数据存储方案能够很好满足实际使用需求。     

基于微服务架构的日志系统

由于软件系统的规模日趋扩大和由此带来的复杂性,会产生大量的日志信息,这些日志需要存储以备查询和分析,而传统的关系数据库对日志存储、查询、分析的能力有限,因此,需要考虑一种大容量复杂场景的日志解决方案。本文介绍了一种基于微服务化架构的日志系统,在日志的收集、处理、存储、展示各个流程都使用微服务方式部署,支持动态扩容缩容、支持大规模日志的处理和存储,满足了复杂使用场景的日志需求。     

基于大数据技术的网络日志分析系统研究

传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题,研究了基于大数据技术的日志分析方案,即由多台计算机完成日志文件的存储、分析和挖掘工作;建立了一个分层的网络日志分析系统:Syslog完成日志采集,Hadoop负责分布式存储和并行计算,在MapReduce框架下重新实现了IP统计算法。实验结果表明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和系统的可扩展性。     

面向在线日志云的海量数据分级归档机制

传统日志系统和基于Hadoop的离线日志系统在分析海量日志时都具有时延长、效率低等弊端。为构建新的基于Hadoop的在线日志系统,提出了新的数据分级归档机制,用以管理海量日志数据并形成分级优化的存储文件结构。实验结果表明该机制具有良好的可扩展性,可以有效存储海量日志数据;同时,它还有助于加快系统的数据处理速度,缩短系统的处理响应时间,使其满足在线处理的要求。     

基于大数据平台的教学资源共享系统访问量实时统计

在大数据时代数据呈现几何级的数量增长,传统单机服务器架构的教学资源共享系统已经不能存储处理大量的数据,需要建设大数据平台进行存储处理.基于大数据平台的教学资源共享系统是在教育信息化方面构建教学资源共享系统,其存储容量大,处理数据计算量大.用户在访问教学资源时,对其访问的教学资源数据进行实时访问量统计,应构建大数据平台,利用Hadoop的分布式文件存储并通过Spark的内存计算实现教学资源实时访问统计.然后用数据可视化技术将用户访问统计结果显示出来,以便查看用户对教学资源的使用情况,对后续教学资源建设提供依据.     

基于DSP的USB接口设计

在数据采集系统中,利用DSP作为微处理器对采集到的数据进行处理,再通过USB接口将处理过的数据传输到PC机上进行存储,这样可以实现数据的快速采集与存储。采用TI公司的TMS320F2812作为微处理器控制芯片,并使用Philip公司的ISP1581作为USB收发控制芯片,利用两者的速度优势,能够实现DSP与PC机之间的高速数据传输,从而使得大量数据的快速,实时的采集、处理与存储成为可能。     

近实时违规文件监控实现方案

涉密文件存储在非密计算机上时,或者只允许在指定计算机上处理的企业内部重要文件存储在了其他计算机上时,存在较高信息泄露的风险。针对上述问题提出了一种近实时的违规文件监控方案,发现违规文件立即告警,减少信息泄露的风险。主要通过MFT记录建立全盘已有文件的目录,通过USN日志监控磁盘上实时新增的文件,将文件名和文件内容分别存储在SQLite数据库和ElasticSearch中,然后通过涉密关键词搜索,快速找出违规文件,然后根据预先设置的处理策略进行处理和告警,从而实现了近实时的违规文件的监控。     

基于PowerPC的数据存储及回放系统实现

随着测控系统的发展,对数据和信号处理的能力需求越来越高,传统的数字信号处理系统已不能满足实时高速的处理需求,为了解决这一难题,设计了一种基于PowerPC的数据存储及回放系统。整个系统由PowerPC子系统、ARM子系统、Flash存储子系统、AD/DA采集回放子系统及通信子系统组成,实现了AD采样数据的实时存储和转发,还可以将存储的采样数据通过DA进行回放,提升了测控系统数据和信号处理能力。