Spark平台中Kafka偏移量的读取管理与设计

随着移动互联网技术的大规模发展,创新型互联网公司和迭代型各行各业应用产品层出不穷,门户访问、好友互动等操作产生的大规模日志记录,对大数据处理的实时性、准确性和高可用性发起了挑战。Kafka是一种高吞吐量分布式发布订阅消息系统,其在高并发数据读写方面优势明显,但其提供的数据消费方式存在数据丢失和重复的风险。本文首先介绍Kafka架构及其Offset管理,介绍了新型流式数据处理框架SparkStreaming与Kafka的结合,并说明了Kafka数据消费方面存在的缺陷,最后提出了一种基于SparkStreaming读取Kafka的近似Exactly Once方案实现。通过搭建实验环境进行对比测试,验证了该设计可以在保证数据读取效率的前提下确保数据的准确性。     

一种优化的Kafka消费者/客户端负载均衡算法*

Kafka是一款高吞吐的分布式消息系统,在海量数据处理等多个领域被广泛使用。但现有Kafka消费者客户端负载均衡算法存在一些不足,在处理海量数据时易产生过高开销甚至出错等问题。本文提出了一种优化的Kafka消费者客户端负载均衡算法,负载均衡过程完全由作为管理者的消费者控制,其余消费者不必单独进行负载均衡,而且管理者不用重新分配每个消费者消费的分区。系统对所有消费者的运行状况进行监控,出现宕机的消费者后可及时进行负载再均衡。测试结果说明该算法能够减少Kafka消费者客户端在负载均衡过程中的系统开销,并避免出现错误的负载均衡结果,可以有效地保障分布科学数据处理的正确性。     

基于Spark Streaming的实时交通数据处理平台

交通大数据是解决城市交通问题的最基本条件,是制定宏观城市交通发展战略规划和进行微观道路交通管理与控制的重要保障.针对于智能交通系统中数据产生快、实时性强、数据量大的特点,本文基于Spark Streaming和Apache Kafka的组合构建了一个实时交通数据处理平台,用于处理通过双基基站采集的数据,采用时间窗口机制从持续的Kafka分布式消息队列中获取数据,并按照规则将数据分类处理后保存到数据库.本文对平台的系统架构和内部结构进行了详细的介绍,并通过实验验证了系统的实时处理能力,完全可以在大规模高并发的数据流下进行应用.     

基于Boost. Asio的智能车载终端数据采集系统

随着车联网与大数据技术的发展,车辆管理服务平台架构由传统的分散式、本地化,走向集中式、扁平化,平台端资源消耗越来越大,如何实现海量车载终端数据的高并发实时采集是一个亟待解决的问题。针对该问题,提出基于Boost.Asio网络通信库的解决方案。该方案以前后端分离的方式,将数据采集与数据解析分开实现,利用Boost.Asio的前摄器模式实现高并发的数据采集,利用Kafka消息队列提高系统可扩展性,并结合线程池及智能指针技术,对传统数据采集系统中数据量大、种类多带来的资源占用高问题进行了改进。实验结果表明,该系统在有大量连接的情况下,内存占用较少,连接稳定,数据无丢失,保证了数据采集的质量和可靠性。     

基于Storm的车联网数据实时分析系统

针对传统车联网平台在处理海量数据时存在吞吐量小, 实时性差的问题, 设计了一种基于大数据流处理技术的实时分析系统. 系统分为数据采集、 数据转发、实时分析、数据存储和可视化展示5层. 为了满足系统高并发接入以及实时性的需求, 引入Storm实时计算系统进行数据的实时分析. 同时, 利用Kafka消息队列的异步通信机制将各层之间解耦, 采用Hbase进行海量数据存储, 从而提高车联网非机构化数据存储效率. 另外, 针对访问数据库开销大的问题, 采用Redis缓存策略, 进一步提高查询效率. 实验证明, 较传统的多线程处理平台, 该系统具有低延迟, 高吞吐, 可拓展等特点, 能够满足车联网大数据流处理要求.     

一种物联网设施管理系统中的Kafka优化方法

在有海量消息数据上报和处理的物联网设施管理系统中添加Kafka消息中间件能够异步地传输消息,增加了微服务系统的灵活性和可扩展性,但其带来的影响比如延时和资源消耗也是实际运用中需要考虑的。论文提出了一种基于优化KafkaProducer中Serializer接口的内存分配的改进方案,降低了添加Kafka消息中间件造成的额外资源消耗,为Kafka的应用打下了基础。     

基于响应式的服务推送框架设计

针对现有物联网设备存在功能上的不足以及原生消息队列遥测传输协议(MQTT)存在性能瓶颈的问题,提出一种高性能服务推送框架设计方案.应用基于响应式编程的Reactor-Netty组件实现MQTT传输协议的设计模型,选取Redis作为数据缓存以及集群实现并搭建Kafka消息中间件,实现消息代理.经过系统安全测试以及大于3000次的传输响应测试,该方案相较原生MQTT框架以及Netty+MQTT框架在平均响应时间方面有较大提升,测试结果表明,该框架拥有良好的处理高并发的能力以及安全性.     

实时大规模远程实验通信方案研究

针对开放式远程实验平台的高并发、实时性、可靠性和安全性需求,设计并实现了一种高并发访问的远程实验通信方案。该方案能够实时连接大规模传感器网络,具有实验仪器与用户并发访问、实时可靠消息传输、网络安全控制和仪器安全保障功能,能有效提高远程实验的通信性能。在模拟大规模用户实时并发访问的情况下进行性能测试,测试结果表明该方案不仅能满足实验通信的并发需求,还能有效确保消息的实时可靠传输和安全控制,具有较高的应用价值。     

基于Hbase的车联网海量数据存储

针对如何处理车联网数据的峰值问题,提出了一种基于Hbase的车联网海量数据存储的中间件控制方案.首先报文通过Kafka传递到中间件,再对传递至中间件的数据进行计数器处理,限制对Kafka的拉取消费;其次对传递至中间件的数据进行筛选处理,确保数据都是有效的数据,然后进行存储;最后针对车联网海量数据的应用场景选择能够满足需...     

航天测控系统远程数据容灾方案设计与验证

航天测控系统中的重要资产数据对航天任务的成败有重要影响,必须建立数据容灾系统以保障关键数据的安全。分析了当前航天测控系统关键资产数据采用的备份方式及容灾的要求,基于Oracle数据库的远程复制功能研究了航天测控系统远程数据容灾技术,设计了航天测控系统远程数据容灾方案,并搭建模拟实验环境对方案进行了实验测试。实验结果表明,容灾方案能够达到第五级的容灾级别,满足可恢复性、可靠性和实时性指标要求,实现对航天测控系统关键资产数据的远程容灾。