基于Storm的车联网数据实时分析系统

针对传统车联网平台在处理海量数据时存在吞吐量小, 实时性差的问题, 设计了一种基于大数据流处理技术的实时分析系统. 系统分为数据采集、 数据转发、实时分析、数据存储和可视化展示5层. 为了满足系统高并发接入以及实时性的需求, 引入Storm实时计算系统进行数据的实时分析. 同时, 利用Kafka消息队列的异步通信机制将各层之间解耦, 采用Hbase进行海量数据存储, 从而提高车联网非机构化数据存储效率. 另外, 针对访问数据库开销大的问题, 采用Redis缓存策略, 进一步提高查询效率. 实验证明, 较传统的多线程处理平台, 该系统具有低延迟, 高吞吐, 可拓展等特点, 能够满足车联网大数据流处理要求.     

基于物联网的车辆套牌稽核系统

汽车给人们生活带来方便,成为人们的代步工具。大量的违法套牌车辆不断涌现,给交通执法部门带来很大的困扰。针对目前套牌车辆泛滥的现状,我们提出了一种基于物联网的车辆套牌稽核系统。采用了C#、Sql Server2014、MATLAB,结合最短路径算法、电子地图等方法,提出了车牌判定及车辆定位算法,并应用于该系统,验证了系统是可行的。     

基于Storm的海量数据实时聚类

针对现有平台处理海量数据实时响应能力普遍较差的问题,引入Storm分布式实时计算平台进行大规模数据的聚类分析,设计了基于Storm框架的DBSCAN算法。该算法将整个过程分为数据接入、聚类分析、结果输出等阶段,在框架预定义的组件中分别编程实现,各组件通过数据流连通形成任务实体,提交到集群运行完成。通过对比分析和性能监测,验证了所提方案具有低延迟和高吞吐量的优势,集群运行状况良好,负载均衡。实验结果表明Storm平台处理海量数据实时性较高,能够胜任大数据背景下的数据挖掘任务。     

基于Storm的大容量实时人脸检索系统

针对公共安全领域能够获取的人脸图像数据急速增长,传统的人工方式辨别人物身份工作量大、实时性差、准确度低,本文设计了一种大容量实时人脸检索系统.该系统通过Storm分布式平台实现人脸抓拍图像的实时存储与检索,通过HBase分布式存储系统实现大容量非结构化人脸数据的存储与维护.多组实验结果表明,该系统具有良好的加速比,在大容量人脸图像数据检索场景下具有良好的可扩展性和实时性.     

基于Storm的实时计算框架的研究与应用

互联网数据的增长,催生了一大批新的数据处理技术,Map Reduce,Hadoop及相关技术使得我们能够处理的数据量比以前要大得多,但这些技术的设计目的都不是为了实时计算。然而随着社交网络服务的流行,大规模的实时数据处理已经越来越成为一种业务需求。Twitter Storm的出现弥补了Hadoop在实时处理方面的不足。本文就Storm的组成、运行机制以及计算模型进行研究,并设计与实现了基于Storm的社交网络中热门话题的实时计算问题。     

基于矢量路径的套牌车辆检测研究

为了提高套牌车辆识别的效率,该文提出了一种新的检测方法。该方法通过矢量路径来监控车辆的行驶情况;通过分布式数据库来存储和处理海量车辆的行驶信息,通过比对车辆的矢量路径信息来识别套牌车辆。实验表明该方法具有较强的识别率和较高的应用价值。     

一种基于Kafka的可靠的Consumer的设计方案

伴随着互联网和移动互联网的发展,各种新兴应用层出不穷,对大数据处理的实时性和高并发能力要求也在不断提高。Apache Kafka,作为一种分布式的消息系统,具有可水平扩展和高吞吐率而被广泛的使用。对于数据业务的基础支撑系统,除了能够满足高并发度和实时性以外,数据的质量即数据可靠性也是关键的一环。但是,由Kafka原生提供的数据消费者不能够保障数据的可靠性。本文首先简单介绍了Kafka的组成、架构特性等技术背景,然后阐述了原生Consumer的原理和缺陷;最后,基于Kafka提出一个可靠的消费者的设计方案。本方案是基于Kafka的low-level的接口集,解决了Kafka原生Consumer由于将用户消费数据的动作与数据消费位置的记录独立而引起的数据质量问题,保障了数据的可靠性。最后,搭建Kafka集群测试环境,验证了方案的可行性和正确性。     

基于Storm与Kafka集群的火电厂分布式流式数据建模与分析系统

大数据时代环境下,火电厂超大规模的数据量以及较高的数据处理时效性要求都对我们能否有效地利用数据进行分析提出了挑战,传统的数据分析方式在性能、时效、精度等方面已不能满足电厂运行人员对设备运行状态精确判断的要求.为此提出一种基于Storm与Kafka集群的数据建模与分析系统,利用Kafka高吞吐量的消息驱动能力和Storm...     

新车型识别方法及其在套牌车辆鉴别中的应用

提出一种用于判决车辆类型的车灯定位识别方法,可解决套牌车辆鉴别问题。在车牌和车标识别基础上,以车牌中心点为准,选取相对完整的单个车灯,从靠近车标一方开始,截取车灯垂直幅值倍数的水平宽度作为有效区域,然后对其进行大小和方向归一化处理;接着使用图像的不变矩距离分类器在车标确定的车系中进行车灯识别,根据车灯识别结果确定车辆具体车型;最后结合车型识别结果和牌照信息在车辆信息库中比对,判断是否为套牌车辆。经交通卡口获取的实测图像进行测试结果表明,车型识别准确度为95.5%。     

基于Storm技术的实时数据处理平台研究与实现

针对现有的大数据处理平台实时性差、处理耗时长、资源请求慢等问题,采用Storm实时计算技术,结合Flume、Kafka、Zookeeper等大数据处理组件,设计一个实时数据处理平台.利用tornado+ WSGI+ Apache技术搭建Web服务器,采用Echarts技术对处理结果进行可视化分析.以网站访问日志作为数据...     

基于RTX的水下航行器实时仿真研究

传统半实物实时仿真设计方法已无法满足不断发展的水下航行器仿真系统对实时性的要求;针对这一实际应用问题对基于RTX的水下航行器实时仿真的关键性问题进行了研究,并详细给出了仿真系统的设计方案和实现途径;实验结果表明,该实现方法使得系统实时性和可靠性都能满足设计指标,极大地提高了水下航行器仿真系统的实时性,在工程实际中具有研究和应用价值。     

基于小波分解和亮度矩的车牌定位方法

提出一种基于小波分解和亮度矩的复杂背景下，图像中车牌定位和分割的方法。针对小波分解能较好地保留图像中的细节信息，为突出车牌字符和图像中其他信号特征的差异，定义了一个亮度矩函数，用于搜寻牌照的上下、左右边界。仿真结果表明，该方法定位准确率高、速度快。     

基于Storm的流媒体实时传输系统

为了满足流媒体视频数据在传输过程中对数据的时效性、传输效率及传输的准确性这些高要求,本文从实时大数据的流处理应用出发,通过分析流媒体视频数据在实时传输中遇到的难点和所需的关键技术,采用Storm流处理技术实现高性能、低延迟的分布式实时传输系统,在Linux系统上完成Storm框架的搭建,设计并实现了流媒体视频数据的传输拓扑任务,同时部署Zookeeper为框架提供高效可靠的分布式协调服务,并搭建流媒体服务器用于视频推流后的存储及客户端的点播.在搭建好Storm框架后,通过了对大规模流媒体视频数据的实时传输测试.     

车载CAN总线记录仪的大容量存储系统设计

为解决车载CAN总线记录仪长时间记录时数据量与存储容量之间的矛盾,设计出基于“FPGA＋单片机”的大容量存储系统;详细阐述了系统的整体结构、硬件电路设计,采用两种存储模式,将数据导入SD卡中后,计算机可以直接读取SD卡中的数据。实验表明,该系统可以稳定工作。     

基于颜色对特征点主成分分析的车牌校正方法

为了在车牌的倾斜校正过程中减少车牌边框和噪声干扰的影响,并简化计算过程,提出了一种基于颜色对特征点主成分分析(PCA)的车牌水平校正方法。该方法根据车牌背景与字符交界处的颜色具有固定搭配这一特点,首先在原始车牌图像中提取颜色对特征点,并将所有颜色对特征点视为待分析的样本;然后构建这些样本特征点的2维散布矩阵,并通过主成分分析求出其主成分方向,该主成分方向就是车牌的水平倾斜方向;最后再进行相应的旋转,即可获得校正后图像。由于这种方法将车牌的颜色信息和边缘信息融合后共同使用于车牌的校正过程,同时将搜索图像倾斜角度转换为2维实对称矩阵进行计算,从而简化了计算。通过编程对实际车牌图像进行的实验结果证明,该方法对于边框不清或含有噪声干扰的图像仍然能取得较好的校正结果。     

基于数字图像处理的车牌定位方法的研究

车牌识别是现代智能交通系统中的重要组成部分之一,其应用范围十分广泛。对车牌定位方法进行了初步研究,以模式识别、数字图像处理、计算机视觉技术为基础,使用M atlab软件对图像预处理、边缘检测等算法进行了必要的仿真实验,获取了车牌区域。对摄像机拍摄车辆的图像进行分析处理可以得到汽车的车牌号码,从而完成整个识别过程。     

车牌识别系统中图像的采集和定位问题研究

针对汽车牌照识别系统中图像的采集和定位问题,设计了一种行驶车辆图像获取的自适应控制系统,很好地解决了车牌识别系统的全天候问题;并且利用纹理分析和灰度图像垂直投影相结合的方法,成功地解决了传统车牌图像定位手段很难解决的几个难题,在此过程中还涉及了车牌图像的几种预处理手段:车牌图像的灰度校正、增强和锐化;最后的定位结果验证了该定位算法的有效性和精确性.