基于SSD卷积神经网络的公交车下车人数统计

传统典型的公交车人数统计方法在准确率和速度方面存在一些不足,且提取目标特征的效果较差.本文提出了基于深度卷积神经网络的公交车人数统计系统解决人群计数问题.首先制作数据集,难点在于所有用于训练的数据集均是手工标注.并且公交车摄像头角度比以往文献覆盖更广区域.本文首先比较了多种不同的深度卷积神经网络模型对乘客进行全身检测的效果.综合考虑检测速率、准确率等方面,最终采用单次检测器深度卷积神经网络模型对乘客进行人头目标检测,在线实时目标追踪算法实现人头的多目标追踪,跨区域人群计数方法统计公交车下车人数.系统准确率达到78.38%,运行速率约为每秒识别19.79帧.实现了人群计数.     

基于车载视频监控的乘客检测及跟踪算法

针对公交车上乘客相互遮挡及光照变化明显的问题,提出一种基于头肩部边缘特征和局部不变特征的人体检测及跟踪算法。首先对待检测图像进行自适应阈值背景差分,实现乘客目标分割;然后用样本的梯度方向直方图(HOG)特征训练支持向量机(SVM)基础分类器,结合自适应增强(AdaBoost)算法提炼出最终的强分类器,对前景图像进行扫描实现乘客目标检测;最后提取目标区域和当前搜索区域的快速鲁棒性特征(SURF),通过特征点匹配实现乘客目标跟踪。实验表明,在乘客相互遮挡及光照变化明显的情况下,该算法仍具有高于80%的检测率和跟踪率,且满足系统实时性的要求,可用于客流计数。     

A fast hybrid computer vision technique for real-time embedded bus passenger flow calculation through camera

Bus passenger flow calculation system is a critical part of the smart public transportation framework. Bus passenger flow information can help to make data statistics report of the passenger at a bus station which can be used by public transport operator to evaluate the quality of the transportation. Statistics report of crowded passengers in the bus station help managers to understand the bus transit operations, can provide the database for the intelligent transportation scheduling, help to provide more and better services for passengers, overall data statistics of passengers has important practical significance to improve public transport environment. This paper presents a passenger counting algorithm based on hybrid machine learning approach. In the first step, an advanced method is used to extract the Histogram of oriented gradients (HOG) feature of passenger’s heads. Classification of head features is done by using support vector machine (SVM) as a classifier for the liner model. Heads are detected successfully after performing all steps. In next step Kanade-Lucas-Tomasi (KLT) is used to reality head tracking, the multiple target tracking is achieved and the head motion trajectory of passenger target is captured stably. At last, the trajectory is analyzed and the automatic counting of bus passenger flow is realized. In the last step, the proposed algorithm is move to embedded system for practical implementation. In this paper, the algorithm intends to use ADSP-BF609 embedded platform for transplantation. The experimental results demonstrate that the statistical accuracy of the proposed algorithm is enhanced successfully; especially during the daytime with the good illustration, the effective counting of the passenger flow is achieved and the inward and outward passenger counting can be realized. In this paper three feature extraction models are used namely local binary patterns, histograms of oriented gradients and binarized statistical image in order to get accurate features. Furthermore, three common classification techniques including naïve bayes classifier, boosted tress and support vector machines are used for fine classification of extracted vectors obtained from different features extractors model. 94.50% accuracy is achieved when support vector machine (SVM) classifies the features extracted using Histogram of oriented gradients (HOG). SVM surpasses the accuracy obtained by Boosted tree namely 81.30% using Histogram of oriented gradients (HOG) features.

     

融合检测与跟踪的半自动视频目标标注

针对视频图像连续帧间的目标具有冗余性,采用手动标注方式耗时耗力的问题,提出一种融合检测和跟踪算法的视频目标半自动标注框架。利用手动标注的样本离线训练改进YOLO v3模型,并将该检测模型作为在线标注的检测器。在线标注时在初始帧手动确定目标位置和标签,在后续帧根据检测框与跟踪框的IOU（Intersection-Over-Union）值自动确定目标的位置,并利用跟踪器的响应输出判断目标消失,从而自动停止当前目标标注。采用一种基于目标显著性的关键帧提取算法选择关键帧。采用自建舰船目标数据集进行了改进YOLO v3检测性能对比实验,并采用舰船视频序列验证了提出的视频目标半自动标注方法的有效性。实验结果表明,该方法可以显著提高标注效率,能够快速生成标注数据,适用于海上舰船等场景的视频目标标注任务。     

基于稀疏帧检测的交通目标跟踪

为了获取高速公路交通视频中目标车辆的行驶轨迹,提出一种基于视频的多目标车辆跟踪及实时轨迹分布算法,为交通管理系统和交通决策提供目标车辆交通信息.首先,使用YOLOv4算法检测目标车辆位置及置信度.其次,在不同场景条件下,使用提出的基于稀疏帧检测的跟踪方法,结合KCF跟踪算法,将车辆数据进行关联获取完整轨迹.最后,用车辆分布图和交通场景俯视图显示轨迹,便于交通管理与分析.实验结果表明,提出的跟踪方法在车辆跟踪中有较高的跟踪正确率,同时基于稀疏帧检测的跟踪方法处理速度也较快,实时轨迹分布正确反映了真实场景的车道信息以及目标车辆运动信息.     

基于深度学习的客流量统计方法

针对目标快速移动和遮挡情况导致的客流统计存在误差的问题,设计目标的检测、跟踪、进门行为判断等策略,提出基于深度学习的餐饮业客流统计方法.首先,通过多数据集对YOLOv3-tiny模型进行训练,实现对于小目标的准确检测;进而设计多通道特征融合的目标跟踪算法,完成目标快速移动情况下的稳定跟踪;最后设计目标进门行为的判断方法,通过重叠率对目标的进门行为进行判断,实现对进门客流量的准确统计.最终通过实验验证,客流量统计的平均准确率达到93.5%.     

一种基于区域生长的多个形变目标跟踪方法

自动获取公交车在停靠车站的上下车乘客数目对于合理、有效地调度车辆运行具有重要意义.利用图像处理技术对运动乘客进行跟踪统计时,由于目标的形状是随机变化的,甚至总是部分出现在视野范围之内,所以不能采用基于形状和特征点的跟踪方法.本文提出了一种基于差分图像和区域生长的,对多个形变目标运动区域特征进行跟踪的方法.实验表明此方法能够实时地、较准确地统计出上下车的乘客数目.     

Passenger flow prediction in bus transportation system using deep learning

The forecasting of bus passenger flow is important to the bus transit system’s operation. Because of the complicated structure of the bus operation system, it’s difficult to explain how passengers travel along different routes. Due to the huge number of passengers at the bus stop, bus delays, and irregularity, people are experiencing difficulties of using buses nowadays. It is important to determine the passenger flow in each station, and the transportation department may utilize this information to schedule buses for each region. In Our proposed system we are using an approach called the deep learning method with long short-term memory, recurrent neural network, and greedy layer-wise algorithm are used to predict the Karnataka State Road Transport Corporation (KSRTC) passenger flow. In the dataset, some of the parameters are considered for prediction are bus id, bus type, source, destination, passenger count, slot number, and revenue These parameters are processed in a greedy layer-wise algorithm to make it has cluster data into regions after cluster data move to the long short-term memory model to remove redundant data in the obtained data and recurrent neural network it gives the prediction result based on the iteration factors of the data. These algorithms are more accurate in predicting bus passengers. This technique handles the problem of passenger flow forecasting in Karnataka State Road Transport Corporation Bus Rapid Transit (KSRTCBRT) transportation, and the framework provides resource planning and revenue estimation predictions for the KSRTCBRT.

     

交通监控场景中的车辆检测与跟踪算法研究

考虑多目标跟踪过程中存在的实时性和身份跳变问题,提出一种基于检测的多车辆跟踪算法。首先利用Mobilenetv2替换YOLOv3检测算法的主干网络,构建目标检测模块YOLOv3-Mobilenetv2,减少检测算法模型参数,提高检测模块的运行速度;在Mobilenetv2中引入Bottom-up连接,增强多尺度特征图间的信息融合;然后构建基于LSTM的运动模型,解决卡尔曼滤波在非线性系统中产生的预测误差,基于Deepsort跟踪算法,引入LSTM运动模型,形成L-Deepsort跟踪算法;改进L-Deepsort跟踪算法外观匹配策略,提升目标间的关联性;最后融合轻量级目标检测算法YOLOv3-Mobilenetv2与多目标跟踪算法L-Deepsort,形成MYL-Deepsort多车辆跟踪算法,实现多车辆的实时准确跟踪。实验结果表明,该方法在跟踪性能提升的情况下,速度较YOLOv3-Deepsort提高21 frame/s,在TX2平台达到13 frame/s。     

改进YOLOv2的端到端自然场景中文字符检测

针对自然场景中文字符检测率低、小字符检测困难以及字符检测类别多样等问题,提出一种基于YOLOv2的改进方法,并将其应用于自然场景中文字符检测中.首先利用k-means++聚类算法对字符目标候选框(anchor)的数量和宽高比维度进行聚类分析,提出多层特征融合策略,对原网络中第4个最大池化层前所输出的特征图经过3times3和1times1大小的卷积核进行卷积操作,并执行4倍的下采样得到局部特征;然后对第5个最大池化层前所输出的特征图经过3times3和1times1大小的卷积核进行卷积操作,并执行2倍的下采样得到局部特征,将局部特征与全局特征融合,同时增加高层卷积中的重复卷积层,将高层卷积中连续且重复的3times3times1024大小的卷积层数由3增加为5;最后使用Chinese text in the wild(CTW)数据集对YOLOv2和改进的YOLOv2算法进行对比实验,结果表明,改进后的YOLOv2算法在中文字符检测中平均准确率均值为78.3%,较原YOLOv2算法提升了7.3%,且明显高于其他自然场景中的文字符检测方法.     

基于计算机视觉的客机舱门识别与定位技术研究

登机桥是机场将航站楼与飞机连接的活动通道,登机桥与客机舱门对接系统的智能化变得尤为重要;对于基于计算机视觉的客机舱门识别与定位系统,其关键组成部分是目标检测系统;传统的目标检测算法通过提取传统手工特征进行学习,不能达到鲁棒性好、速度快、准确性高的检测要求;基于迁移学习在深度学习上的应用,利用SSD(Single Shot Multibox Detector)算法,以轻量化的MobileNet作为特征提取网络,实现了鲁棒性好、准确度高的目标检测模型,完成对客机舱门的识别与定位,对不同样式的舱门、部分遮挡、背景变化、光照变化、运动模糊具有鲁棒性,能准确完成识别功能,完成对舱门在当前视觉图像中的相对位置的解算。     

基于YOLOv7的交通目标检测算法研究

针对交通场景中由光照、遮挡、目标小以及背景复杂等因素导致目标检测精度低,易出现漏检和误检问题的情况,提出了一种基于YOLOv7的交通目标检测算法;该算法在主干网络中融入多头注意力机制,以增强网络特征学习能力,从而更好地捕获数据和特征内部的相关性;在YOLOv7颈部网络引入协调注意力模块(CA),将位置信息嵌入到注意力机制中,忽略无关信息的干扰,以增强网络的特征提取能力;增加一个多尺度检测网络,以增强模型对不同尺度目标的检测能力;将CIoU损失函数更改为SIoU函数,以减少模型收敛不稳定问题,提高模型的鲁棒性;实验结果表明,改进的算法在BDD100K公开数据集上的检测精度和速度分别达到了59.8% mAP和96.2 FPS,相比原算法检测精度提高了2.5%;这表明改进的算法在满足实时性要求的同时,具备良好的检测精度,适用于复杂情况下的交通目标检测任务。     

基于pro-YOLOv4的多尺度航拍图像目标检测算法

航拍图像目标检测存在多尺度目标检测精度低、检测速度慢、漏检和误检严重等问题.针对这些问题,提出一种融合卷积注意力机制和轻量化网络的目标检测算法(pro-YOLOv4),并应用于多尺度航拍图像目标检测.首先,利用K-means聚类算法对航拍数据集进行聚类分析并优化锚框参数,以提高对目标检测的有效性;其次,采用轻量级网络结构,精简网络复杂度,提高检测速度;最后,引入卷积注意力模块来解决复杂场景对于航拍目标检测的干扰,从而有效降低误检率和漏检率.在航拍数据集RSOD和NWPU VHR-10上进行实验对比,实验结果表明,pro-YOLOv4检测效果较YOLOv4有明显提升,平均检测精度分别提高了3.42％和3.98％.该算法不仅对多尺度目标均表现出较好检测性能,还降低了目标漏检率,并具有较好的鲁棒性和泛化能力.     

Transit smart card data mining for passenger origin information extraction

The automated fare collection(AFC) system,also known as the transit smart card(SC) system,has gained more and more popularity among transit agencies worldwide.Compared with the conventional manual fare collection system,an AFC system has its inherent advantages in low labor cost and high efficiency for fare collection and transaction data archival.Although it is possible to collect highly valuable data from transit SC transactions,substantial efforts and methodologies are needed for extracting such data because most AFC systems are not initially designed for data collection.This is true especially for the Beijing AFC system,where a passenger’s boarding stop(origin) on a flat-rate bus is not recorded on the check-in scan.To extract passengers’ origin data from recorded SC transaction information,a Markov chain based Bayesian decision tree algorithm is developed in this study.Using the time invariance property of the Markov chain,the algorithm is further optimized and simplified to have a linear computational complexity.This algorithm is verified with transit vehicles equipped with global positioning system(GPS) data loggers.Our verification results demonstrated that the proposed algorithm is effective in extracting transit passengers’ origin information from SC transactions with a relatively high accuracy.Such transit origin data are highly valuable for transit system planning and route optimization.     

复杂场景下基于增强YOLOv3的舰面多目标检测

针对舰面场景复杂、目标相互遮挡导致检测率较低等问题,在YOLOv3算法基础上提出了适用于舰面目标检测的增强YOLOv3算法。在输入网络中加入融合的数据增强策略对图像进行色域变换、裁剪、遮挡等操作,设计了多种类图片选取、变换及组合方式来丰富样本信息;针对舰面目标尺寸的特点,利用K-means算法重新设计与检测目标相匹配的先验锚框并分配至对应的预测尺度,以加速模型收敛;在输出网络中通过线性函数对Soft-NMS算法的高斯软阈值函数参数设定进行了改进,以适应不同密集度下的抑制需要,提高网络检测能力。通过将增强的目标检测算法在目标数据集上进行实验对比,其结果显示,在5类舰面目标识别的精确率和召回率分别提高了1.4%和10.3%,平均准确率值（mAP）达到了95.24%,检测速度达到21.5?frame/s,有效解决了复杂场景下的舰面多目标检测问题。     

公交客流统计中的目标检测研究

针对国内公交环境下的客流统计进行研究,提出了一种乘客上下车运动目标的检测方法,先把整个运动对象提取出来,再用改进的分水岭算法,结合特征分析将运动对象中的各个目标分割开来。实验结果表明该方法就一般情况下对多人靠在一起也能有效检测目标,但是对于多人完全同色贴在一起的情况,光靠该算法就不太适用了,需要结合随后的跟踪算法进行处理。     

基于改进YOLOv5s的焦炉烟火识别算法

针对炼焦厂烟火排放全天候环保监测的要求,提出了基于改进YOLOv5s的焦炉烟火识别算法;该算法以YOLOv5s为基础网络,在主干网络Backbone中添加CBAM注意力机制模块,使网络更加关注重要的特征,提升目标检测的准确率;新增FReLU激活函数代替SiLU激活函数,提高激活空间的灵敏度,改善烟火图像视觉任务;在自建数据集中烟、火样本标签基础上,增加灯光标签来解决强灯光对火焰识别的干扰,并通过分流训练、检测的方式来解决昼夜场景的烟火检测问题;在自建数据集上做对比实验,更换激活函数后,联合CBAM模块的YOLOv5s模型效果最佳;实验结果显示,与原始YOLOv5s模型相比,在白天场景下的烟火识别mAP值提升了6.7%,在夜间场景下的烟火识别mAP值高达97.4%。     

基于RGB-D融合的密集遮挡抓取检测

针对当前抓取检测模型对密集遮挡物体的检测效果差以及人工数据标注工作量大的问题,提出基于RGB-D图像融合的目标检测与抓取检测分步骤进行的改进方案.新方案支持将单物体图像训练的抓取检测模型直接应用于密集遮挡的多物体图像场景中.首先,考虑到密集遮挡场景下抓取物具有多尺度的特点,提出子阶段路径聚合(SPA)的多尺度特征融合模块,用于丰富RGB-D特征级别融合的目标检测模型SPA-YOLO-Fusion的高维语义特征信息,以便于检测模型定位所有的抓取物;其次,使用基于RGB-D像素级别融合的GR-ConvNet抓取检测模型估计每个物体的抓取点,并提出背景填充的图像预处理算法来降低密集遮挡物体的相互影响;最后,使用机械臂对目标点进行抓取.在LineMOD数据集上对目标检测模型进行测试,实验结果表明SPA-YOLO-Fusion的mAP比YOLOv3-tiny与YOLOv4-tiny分别提高了10%与7%.从实际场景中采集图像制作YODO_Grasp抓取检测数据集并进行测试,结果表明增加背景填充预处理算法的GR-ConvNet的抓取检测精度比原模型提高了23%.     

目标丢失判别机制的视觉跟踪算法及应用研究

当跟踪对象被严重遮挡或者离开相机视野范围时,机器人的跟踪目标往往会丢失。为了实现准确跟踪,提出了目标丢失判别跟踪YOLO-RTM算法。该方法通过YOLOv3检测视频第一帧中的目标。利用实时多域卷积神经网络（Real-Time MDNet,RT-MDNet）跟踪算法预测目标边界框的变化。计算重叠度,根据重叠度与预设阈值的比较结果决定模型更新方式,当重叠度高于阈值时,采用RT-MDNet更新外观模型,当重叠度低于阈值时,采用YOLOv3重新搜索目标并更新外观模型。在Turtlebot2机器人上的实验结果表明,提出的算法能满足移动机器人跟踪的可靠性,且有效提高跟踪算法的实用性。     

多视角数据融合的特征平衡YOLOv3行人检测研究

针对复杂场景下行人发生遮挡检测困难以及远距离行人检测精确度低的问题,本文提出一种多视角数据融合的特征平衡YOLOv3行人检测模型(MVBYOLO),包括2部分:自监督学习的多视角特征点融合模型(Self-MVFM)和特征平衡YOLOv3网络(BYOLO)。Self-MVFM对输入的2个及以上的视角数据进行自监督学习特征,通过特征点的匹配实现多视角信息融合,在融合时使用加权平滑算法解决产生的色差问题;BYOLO使用相同分辨率融合高层语义特征和低层细节特征,得到平衡的语义增强多层级特征,提高复杂场景下车辆前方行人检测的精确度。为了验证所提出方法的有效性,在VOC数据集上进行对比实验,最终AP值达到80.14%。与原YOLOv3网络相比,本文提出的MVBYOLO模型精度提高了2.89%。