Detection of crowdedness in bus compartments based on ResNet algorithm and video images

Multimedia Tools and Applications - The crowding in bus is an important factor affecting passenger satisfaction and bus dispatching level. However, how to use video images to detect crowding...     

Bus passenger flow statistics algorithm based on deep learning

Multimedia Tools and Applications - Bus passenger flow statistics can be used to improve passenger travelling experience and reduce trip delay, this is very important for intelligent...     

基于AdaBoost的公交客流量统计算法

为解决复杂场景目标识别中伪目标的干扰问题,采用基于AdaBoost分类的方法分析疑似目标的三维轨迹,结合真实目标的共有的特征信息,进一步分类真实目标与伪目标。首先,根据深度相机获取的深度图像提取疑似目标的人头区域,利用Kalman滤波跟踪得到的二维轨迹。其次,通过摄像机标定将目标的二维轨迹转换为空间中的三维轨迹。最后,利用AdaBoost训练正负样本得到强分类器,进一步分类真实目标与伪目标。实验结果表明,该方法能够有效的提高目标识别的精度,对复杂场景下的目标识别具有良好的适应性。     

Detection of abnormal traffic video images based on high-dimensional fuzzy geometry

Detection of abnormal video images of transportation is to find out video images that contain abnormities among all images of transportation using video and image processing and analyzing techniques. It is an important component of intelligent transportation system, which can not only reduce the workload of traffic managers, but also effectively improve the efficiency of traffic management. However, video images of transportation in practice usually have complex backgrounds, and current detecting algorithms of traffic abnormity sometimes become ineffective due to interference factors such as noises and affine transformation (illumination variation, target occlusion, scale changes and view changes, etc.). In order to overcome these interference factors and fuzzy uncertainties in image representation, as well as improve the accuracy of traffic images representation, this study explored the representation methods of traffic images using fuzzy geometry theory on the basis of fuzzy uncertainties occurring during the process of imaging, transmission and processing of images; moreover, this study also put forward two kinds of representation algorithms of traffic images, and analyzed and verified effectiveness of representation algorithms based on theories and experiments.     

融合YOLO检测的多目标跟踪算法

针对目前视频多目标跟踪过程中的遮挡问题,提出了一种融合YOLO v3的多目标检测和跟踪算法,选定基于检测跟踪的框架作为跟踪的整体框架,使用YOLO v3来实现对目标信息的检测工作,在选定某一检测类别的基础上,使用本文提出的跟踪算法,通过数据关联完成对此类别的多目标跟踪,并针对跟踪过程中的目标遮挡问题以及因目标遮挡而引起的轨迹跟踪异常的问题,提出了修正算法。测试视频中被遮挡的大部分目标都能准确地跟踪,但在背景移动时也会发生一部分目标身份互换的情况。所提出的算法在解决多目标跟踪中的遮挡问题时具有一定的准确性和实时性。     

智能视频监控系统中改进YOLO算法的实现

智能视频监控主要采用了人工智能、图像处理等先进技术对监控摄像头获得的图像进行分析和处理,在各行各业中得到了广泛的应用,成为当今社会研究的热点。介绍了智能视频监控系统的架构,针对数字化车间的特点,提出一套基于深度学习的检测方法,将YOLO检测算法用于数字化车间中人员和安全帽的检测。为了提高YOLO算法检测小物体的能力,设计了一种改进的YOLO网络结构,将RPN检测算法融入到YOLO算法中,并借鉴R-FCN算法,去掉一个全连接层,在卷积层上进行滑动窗口操作,采用先池化再卷积的方法,以减少图片特征丢失。将改进后的算法用于视频监控中,有效地减少了检测过程中图片特征的丢失,系统检测的实时性和准确率均满足实际工程的需求,实现了车间的智能检测。     

基于YOLO v3算法改进的交通标志识别算法

针对目前交通标志识别任务在使用深度学习算法时存在模型参数量大、实时性较差和准确率较低的问题,提出了基于YOLO v3改进的交通标志识别算法。该算法首先将深度可分离卷积引入YOLO v3算法的特征提取层,将卷积过程分解为深度卷积、逐点卷积两部分,实现通道内卷积与通道间卷积之间的分离,从而保证了在较高识别准确率的基础上极大地减少了算法模型参数数量以及计算量。其次,在损失函数设计上使用广义交并比（GIoU）损失替换均方误差（MSE）损失,将评测标准量化为损失,解决了MSE损失存在的优化不一致和尺度敏感的问题,同时将Focal损失加入到损失函数以解决正负样本严重不均衡的问题,通过降低大量简单背景类的权重使得算法更专注于检测前景类。将该算法应用于交通标志任务中的结果表明,在TT100K数据集上,该算法的平均精度均值（mAP）指标达到了89%,相较于YOLO v3算法提升了6.6个百分点,且其参数量仅为原始YOLO v3算法的1/5左右,每秒帧数（FPS）亦比YOLO v3算法提升了60%。该算法在极大地减少模型参数量和计算量的同时,提高了检测速度和检测精度。     

基于视频粒子流和FTLE场的人群运动分割算法

针对复杂视频监控场景中不同运动行为的人群分割,提出了将视频粒子流和有限时间李雅普诺夫指数(FTLE)场相结合的人群运动分割算法。首先利用视频粒子流来表示长周期的粒子运动估计,通过最小化包含粒子外观匹配一致性和粒子间形变的能量函数,来优化每个粒子的轨迹;接着求解粒子流图的空间梯度,并构造FTLE场;最后利用FTLE场中的拉格朗日相干结构把流图分割成运动特性不同的区域。实验结构表明,算法能从拥挤复杂的视频监控场景中有效地分割出不同运动特性的群体,且具有较好的鲁棒性。     

基于YOLO算法的眼底图像视盘定位方法

视盘的各个参数是衡量眼底健康状况和病灶的重要指标,视盘的检测和定位对于观察视盘的形态尤为重要。在以往的视盘定位研究中,主要根据视盘的形状、亮度、眼底血管的走向等特征使用图像处理的方法对眼底图像中视盘进行定位。由于人为因素影响较大,特征提取时间较长,且视盘定位效率低,因此提出一种基于YOLO算法的眼底图像视盘定位方法。利用YOLO算法将眼底图像划分为N×N的格子,每个格子负责检测视盘中心点是否落入该格子中,通过多尺度的方式和残差层融合低级特征对视盘进行定位,得到不同大小的边界框,最后通过非极大抑制的方式筛选出得分最高的边界框。通过在3个公开的眼底图像数据集(DRIVE、DRISHTI-GS1和MESSIDOR)上,对所提出的视盘定位方法进行测试,定位准确率均为100%,实验同时定位出视盘的中心点坐标,与标准中心点的平均欧氏距离分别为22.36 px、2.52 px、21.42 px,验证了该方法的准确性和通用性。     

Towards proximity-based passenger sensing on public transport buses

While substantial research on intelligent transportation systems has focused on the development of novel wireless communication technologies and protocols, relatively little work has sought to fully exploit proximity-based wireless technologies that passengers actually carry with them today. This paper presents the real-world deployment of a system that exploits public transit bus passengers’ Bluetooth-capable devices to capture and reconstruct micro- and macro-passenger behavior. We present supporting evidence that approximately 12 % of passengers already carry Bluetooth-enabled devices and that the data collected on these passengers captures with almost 80 % accuracy the daily fluctuation of actual passengers flows. The paper makes three contributions in terms of understanding passenger behavior: We verify that the length of passenger trips is exponentially bounded, the frequency of passenger trips follows a power law distribution, and the microstructure of the network of passenger movements is polycentric.     

Mobile robotic teleguide based on video images

Robot teleoperation is inherently related to sensor data transmission. Sensor data can be interpreted by the robotic system before being transmitted and presented to a user. This typically happens with sonar and laser sensors. In other cases, sensor data can directly be presented to a user to let him or her interpret the transmitted information. This happens, for example, with visual data.     

基于Darknet网络和YOLO4的实时电路板故障检测算法

针对现有的接触式电路板故障检测方法难以应用到大规模集成电路故障检测中的问题,提出一种实时、非接触式的基于深度学习的电路板故障诊断算法;建立PCB板缺陷检测和元器件识别图像数据集,并采用数据增强技术,对数据进行数据增强来提高训练的数据量,以提升模型检测精度和鲁棒性;基于Darknet框架和YOLO4算法训练得到元器件检测模型,并通过采用k-means聚类算法设计合理的Anchors,使得模型具备多尺度缺陷检测的功能;使用图像配准算法在红外图像和可见光图像上实现配准和融合;根据PCB板设计时划分的功能区域,利用测温热像仪连续采集5个该区域的平均温度,通过判断5个平均温度之间的关系从而判断短路或者短路状态;经过试验测试,使用预先设置好故障的电路板作为实验对象,通过采集实验对象运行过程中的红外和可见光图像数据,基于设计的故障检测模型,不仅能够实时且有效地识别出元器件位置,并能够直观地标识出现短路、短路故障元器件;经过实际应用,能够满足设备运行时的实时电路板故障检测工程应用。     

基于YOLO的安全帽检测方法

安全帽作为作业工人最基本的个体防护装备,对作业人员的生命安全具有重要意义.但是部分作业人员安全意识缺乏,不佩戴安全帽行为时常发生.本文聚焦于复杂场景下对工作人员是否佩戴安全帽的实时检测.YOLO （You Only Look Once）是当前最为先进的实时目标检测算法,在检测精度和速度上都取得了良好的效果,将YOLO应用于安全帽检测.针对未佩戴安全帽单类检测问题,修改分类器,将输出修改为18维度的张量.基于YOLOv3在ImageNet上的预训练模型,对实际场景下采集到的2010张样本进行标注并训练,根据损失函数和IOU曲线对模型进行优化调参,最终得到最优的安全帽检测模型.实验结果表明,在2000张图片测试集上取得了98.7%的准确率,在无GPU环境下平均检测速度达到了35 fps,满足实时性的检测要求,验证了基于YOLOv3安全帽检测方法的有效性.     

YOLO9000模型的车辆多目标视频检测系统研究

提出了一种基于Darknet框架下YOLO9000算法的车辆多目标检测方法。该方法在YOLO9000算法基础下,根据训练结果和车辆目标特征对YOLO9000网络模型进行改进,并对其算法参数进行调整,获得更为适合于当前道路视频检测的YOLO9000-md网络模型下车辆多目标检测方法。为验证检测方法的有效性和完备性,对其模型进行了验证对比分析,同时对视频车辆进行了检测实验,实验结果表明,基于YOLO9000-md网络结构的车辆多目标检测方法,验证检测正确率达到了96.15%,具有一定的鲁棒性和通用性,为今后进行基于视频的更加智能化和自动化的数据分析提供了可靠的理论依据。     

改进的PrefixSpan算法在客流计数中的应用

序列模式挖掘是基于关联规则的频繁项集的挖掘,其实质是在关联模型中加入时间属性。利用改进的PrefixSpan算法对客流计数系统中不同时段的数据进行挖掘分析,给出不同时段的客流高峰的频繁序列模式,对于提高客流计数系统的精度,给管理决策者调配人力,物力,财力提供技术支持,对于最大限度地发掘购物中心的潜力,提高利润,具有重要的经济意义。     

基于注意力机制与多尺度特征融合的电极缺陷YOLO检测算法

为了满足锂离子电池电极缺陷检测精度与实时性的需求,解决电极图像背景噪声复杂、缺陷微小且对比度低等问题,提出一种基于注意力机制与多尺度特征融合的电极缺陷YOLO检测算法.在YOLOv4的基础上,首先,将SE(squeeze-and-excitation)注意力模块嵌入特征提取主干网络中,区分feature map中不同通道的重要性,强化目标区域的关键特征,提高网络的检测精度;其次,加入融合空洞卷积的池化金字塔(ASPP)结构,增大网络感受野的同时最大程度地保留多尺度特征信息,提高算法对小目标的检测性能;然后,设计一种多尺度稠密特征金字塔,在三尺度特征图的基础上增加一个浅层特征,采用稠密连接的方式融合特征,提升浅层细节特征与高级语义信息的融合能力,增强对微小缺陷特征的提取;最后,采用$ K $-means++算法聚类先验框,引入focal loss损失函数增大小目标样本的损失权重,有效提高网络学习的收敛速度.实验结果表明,所提算法较原YOLOv4模型的mAP值提升6.42%,较其他常用算法综合性能上有着较大的优势,可较好地满足实际工业生产的实时监测需求.     

基于Kinect的自动视频抠像算法

针对传统的视频抠像算法交互频繁、计算复杂度高等问题,利用从Kinect获得的深度图信息、彩色信息以及视频中运动信息,提出基于Kinect的自动视频抠像算法。采用改进的三帧间差分法检测视频中的感兴趣区域（ROI）,根据深度图信息改进自动种子增长区域算法,估算粗略的前景掩膜;通过数学形态学和逻辑操作去除粗前景区域的杂点,自动生成大致的三分图;采用改进的Shared Matting算法,得到精确的视频抠像。实验结果表明,该算法避免了人工交互,精度高且速度快。     

利用视频图像检测车位状态的方法

为了实现停车场空车位的快速自动寻找,提出了一种用于视频图像车位检测的车位组合状态网络模型,在最大后验概率意义下,求解最可能的车位状态.对改进的HSI车位图像像素进行贝叶斯分类,利用预先训练好的条件概率计算出相邻车位状态传递概率,通过车位组合状态网络的优化,确定出最佳的车位状态.该方法可以很好地解决车辆遮挡所造成的误判问题,准确地检出车位的占有情况.实验结果表明,该方法具有较高的准确性与鲁棒性,特别是可以较好地消除车辆相互遮挡和环境光线变化对检测结果造成的影响.