TUOD 遮挡图像库的设计与实现

遮挡问题是复杂场景图像中一个普遍存在的现象,探索遮挡对图像认知的影响规 律、建立具有抗遮挡能力的认知模型直接关系到计算机视觉技术的实际应用,是一个迫切需要 解决的科学问题。通过研究复杂场景图像中的遮挡问题,探索遮挡对图像认知的影响规律,建 立一个评估检测识别算法的抗遮挡能力、研究图像认知模型及抗遮挡规律的 TUOD (Tsinghua University Occlusion Database)遮挡图像库。首先,根据遮挡对图像识别的影响,提出遮挡部件、 遮挡面积、遮挡关系、遮挡复杂度 4 个维度的图像遮挡属性,建立了图像遮挡程度量化标准; 其次,基于遮挡维度提出一个新的层次化图像库组织结构,以此为基础进行数据库构建。从 PASCAL VOC 和 ImageNet 中进行图像筛选和处理,构建了一个包括飞机、车辆、人、动物 4 大类,共 2 100 张图片的 TUOD 遮挡图像库。利用 TUOD 图像库,结合机器学习理论,通过实 验比较分析不同遮挡维度对 Faster R-CNN 算法的影响。实验表明,TUOD 遮挡图像库能够为算 法的抗遮挡能力提供量化评估标准。TUOD 遮挡图像库的建立为提高抗遮挡算法的性能奠定了 基础,具有实用性。     

基于生成对抗网络学习被遮挡特征的目标检测方法

实际生活中目标间存在的遮挡会造成待检测目标的特征缺失,进而使得检测准确度降低.鉴于此,提出一种用于被遮挡特征学习的生成对抗网络(generative adversarial networks for learning occluded features, GANLOF).被遮挡特征学习网络分为被遮挡特征生成器、鉴别器两个部分.首先对数据集生成随机遮挡,作为模型的输入;然后利用生成器恢复被遮挡图片的池化特征,通过鉴别器区分恢复后的被遮挡池化特征与无遮挡图片池化特征,同时使用检测损失监督生成器,使恢复的被遮挡特征更准确.所提出被遮挡特征学习网络可以作为组件插入到任意的两阶段检测网络中.与Faster RCNN等已有模型相比,所提出模型在PASCAL VOC2007和KITTI数据集上的mAP(mean average precision)指标均有不同程度的提升.     

一种神经网络模型剪枝后泛化能力的验证方法

针对神经网络模型在剪枝操作中Dropout率下调造成的过拟合问题,提出一种剪枝模型泛化能力的验证方法。研究人为遮挡数据集模拟图像范围的变化情况,分析不同Dropout值和剪枝比例对模型准确率的影响,进而得到剪枝操作后模型泛化能力变化的原因。在卷积神经网络模型lenet-5上进行实验,结果表明,剪枝模型泛化能力减弱是因为Dropout率下调和剪枝操作时参数量的变化。     

基于掩膜生成网络的遮挡人脸检测方法

针对复杂遮挡条件下人脸检测精度低的问题,提出一种基于掩膜生成网络（MGN）的遮挡人脸检测方法。对人脸训练集进行预处理,将训练人脸划分为25个子区域,并为每个子区域分别添加遮挡。将一系列添加遮挡的人脸图像和原始人脸图像作为图像对依次输入MGN进行训练,以生成对应各个遮挡子区域的遮挡掩膜字典。通过组合相关字典项生成与检测人脸遮挡区域相对应的组合特征掩膜,并将该组合特征掩膜与检测人脸深层特征图相点乘,以屏蔽由局部遮挡引起的人脸特征元素损坏。在AR和MAFA数据集上进行实验,结果表明,该方法的检测精度高于MaskNet、RPSM等方法,且检测速度较快。     

基于遮挡检测的尺度自适应相关滤波跟踪

近年来,相关滤波（CF）方法在目标跟踪领域的应用取得了骄人的成绩.本文针对相关跟踪在目标遮挡时效果不佳以及尺度变化方面不敏感的问题,提出了一个有效的遮挡检测机制和尺度变换策略.将跟踪目标以中心为原点分成四块矩形块,通过计算分析四块的峰值响应（Peak-to-Sidelobe Ratio,PSR）来判断目标受遮挡情况.并依据之前四个峰值响应点的位置,提出一个新的自适应尺度更新策略.在具有遮挡,尺度变化,光照变化等问题的公开数据集上对该方法进行测试,仿真实验表明,本文提出的自适应尺度的核相关滤波（OSCF）具有良好的跟踪性能.     

有遮挡人脸识别进展综述

人脸识别技术水平不断提升,在身份认证、人机交互等应用上得到了较为理想的识别率,市场规模不断增长。然而真实场景下的遮挡问题并没有被彻底解决,如何抑制或消除遮挡对人脸关键性特征的负面影响是当前人脸识别领域的热点之一。针对遮挡导致的人脸结构信息缺失问题,对有遮挡人脸识别数据集和有遮挡人脸识别方法进行综述,首先介绍分析了一些重要的新型有遮挡人脸识别数据集;其次,归纳分析了用于解决遮挡问题的传统方法和深度学习方法,重点介绍了基于深度学习的特征鲁棒性提取方法和遮挡部位信息恢复方法;最后,总结分析了相关方法的优缺点,指出有遮挡人脸识别研究存在的问题和挑战,对未来研究方向进行了展望。     

基于对比学习的细粒度遮挡人脸表情识别

和实验室环境不同, 现实生活中的人脸表情图像场景复杂, 其中最常见的局部遮挡问题会造成面部外观的显著改变, 使得模型提取到的全局特征包含与情感无关的冗余信息从而降低了判别力. 针对此问题, 本文提出了一种结合对比学习和通道-空间注意力机制的人脸表情识别方法, 学习各局部显著情感特征并关注局部特征与全局特征之间的关系. 首先引入对比学习, 通过特定的数据增强方法设计新的正负样本选取策略, 对大量易获得的无标签情感数据进行预训练, 学习具有感知遮挡能力的表征, 再将此表征迁移到下游人脸表情识别任务以提高识别性能. 在下游任务中, 将每张人脸图像的表情分析问题转化为多个局部区域的情感检测问题, 使用通道-空间注意力机制学习人脸不同局部区域的细粒度注意力图, 并对加权特征进行融合, 削弱遮挡内容带来的噪声影响, 最后提出约束损失联合训练, 优化最终用于分类的融合特征. 实验结果表明, 无论是在公开的非遮挡人脸表情数据集(RAF-DB和FER2013)还是人工合成的遮挡人脸表情数据集上, 所提方法都取得了与现有先进方法可媲美的结果.     

结合Cannikin’s Law的离线数据增广方法研究

数据增广是提升深度学习模型性能的有效方法之一。针对多类别目标检测任务中检测性能不平衡问题,提出一种针对“短板类别”（检测性能远低于模型平均检测性能的类别）的离线数据增广方法。受Cannikin’s Law的启发,采用基于复制粘贴（copy-paste）机制的场景多样性增广方法。随机采集训练集中“短板类别”实例区域,通过相似性度量机制选取训练集中增广目标样本进行随机粘贴。为了降低随机粘贴导致的遮挡问题,采用基于自遮挡（cut-replace）机制的增广方法提升模型遮挡表达能力。通过截取样本自身区域,对特征表达最显著区域进行遮挡。实验表明,FCOS目标检测框架在PASCAL VOC数据上的平均检测精度（mean average precision,mAP）从79.10%提升到83.90%,其中短板类别更为显著,提升了20.8个百分点。在MS-COCO数据上平均检测精度提升了0.9个百分点。     

嵌入遮挡关系模块的SSD模型的输电线路图像金具检测

为了提升深度学习目标检测模型在输电线路金具自动化检测任务中的准确率,针对金具检测数据集中金具目标标注框之间不可避免地广泛存在相交而导致金具目标检测定位不准确的问题,本文利用相交区域的相似性作为金具目标的上下文信息,提出目标间遮挡关系的描述方法,用于规则性描述图像中金具目标间的相互遮挡,设计遮挡关系模块,并将其嵌入到单次多框检测器(single shot multibox detector, SSD)模型中。为了验证嵌入遮挡关系模块的SSD模型的有效性,选择了8类目标标注框普遍存在相交的小目标金具进行实验,实验使用的金具检测数据集的训练集和测试集中金具目标数分别为6 271和1 713。实验证明,原始SSD模型的平均精度均值(mean average precision, mAP)为72.10%,嵌入遮挡关系模块的SSD模型的mAP为76.56%,性能提升了4.46%。     

自适应成本量的抗遮挡光场深度估计算法

目的 光场相机通过一次成像同时记录场景的空间信息和角度信息,获取多视角图像和重聚焦图像,在深度估计中具有独特优势。遮挡是光场深度估计中的难点问题之一,现有方法没有考虑遮挡或仅仅考虑单一遮挡情况,对于多遮挡场景点,方法失效。针对遮挡问题,在多视角立体匹配框架下,提出了一种对遮挡鲁棒的光场深度估计算法。方法 首先利用数字重聚焦算法获取重聚焦图像,定义场景的遮挡类型,并构造相关性成本量。然后根据最小成本原则自适应选择最佳成本量,并求解局部深度图。最后利用马尔可夫随机场结合成本量和平滑约束,通过图割算法和加权中值滤波获取全局优化深度图,提升深度估计精度。结果 实验在HCI合成数据集和Stanford Lytro Illum实际场景数据集上展开,分别进行局部深度估计与全局深度估计实验。实验结果表明,相比其他先进方法,本文方法对遮挡场景效果更好,均方误差平均降低约26.8%。结论 本文方法能够有效处理不同遮挡情况,更好地保持深度图边缘信息,深度估计结果更准确,且时效性更好。此外,本文方法适用场景是朗伯平面场景,对于含有高光的非朗伯平面场景存在一定缺陷。     

一种基于双背景模型的遗留物检测方法

针对一般遗留物检测算法运算量大和难以适应遮挡情况的问题,提出了一种静止单摄像机条件下快速有效的遗留物检测算法。算法建立了两个基于累积均值更新法的背景模型,分别称之为纯背景模型和脏背景模型。通过两个背景的差别得到静止目标块,并对静止目标块进行跟踪,当静止目标停留超过设定的时间即判定其为遗留物并触发报警。由于算法避免了使用复杂度数学概率背景模型,大大减低了背景更新的计算复杂度,使算法能满足视频监控系统实时处理的要求。同时,算法在静止目标跟踪模块中增加了碰撞帧数计数使遮挡情况下的遗留物跟踪得到更好的效果。在PETS2006数据集提供的多个视频序列实验中,该算法显示了良好的性能。     

Partially Occluded Object Recognition Using Statistical Models

In this paper, we present a new Bayesian framework for partially occluded object recognition based on matching extracted local features on a one-to-one basis with object features. We introduce two different statistical models for occlusion: one model assumes that each feature in the model can be occluded independent of whether any other features are occluded, whereas the second model uses spatially correlated occlusion to represent the extent of occlusion. Using these models, the object recognition problem reduces to finding the object hypothesis with largest generalized likelihood. We develop fast algorithms for finding the optimal one-to-one correspondence between scene features and object features to compute the generalized likelihoods under both models. We conduct experiments illustrating the differences between the two occlusion models using different quantitative metrics. We also evaluate the recognition performance of our algorithms using examples extracted from object silhouettes and synthetic aperture radar imagery, and illustrate the performance advantages of our approach over alternative algorithms.     

Study on visual machine-learning on the omnidirectional transporting robot

We present a computer vision solution integrated to an omnidirectional transporting robot to perform the position tracking of multiple trays moving on its planar acrylic plate surface. The trays were designed to carry lightweight materials on top of their surface so that the mechanism could be implemented as an automated transporting system for applications that require the displacement of products and/or materials in any given space. One hurdle faced by the visual system for suitable detection was the partial occlusion of the image of a tray when placing arbitrary objects on its surface. Our strategy to overcome this challenge consisted on the implementation of machine learning algorithms, such as Support Vector Machines (SVM), using datasets of images containing trays with different occlusion patterns for fast object detection through rigorous training. The results of experimental tests validate the implementation of our proposal as a reliable approach for the object tracking of multiple trays on the robotic device, even under partial occlusion. We also studied the accuracy of the position measurements performed by our visual system with respect to the position measurements taken by the OPTITRACK motion capture system and evaluated the processing time per frame required by the software implementation.     

团块与Mean-Shift结合的局部遮挡目标跟踪

传统的基于Mean-Shift的目标跟踪方法利用目标的全局特征进行跟踪,在局部遮挡情况下跟踪效果不佳。提出一种基于团块建模和Mean-Shift相结合的利用目标局部特征的运动目标跟踪方法,对目标进行团块建模,利用Mean-shift算法对各团块进行跟踪,在此基础上确定目标新位置。该方法能够在目标发生局部遮挡时,自动选取未被遮挡的团块的跟踪结果来确定目标的位置。为了提高方法对背景干扰的鲁棒性,采用背景加权的Mean-Shift算法。实验结果表明：该方法在局部遮挡的情况下可较好地进行目标跟踪,跟踪效果优于报导的基于Mean-Shift的方法。     

面向遮挡与透视影响的道路凸包梯形检测算法

以安防监控视频下受遮挡与透视影响的道路作为研究对象,针对行人、行车对道路边界线的遮挡造成的消失点难以检测和实例分割欠分割难题,提出了一种改进的实例分割道路检测方法。首先使用实例分割对道路区域进行提取,然后通过凸包算法补偿行人、行车对道路边界线的遮挡,最后将其拟合成符合场景结构的梯形模型,从而优化对道路的检测。实验结果表明,该方法解决了道路受遮挡与透视影响而导致检测不准确的问题,可以满足安防监控视频下道路检测的需求,具有实际意义。     

面向部件遮挡补偿的车辆检测模型

目的 复杂场景中多目标间的遮挡,会造成车辆视觉信息损失,致使车辆检测出现漏检问题。方法 为解决遮挡车辆漏检问题,提出一种遮挡补偿模型,分析车辆部件的单视点/多视点可见概率,弥补已有基于部件的车辆检测模型对遮挡区域信息描述的不足。首先,通过外观模型估计车辆候选区域,确定车辆各部件的位置和相似程度,判定车辆部件的遮挡情况,并获得外观项和结构项;其次,计算车辆区域的单视点可见概率和多视点可见概率,并获取被遮挡的部件中心点对应的单视点/多视点可见概率,作为车辆检测的补偿项,调整遮挡部分的检测得分;最后,将车辆检测的外观项、结构项和补偿项,统一到遮挡补偿模型中,实现对候选区域的车辆判断。结果 实验结果表明,对比于现有的车辆检测模型,本文算法在PASCAL、MSRC以及真实场景中车辆检测结果对应的P-R曲线性能更佳。结论 该遮挡补偿模型在保持虚警率的同时,能够有效提升遮挡车辆的检测准确性。     

基于熵和运动偏移量的野生动物遮挡检测方法

针对野生动物实时目标检测过程中因遮挡导致的目标检测准确率降低的问题,考虑到视频特有的时间序列关系,提出了一种基于熵和运动偏移量的野生动物遮挡检测方法。该方法通过YOLOv3模型对目标进行特征提取,根据位置偏移量与视频序列中最低信息熵对应的图像,获取待检测遮挡目标的检测位置与类别。实验结果表明,结合YOLOv3、信息熵、时间序列关系以及位置偏移量的实时目标检测方法能够很好地解决野生动物遮挡的检测问题,提升了实时目标检测的稳定性与准确率。     

适用于遮挡问题的目标跟踪算法

提出一种基于网格模型的目标跟踪算法．该算法首先进行遮挡区域检测，然后进行网格结点的运动估计和网格更新过程完成目标的多帧跟踪．改进的遮挡区域检测算法有效地提高了检测准确度，从而确保遮挡区域的准确跟踪；网格结点的运动估计是通过特征窗口运动补偿匹配完成，可以有效地克服块效应．实验证明，该算法解决了二维运动估计时网格模型在遮挡区域存在的问题，并可以有效地进行目标准确跟踪．