基于多因素贝叶斯的遮挡目标检测

复杂场景中的遮挡现象会造成目标外观信息损失,致使检测过程中容易出现目标遗漏。通过分析目标表示对特定布局的依赖性,提出一种基于多因素贝叶斯的遮挡目标检测方法。首先,使用部件模型提供目标局部区域的候选提议,然后,根据空间布局关系估计部件的可见性概率,并同时考虑目标部件的外观特征和形变位置,最后,构建基于外观、形变、可见性因素的贝叶斯模型,并采用最大化曲线下方面积设计目标检测评价函数,完成多因素权重学习。实验结果证明在PASCAL数据集中的有效性,优于目标检测的现有方法。     

场景视点偏移的激光雷达点云分割

目的 激光雷达采集的室外场景点云数据规模庞大且包含丰富的空间结构细节信息,但是目前多数点云分割方法并不能很好地平衡结构细节信息的提取和计算量之间的关系。一些方法将点云变换到多视图或体素化网格等稠密表示形式进行处理,虽然极大地减少了计算量,但却忽略了由激光雷达成像特点以及点云变换引起的信息丢失和遮挡问题,导致分割性能降低,尤其是在小样本数据以及行人和骑行者等小物体场景中。针对投影过程中的空间细节信息丢失问题,根据人类观察机制提出了一种场景视点偏移方法,以改善三维（3D）激光雷达点云分割结果。方法 利用球面投影将3D点云转换为2维（2D）球面正视图（spherical front view,SFV）。水平移动SFV的原始视点以生成多视点序列,解决点云变换引起的信息丢失和遮挡的问题。考虑到多视图序列中的冗余,利用卷积神经网络（convolutional neural networks,CNN）构建场景视点偏移预测模块来预测最佳场景视点偏移。结果 添加场景视点偏移模块后,在小样本数据集中,行人和骑行者分割结果改善相对明显,行人和骑行者（不同偏移距离下）的交叉比相较于原方法最高提升6.5%和15.5%。添加场景视点偏移模块和偏移预测模块后,各类别的交叉比提高1.6% 3%。在公用数据集KITTI（Karlsruhe Institute of Technology and Toyota Technological Institute）上与其他算法相比,行人和骑行者的分割结果取得了较大提升,其中行人交叉比最高提升9.1%。结论 本文提出的结合人类观察机制和激光雷达点云成像特点的场景视点偏移与偏移预测方法易于适配不同的点云分割方法,使得点云分割结果更加准确。     

3D遮挡模型引导的光场图像深度获取

目的 光场相机可以通过单次曝光同时从多个视角采样单个场景,在深度估计领域具有独特优势。消除遮挡的影响是光场深度估计的难点之一。现有方法基于2D场景模型检测各视角遮挡状态,但是遮挡取决于所采样场景的3D立体模型,仅利用2D模型无法精确检测,不精确的遮挡检测结果将降低后续深度估计精度。针对这一问题,提出了3D遮挡模型引导的光场图像深度获取方法。方法 向2D模型中的不同物体之间添加前后景关系和深度差信息,得到场景的立体模型,之后在立体模型中根据光线的传输路径推断所有视角的遮挡情况并记录在遮挡图（occlusion map）中。在遮挡图引导下,在遮挡和非遮挡区域分别使用不同成本量进行深度估计。在遮挡区域,通过遮挡图屏蔽被遮挡视角,基于剩余视角的成像一致性计算深度;在非遮挡区域,根据该区域深度连续特性设计了新型离焦网格匹配成本量,相比传统成本量,该成本量能够感知更广范围的色彩纹理,以此估计更平滑的深度图。为了进一步提升深度估计的精度,根据遮挡检测和深度估计的依赖关系设计了基于最大期望（exception maximization,EM）算法的联合优化框架,在该框架下,遮挡图和深度图通过互相引导的方式相继提升彼此精度。结果 实验结果表明,本文方法在大部分实验场景中,对于单遮挡、多遮挡和低对比度遮挡在遮挡检测和深度估计方面均能达到最优结果。均方误差（mean square error,MSE）对比次优结果平均降低约19.75%。结论 针对遮挡场景的深度估计,通过理论分析和实验验证,表明3D遮挡模型相比传统2D遮挡模型在遮挡检测方面具有一定优越性,本文方法更适用于复杂遮挡场景的深度估计。     

改进星型级联可形变部件模型的行人检测

目的 行人检测是计算机视觉和模式识别领域的研究热点与难点,由于经典的可形变部件模型(DPM)检测速度太慢,引入PCA降维的星型级联检测可形变部件模型(casDPM)相比较于DPM模型检测速度虽然有了很大提升,但在应用于行人检测时,出现检测精度较低、平均对数漏检率较高的情况,为了更加准确地对行人进行检测,提出了一种改进casDPM模型的行人检测方法。方法 首先利用对象度量方法获取目标候选区域,结合目标得分信息得到casDPM模型低分检测区域的置信度,在设定的阈值上保留检测窗口;然后针对casDPM模型原有非极大值抑制(Nms)算法只利用单一的面积信息,造成误检数较高的情况,提出了利用检测窗口的得分信息进行改进;最后将两种方法结合起来,提出了融合的cas-WNms-BING模型。结果 采用本文方法在INRIA数据集上进行检测,实验结果表明该方法对于行人形变、背景特征复杂及遮挡现象具有较强的鲁棒性,相比casDPM模型,本文提出的方法平均精度(AP)可以提高1.74%,平均对数漏检率可以降低4.45%。结论 提出一种改进星型级联可形变部件模型,取得一定的研究成果,在复杂的背景下,能够有效地进行行人检测,主观视觉感受和客观实验评价指标都表明该方法可以有效提升模型行人检测效果。但是,星型级联可形变部件模型训练及检测效率仍有待提高,需进一步对模型存在的一些局限性进行深入研究。     

LoVPE 3维局部特征描述子

目的 局部特征描述子在3维目标识别等任务中能够有效地克服噪声、不同点云分辨率、局部遮挡、点云散乱分布等因素的干扰,但是已有3维描述子难以在性能和效率之间取得平衡,为此提出LoVPE（局部多视点投影视图相关编码）特征描述子用于复杂场景中的3维目标识别。方法 首先构建局部参考坐标系,将世界坐标系下的局部表面变换至关键点局部参考坐标系下的局部表面;然后绕局部参考坐标系各坐标轴旋转K个角度获得多视点局部表面,将局部表面内的点投影至局部参考系各坐标平面内,投影平面分成N×N块,统计每块内投影点的散布信息生成特征描述向量;最后将各视点特征描述向量进行两两视图对相关编码得到低维度特征描述向量,采用ZCA（零项分量分析）白化降低特征描述向量各维间相关性得到LoVPE描述子。结果 在公用数据集上进行不同描述子对噪声、不同分辨率、遮挡及杂波等干扰鲁棒性的特征匹配实验,实验结果表明,提出的描述子特征匹配率与现有最佳描述子处于同等水平,但保持了较低的特征维度和较高的计算效率,维度降低约1半、特征构建及特征匹配时间缩短为现有最佳描述子的1/4。结论 提出一种新的3维局部特征描述子,具有强描述能力,对噪声、不同网格分辨率、遮挡及杂波等具有强鲁棒性,存储消耗较少且计算效率较高,该方法适用于模型点云及真实点云数据,可用于复杂场景中的3维目标识别。     

区域建议网络的细粒度车型识别

目的 细粒度车型识别旨在通过任意角度及场景下的车辆外观图像识别出其生产厂家、品牌型号、年款等信息,在智慧交通、安防等领域具有重要意义。针对该问题,目前主流方法已由手工特征提取向卷积神经网络为代表的深度学习方法过渡。但该类方法仍存在弊端,首先是识别时须指定车辆的具体位置,其次是无法充分利用细粒度目标识别其视觉差异主要集中在关键的目标局部的特点。为解决这些问题,提出基于区域建议网络的细粒度识别方法,并成功应用于车型识别。方法 区域建议网络是一种全卷积神经网络,该方法首先通过卷积神经网络提取图像深层卷积特征,然后在卷积特征上滑窗产生区域候选,之后将区域候选的特征经分类层及回归层得到其为目标的概率及目标的位置,最后将这些区域候选通过目标检测网络获取其具体类别及目标的精确位置,并通过非极大值抑制算法得到最终识别结果。结果 该方法在斯坦福BMW-10数据集的识别准确率为76.38%,在斯坦福Cars-196数据集识别准确率为91.48%,不仅大幅领先于传统手工特征方法,也取得了与目前最优的方法相当的识别性能。该方法同时在真实自然场景中取得了优异的识别效果。结论 区域建议网络不仅为目标检测提供了目标的具体位置,而且提供了具有区分度的局部区域,为细粒度目标识别提供了一种新的思路。该方法克服了传统目标识别对于目标位置的依赖,并且能够实现一图多车等复杂场景下的车型细粒度识别,具有更好的鲁棒性及实用性。     

级联型P-RBM神经网络的人脸检测

目的 针对非理想条件下快速准确的人脸检测问题,提出一种基于概率态多层受限玻尔兹曼机(RBM)级联神经网络的检测方法。方法 它采用RBM中神经元的概率态表征来模拟人脑神经元连续分布的激活状态,并且利用多层P-RBM(概率态RBM)级联来仿真人脑对视觉的层次学习模式,又以逐层递减隐藏层神经元数来控制网络规模,最后采用分层训练和整体优化的机制来缓解鲁棒性和准确性的矛盾。结果 在LFW、FERET、PKU-SVD-B以及CAS-PEAL数据集上的测试都实现了优于现有典型算法的检测性能。对于单人脸检测,相比于Adaboost算法,将漏检率降低了2.92%;对于多人脸检测,相比于结合肤色的Adaboost算法,将误检率降低了14.9%,同时漏检率降低了5.0%,检测时间降低了50%。结论 无论是静态单张人脸,还是复杂条件下视频多人脸检测,该方法不仅在误检率和漏检率上表现更好,而且具有较快的检测速度,同时对于旋转人脸检测具有较强的鲁棒性。针对基于肤色的多人脸检测研究,该方法能显著降低误检率。     

基于Fast R-CNN的车辆目标检测

目的 在传统车辆目标检测问题中,需要针对不同图像场景选择适合的特征。为此提出一种基于快速区域卷积神经网络（Fast R-CNN）的场景图像车辆目标发现方法,避免传统车辆目标检测问题中需要设计手工特征的问题。方法 该方法基于深度学习卷积神经网络思想。首先使用待检测车辆图像定义视觉任务。利用选择性搜索算法获得样本图像的候选区域,将候选区域坐标与视觉任务示例图像一起输入网络学习。示例图像经过深度卷积神经网络中的卷积层,池化层计算,最终得到深度卷积特征。在输入时没有规定示例图像的规格,此时得到的卷积特征规格不定。然后,基于Fast R-CNN网络结构,通过感兴趣区域池化层规格化特征,最后将特征输入不同的全连接分支,并行回归计算特征分类,以及检测框坐标值。经过多次迭代训练,最后得到与指定视觉任务强相关的目标检测模型,具有训练好的权重参数。在新的场景图像中,可以通过该目标检测模型检测给定类型的车辆目标。结果 首先确定视觉任务包含公交车,小汽车两类,背景场景是城市道路。利用与视觉任务强相关的测试样本集对目标检测模型进行测试,实验表明,当测试样本场景与视觉任务相关度越高,且样本中车辆目标的形变越小,得到的车辆目标检测模型对车辆目标检测具有良好的检测效果。结论 本文提出的车辆目标检测方法,利用卷积神经网络提取卷积特征代替传统手工特征提取过程,通过Fast R-CNN对由示例图像组成定义的视觉任务训练得到了效果良好的车辆目标检测模型。该模型可以对与视觉任务强相关新场景图像进行效果良好的车辆目标检测。本文结合深度学习卷积神经网络思想,利用卷积特征替代传统手工特征,避免了传统检测问题中特征选择问题。深层卷积特征具有更好的表达能力。基于Fast R-CNN网络,最终通过多次迭代训练得到车辆检测模型。该检测模型对本文规定的视觉任务有良好的检测效果。本文为解决车辆目标检测问题提供了更加泛化和简洁的解决思路。     

结合网格密度聚类的行人检测候选域生成

目的 行人检测是计算机视觉领域中的重点研究问题。经典的可变形部件模型（DPM）算法在行人检测领域素有高检测精度的优点,但由于在构建特征金字塔前处理过多召回率低的候选区域,导致计算速度偏慢,严重影响系统的实时性。针对该问题,本文对模型中选取候选检测区域的流程进行了改进,提出一种结合网格密度聚类算法和选择性搜索算法的行人检测候选对象生成方法来改进DPM模型。方法 首先使用三帧差法和高斯混合模型收集固定数量的运动物体坐标点,然后结合基于网格密度的聚类算法构建网格坐标模型,生成目标频繁运动区域,同时进行动态掩层处理。随后引入改进的选择性搜索算法,结合支持向量机（SVM）训练得到的行人轮廓宽高比,提取该区域中高置信度的行人候选检测窗口,从而排除大量冗余的区域假设,完成对候选行人检测区域的精筛选,最后融合至DPM算法进行行人检测。结果 所提方法在PETS 2009 Bench-mark数据集上进行检测,实验结果表明,该方法对复杂背景下的检测有较强的稳定性,与传统DPM模型相比,精度提高了1.71%、平均对数漏检率降低2.2%、检测速度提高为3.7倍左右。结论 本文提出一种基于网格密度聚类的行人检测候选域生成算法,能够有效表达行人信息,与其他行人检测算法相比,有更好的精度和更快的速度,在检测率、检测时间方面均有提高,能够实现有效、快速的行人检测,具有实际意义。     

双重视图下的3维网格模型可见水印

目的 为保护3维模型数据的版权,提出一种在3维视图下和线框视图下都可察觉的3维网格可见水印,并针对三角形网格建立了相应的可见水印算法。方法 该算法首先将待嵌入区域投影到2维平面上,再将矢量形式的水印信息嵌入其中,最后将该区域投影到原模型上。算法的核心过程是将三角形划分成在水印信息内和在水印信息外的两部分。文中借鉴了Sutherland-Hodgeman多边形裁剪算法,将其应用于水印嵌入的过程。结果 为验证算法的可行性,使用3个3维模型数据进行了实验,实验结果表明该算法较好地保持了原模型的外观,且嵌入的水印信息在两种视图下清晰可见,嵌入水印后的数据增加量约为10%。结论 本文算法可有效地嵌入水印信息,达到保护3维模型数据版权的目的。     

全局多极团的分层关联多目标跟踪

目的 由于背景的复杂性,光照的多变性以及目标的相关性等因素的影响,使得多目标跟踪算法的鲁棒性相对较差。目前,在多目标跟踪问题中面临的主要挑战包括：遮挡、误检、目标运动的复杂性以及由于目标具有相似的外观特征所引起的模糊性。针对以上问题,提出一种基于全局多极团的分层关联多目标跟踪算法。方法 该方法以数据关联中的全局关联为依托,基于分层和网络流思想,跟踪采用两层框架,每一层中均利用较短的轨迹片段形成更长的轨迹,根据网络流思想,首先构建网络的无向图,其中无向图的结点是由几个轨迹片段构成的,无向图权值的确定是利用目标的运动模型和外观模型的线性组合得到,然后借助聚合虚拟结点处理目标之间的遮挡问题,接着重点加入空间约束以解决身份转换的问题。最后利用最大二值整数规划在叠加片段上求解无向图,同时得到多个极大团。结果 实验在公共数据集上进行,通过在TUD-Stadmitte、TUD-Crossing、PETS2009、Parking Lot 1、Parking Lot 2、Town Center这6个数据集上验证,该方法对各个数据集跟踪准确度均有提高,其中针对数据集TUD-Stadmitte提高了5%以上,针对数据集Town Center处理的身份转换数量减少了12个。结论 本文依据数据关联思想,提出一种全局多极团的分层关联多目标跟踪算法,其中重点加入的空间约束能有效地处理多目标跟踪问题,尤其涉及遮挡问题,效果更佳。在智能视频监控领域中该方法具有实际应用价值。     

自适应在线判别外观学习的分层关联多目标跟踪

目的 复杂场景下目标频繁且长时间的遮挡、跟踪目标外观相似引起身份转换等问题给多目标跟踪带来许多挑战。针对多目标跟踪在复杂场景中因长时间遮挡引起身份转换和轨迹分段的问题,提出一种基于自适应在线判别外观学习的分层关联多目标跟踪算法。方法 利用轨迹置信度将多目标跟踪分为局部关联和全局关联两个层次。在局部关联中,置信度高的可靠轨迹利用外观、位置-大小相似度与当前帧检测点进行关联;在全局关联中,置信度低的不可靠轨迹引入运动模型和有效关联范围进一步关联分段的轨迹。在提取目标外观特征时引入增量线性可判别分析方法以解决身份转换问题,依据新增样本与目标样本均值的外观特征差异自适应地更新目标外观模型。结果 在公开数据集2D MOT2015中的PETS09-S2L1、TUD-Stadmitte、Town-Center 3个数据集中与当前10种多目标跟踪算法进行比较,该方法对各个数据集身份转换和轨迹分段都有减少,其中在Town-Center数据集中,身份转换减少了60个,轨迹分段减少了84个,跟踪准确度提高了5.2%以上。结论 本文多目标跟踪方法,能够在复杂场景中稳定有效地实现多目标跟踪,减少轨迹分段现象,其中引入的在线线性可判别外观学习对遮挡产生的身份转换具有良好的解决效果。     

Robot vision using a feature search strategy generated from a 3Dobject model

A robot vision system that automatically generates an object recognition strategy from a 3D model and recognizes the object using this strategy is presented. The appearance of an object from various viewpoints is described in terms of visible 2D features such as parallel lines and ellipses. Features are then ranked according to the number of viewpoints from which they are visible. The rank and feature extraction cost of each feature are used to generate a treelike strategy graph. This graph gives an efficient feature search order when the viewpoint is unknown, starting with commonly occurring features and ending with features specific to a certain viewpoint. The system searches for features in the order indicated by the graph. After detection, the system compares a lines representation generated from the 3D model with the image features to localize the object. Perspective projection is used in the localization process to obtain the precise position and attitude of the object, whereas orthographic projection is used in the strategy generation process to allow symbolic manipulation. Experimental results are given     

多模型协作的分块目标跟踪

为解决复杂场景下,基于整体表观模型的目标跟踪算法容易丢失目标的问题,提出一种多模型协作的分块目标跟踪算法.融合基于局部敏感直方图的产生式模型和基于超像素分割的判别式模型构建目标表观模型,提取局部敏感直方图的亮度不变特征来抵制光照变化的影响;引入目标模型的自适应分块划分策略以解决局部敏感直方图算法缺少有效遮挡处理机制的问题,提高目标的抗遮挡性;通过相对熵和均值聚类度量子块的局部差异置信度和目标背景置信度,建立双权值约束机制和子块异步更新策略,在粒子滤波框架下,选择置信度高的子块定位目标.实验结果表明,本文方法在复杂场景下具有良好的跟踪精度和稳定性.     

基于Alamouti编码的协作频谱检测性能分析

针对感知无线电系统的频谱检测问题,设计Alamouti空时编码与时分多址方式相结合的协作通信上报方案,并对其检测性能进行分析。推导系统误告警概率、漏告警概率和误告警概率下限的理论表达式。分析结果表明,该方案的上报误码率会随本地用户交互信道质量的改善而下降,编码增益可达3 dB以上,系统误告警概率的下限降低。     

噪声响应相关性对CA-CFAR检测器的影响

主要研究噪声响应之间的相关性对CA-CFAR检测器的虚警概率的影响。讨论了加性高斯白噪声环境中噪声响应的统计特性,推导了噪声响应相关情况下CA-CFAR检测器的虚警概率,与噪声响应相互独立的假设条件下的CA-CFAR检测器的虚警概率进行了比较。在上述情况下,对CA-CFAR检测器的检测性能进行了仿真。仿真结果表明在实际工程中可以忽略噪声响应的相关性。     

带不确定量测和未知虚警概率的粒子滤波器

为了解决带不确定量测和未知虚警概率的非线性非高斯系统状态估计问题,本文提出了一种新的粒子滤波方法,利用随机不确定量测模型来更新粒子和权值,并基于极大似然准则来辨识未知的虚警概率.本文所提出的带不确定量测和已知虚警概率的粒子滤波方法与现有标准的粒子滤波方法具有几乎一致的计算复杂度,但是更适合用于处理带不确定量测的非线性非高斯系统状态估计问题.此外,在状态转移密度函数被选择为建议密度函数时,本文证明了基于所提出的虚警概率辨识方法的极大似然估计唯一,从而为精确辨识虚警概率提供了理论保证.单变量非平稳增长模型和纯方位跟踪的数值仿真验证了所提出粒子滤波方法的有效性和与现有方法相比的优越性.     

运动显著性概率图提取及目标检测

目的 动态场景图像中所存在的静态目标、背景纹理等静态噪声,以及背景运动、相机抖动等动态噪声,极易导致运动目标检测误检或漏检。针对这一问题,本文提出了一种基于运动显著性概率图的目标检测方法。方法 该方法首先在时间尺度上构建包含短期运动信息和长期运动信息的构建时间序列组;然后利用TFT（temporal Fourier transform）方法计算显著性值。基于此,得到条件运动显著性概率图。接着在全概率公式指导下得到运动显著性概率图,确定前景候选像素,突出运动目标的显著性,而对背景的显著性进行抑制;最后以此为基础,对像素的空间信息进行建模,进而检测运动目标。结果 对提出的方法在3种典型的动态场景中与9种运动目标检测方法进行了性能评价。3种典型的动态场景包括静态噪声场景、动态噪声场景及动静态噪声场景。实验结果表明,在静态噪声场景中,F_score提高到92.91%,准确率提高到96.47%,假正率低至0.02%。在动态噪声场景中,F_score提高至95.52%,准确率提高到95.15%,假正率低至0.002%。而在这两种场景中,召回率指标没有取得最好的性能的原因是,本文所提方法在较好的包络目标区域的同时,在部分情况下易将部分目标区域误判为背景区域的,尤其当目标区域较小时,这种误判的比率更为明显。但是,误判的比率一直维持在较低的水平,且召回率的指标也保持在较高的值,完全能够满足于实际应用的需要,不能抵消整体性能的显著提高。另外,在动静态噪声场景中,4种指标均取得了最优的性能。因此,本文方法能有效地消除静态目标干扰,抑制背景运动和相机抖动等动态噪声,准确地检测出视频序列中的运动目标。结论 本文方法可以更好地抑制静态背景噪声和由背景变化（水波荡漾、相机抖动等）引起的动态噪声,在复杂的噪声背景下准确地检测出运动目标,提高了运动目标检测的鲁棒性和普适性。     

基于部件的对象实时跟踪

针对视频序列中出现的遮挡等问题,提出了一种基于部件的对象跟踪方法。该方法将目标中的多个部件作为跟踪对象,采用基于核的灰度直方图来描述跟踪对象中的各个部件,通过卡尔曼滤波器预测部件的参数,继而利用直方图进行修正,以完成跟踪。实验证明,基于部件的跟踪方法不但能够有效地克服遮挡问题,而且能克服对象内部存在的相对运动以及非刚体变形等问题,具有良好的实时性和很好的跟踪效果。     

双光流网络指导的视频目标检测

目的 卷积神经网络广泛应用于目标检测中,视频目标检测的任务是在序列图像中对运动目标进行分类和定位。现有的大部分视频目标检测方法在静态图像目标检测器的基础上,利用视频特有的时间相关性来解决运动目标遮挡、模糊等现象导致的漏检和误检问题。方法 本文提出一种双光流网络指导的视频目标检测模型,在两阶段目标检测的框架下,对于不同间距的近邻帧,利用两种不同的光流网络估计光流场进行多帧图像特征融合,对于与当前帧间距较小的近邻帧,利用小位移运动估计的光流网络估计光流场,对于间距较大的近邻帧,利用大位移运动估计的光流网络估计光流场,并在光流的指导下融合多个近邻帧的特征来补偿当前帧的特征。结果 实验结果表明,本文模型的mAP（mean average precision）为76.4%,相比于TCN（temporal convolutional networks）模型、TPN+LSTM（tubelet proposal network and long short term memory network）模型、D（&T loss）模型和FGFA（flow-guided feature aggregation）模型分别提高了28.9%、8.0%、0.6%和0.2%。结论 本文模型利用视频特有的时间相关性,通过双光流网络能够准确地从近邻帧补偿当前帧的特征,提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。