基于视差和条纹调制度分析的多物体场景分割

噪声是影响图像分割的重要因素,文中提出了一种能够在含噪声的真实场景中准确提取出多个物体区域的分割方案。利用基于正弦条纹投影的双目结构光系统,得到包含目标物体的相位图和视差图。将视差图映射到U-视差图中,利用物体和噪声区域在该视差空间的不同形态特征,采用闭合区域检测算法初步得到各个物体的分割区域,并结合条纹调制度阈值分析法进一步去除阴影区域的噪声,最终得到精确的分割结果。客观评价的数据分析表明,文中提出的分割算法,不仅对噪声的鲁棒性较好,还可以有效地将物体与水平支撑面分割开,在不同场景下具有计算复杂度低,抗干扰能力强的优势,分割准确率均在90%以上,最高可达到99.2%,平均运行时间为27 ms。     

基于语义分割的双目场景流估计

针对现有场景流计算方法在复杂场景、大位移和运动遮挡等情况下易产生运动边缘模糊的问题,提出一种基于语义分割的双目场景流估计方法.首先,根据图像中的语义信息类别,通过深度学习的卷积神经网络模型将图像划分为带有语义标签的区域;针对不同语义类别的图像区域分别进行运动建模,利用语义知识计算光流信息并通过双目立体匹配的半全局匹配方法计算图像视差信息.然后,对输入图像进行超像素分割,通过最小二乘法耦合光流和视差信息,分别求解每个超像素块的运动参数.最后,在优化能量函数中添加语义分割边界的约束信息,通过更新像素到超像素块的映射关系和超像素块到移动平面的映射关系得到最终的场景流估计结果.采用KITTI 2015标准测试图像序列对本文方法和代表性的场景流计算方法进行对比分析.实验结果表明,本文方法具有较高的精度和鲁棒性,尤其对于复杂场景、运动遮挡和运动边缘模糊的图像具有较好的边缘保护作用.     

基于双目立体视觉的场景分割方法

提出一种基于双目立体视觉的场景分割方法:首先根据双目立体视觉系统提供的左右视图进行三维场景重构,得到场景的几何深度图,同时利用左视图进行RGB颜色空间到CIELab均匀颜色空间的转换以得到颜色信息;然后将颜色与几何信息构造生成六维向量;最后再将六维向量给到聚类算法中进行分割并对分割的伪影进行消除,得到最终的分割结果.对Middlebury数据集样本场景baby 2实验了6种立体视觉算法和3种聚类技术的不同组合进行的场景分割,从实验结果来看,不同的组合应用所提方法都比传统方法具有更好的分割效果.     

视觉SLAM在动态场景下的图像处理方法

SLAM一直是机器人领域的研究热点,近年来取得了万众瞩目的进步,但很少有SLAM算法考虑到动态场景的处理。针对视觉SLAM场景中动态目标的处理,提出一种在动态场景下的图像处理方法。将基于深度学习的语义分割算法引入到ORB_SLAM2方法中,对输入图像进行分类处理的同时剔除人身上的特征点。基于已经剔除特征点的图像进行位姿估计。在TUM数据集上与ORB_SLAM2进行对比,在动态场景下的绝对轨迹误差和相对路径误差精度提高了90%以上。在保证地图精度的前提下,改善了地图的适用性。     

显著中心先验和显著-深度概率矫正的RGB-D显著目标检测

随着深度特征在图像显著检测领域中发挥越来越重要的作用,传统的RGB图像显著检测模型由于未能充分利用深度信息已经不能适用于RGB-D图像的显著检测。该文提出显著中心先验和显著-深度(S-D)概率矫正的RGB-D显著检测模型,使得深度特征和RGB特征间相互指导,相互补充。首先,依据3维空间权重和深度先验获取深度图像初步显著图;其次,采用特征融合的流形排序算法获取RGB图像的初步显著图。接着,计算基于深度的显著中心先验,并以该先验作为显著权重进一步提升RGB图像的显著检测结果,获取RGB图像最终显著图;再次,计算显著-深度矫正概率,并对深度图的初步显著检测结果使用此概率进行矫正。接着,计算基于RGB的显著中心先验,并以该先验作为显著权重进一步提升深度图像矫正后的显著检测结果,获取深度图像的最终显著图;最后,采用优化框架对深度图像最终显著图进行优化得到RGB-D图像最终的显著图。所有的对比实验都是在公开的数据集NLPR RGBD-1000数据集上进行,实验结果显示该文算法较当前流行的算法有更好的性能。     

Depth segmentation in real-world scenes based on U–V disparity analysis

Depth segmentation has the challenge of separating the objects from their supporting surfaces in a noisy environment. To address the issue, a novel segmentation scheme based on disparity analysis is proposed. First, we transform a depth scene into the corresponding U-V disparity map. Then, we conduct a region-based detection method to divide the object region into several targets in the processed U-disparity map. Thirdly, the horizontal plane regions may be mapped as slant lines in the V-disparity map, the Random Sample Consensus (RANSAC) algorithm is improved to fit such multiple lines. Moreover, noise regions are reduced by image processing strategies during the above processes. We respectively evaluate our approach on both real-world scenes and public data sets to verify the flexibility and generalization. Sufficient experimental results indicate that the algorithm can efficiently segment and label a full-view scene into a group of valid regions as well as removing surrounding noise regions.     

Stereo matching based on multi-direction polynomial model

This paper presents a segmentation based stereo matching algorithm. For the purposes of both preserving the shape of object surfaces and being robust to under segmentations, we introduce a new scene formulation where the reference image is divided into overlapping lines. The disparity value and the index of pixels on lines are modeled by polynomial functions. Polynomial functions are propagated among lines to obtain smooth surfaces via solving energy minimizing problems. Finally, the disparity of pixels is estimated from the disparity fields provided by lines. Because lines in multiple directions implicitly segment different objects in an under segmentation region, our method is robust for under segmented regions where it is usually difficult for conventional region based methods to produce satisfactory results. Experimental results demonstrate that the proposed method has an outstanding performance compared with the current state-of-the-art methods. The scene representation method in this work is also a powerful approach to surface based scene representations.     

合并分割块的点云语义分割方法

随着激光雷达等三维点云获取工具的快速发展,点云的语义信息在计算机视觉、智能驾驶、遥感测绘、智慧城市等领域更具重要意义。针对基于分割块特征匹配的点云语义分割方法无法处理过分割和欠分割点云块、行道树和杆状物的语义分割精度低等问题,提出了一种基于分割块合并策略的行道树和杆状物点云语义分割方法,该方法可对聚类分割后感兴趣的分割块进行合并,通过计算其多维几何特征实现对合并后的物体分类,并使用插值优化算法对分割结果进行优化,最终实现城市道路环境下行道树和杆状物的语义分割。实验结果表明,所提方法可将城市道路环境下的行道树、杆状物等点云数据的召回率和语义分割精度平均提升至89.9%以上。基于分割块合并的语义分割方法,可以很好地解决城市道路下行道树和杆状物语义分割精度低等问题,该方法对于三维场景感知等问题的研究具有重要意义。     

采用几何复杂度的室外场景图像分割和深度生成

本文提出一种采用几何复杂度的室外场景图像几何分割和深度生成算法。该算法首先通过图像中主要线段的角度统计分布将室外场景图像的几何结构规划为四种类型;然后,利用meanshift分割算法将输入图像分割成若干小区域,依据该图像的场景几何结构将这些小的区域逐步融合成为三个大的区域,每个区域具有一致的深度分布特点,由此实现输入图像的几何分割;最后,根据几何类型定义标准的深度图,结合输入图像的几何分割结果获得图像的深度图。实验结果表明可以通过简单的线段角度统计分布实现图像的几何分割,并进一步获得图像的深度图,与已有算法相比,提出的算法可以更好地保持深度图细节,更接近场景的真实的深度信息。      

语义驱动的颜色恒常决策算法

不同颜色恒常性算法适用于不同场景下的图像,算法融合是扩展颜色恒常性算法适用范围常用的方法之一,而现有融合性算法在算法选择依据上忽略了语义信息在图像纹理特征描述中的作用,导致光源估计时的精度不高。针对该问题,提出一种语义驱动的颜色恒常决策算法。首先,利用PSPNet(Pyramid Scene Parsing Network)模型对经过一阶灰度边缘算法(1st Gray Edge)偏色预处理后的目标图像进行场景语义分割,并计算场景中各个语义类别的占比;其次,根据语义类别及占比在已训练的决策集合中寻找相似的参考图像,并使用欧氏距离计算两者的语义相似度;最后,将语义相似度与基于多维欧氏空间确定的阈值进行判别,根据判别结果选择合适算法为目标图像实行偏色校正。在Color Checker和NUS-8 camera两种数据集中的实验结果表明,所提算法光源估计角度误差较单一算法均大幅度下降,且较同类型融合性算法分别下降14.02%和8.17%,提高了光源估计的鲁棒性和准确度。     

基于全卷积神经网络的非对称并行语义分割模型

针对RGB图像具有丰富的色彩细节特征,红外图像对目标轮廓、尺寸、边界等外形特征有较高敏感度的特点,提出了一种非对称并行语义分割模型APFCN（Asymmetric Parallelism Fully Convolutional Networks）.APFCN上路设计了一个卷积核尺寸非统一的五层空洞卷积网络来提取红外图像目标高层轮廓特征;下路沿用卷积加池化网络提取RGB图像三个尺度上的细节特征;后端将红外图像高层特征与RGB图像三个尺度的细节特征进行融合,并将4倍上采样后的融合特征作为语义分割输出.结果表明,APFCN在像素精度和交并比等方面均优于FCN（输入为RGB图像或红外图像）,适用于背景一致下地面目标的语义分割任务.     

CCFNet: Cross-Complementary fusion network for RGB-D scene parsing of clothing images

Schemes to complement context relationships by cross-scale feature fusion have appeared in many RGB-D scene parsing algorithms; however, most of these works conduct multi-scale information interaction after multi-modal feature fusion, which ignores the information loss of the two modes in the original coding. Therefore, a cross-complementary fusion network (CCFNet) is designed in this paper to calibrate the multi-modal information before feature fusion, so as to improve the feature quality of each mode and the information complementarity ability of RGB and the depth map. First, we divided the features into low, middle, and high levels, among which the low-level features contain the global details of the image and the main learning features include texture, edge, and other features. The middle layer features contain not only some global detail features but also some local semantic features. Additionally, the high-level features contain rich local semantic features. Then, the feature information lost in the coding process of low and middle level features is supplemented and extracted through the designed cross feature enhancement module, and the high-level features are extracted through the feature enhancement module. In addition, the cross-modal fusion module is designed to integrate multi-modal features of different levels. The experimental results verify that the proposed CCFNet achieves excellent performance on the RGB-D scene parsing dataset containing clothing images, and the generalization ability of the model is verified by the dataset NYU Depth V2.     

基于小基高比的快速立体匹配方法

为了提高立体匹配效率和获得高精度的亚像素级视差,该文提出一种快速的小基高比立体匹配方法。该方法首先利用积分图像加速自适应窗口和规范互相关度量的计算,然后根据可靠性约束进一步拒绝错误匹配,再采用基于迭代二倍重采样的亚像素级匹配方法为可信点计算亚像素级视差,最后利用基于图分割的视差平面拟合方法获得稠密的亚像素级视差图。实验结果表明该方法不但可获得高精度的亚像素级视差而且还提高了算法的匹配效率,满足了小基高比立体重建的需求。     

基于优化的极限学习机和深度层次的RGB-D显著检测

目前,相当多的显著目标检测方法均聚焦于2D的图像上,而RGB-D图像所需要的显著检测方法与单纯的2D图像相去甚远,这就需要新的适用于RGB-D的显著检测方法。该文在经典的RGB显著检测方法,即极限学习机的应用的基础上,提出融合了特征提取、前景增强、深度层次检测等多种思路的新的RGB-D显著性检测方法。该文的方法是：第一,运用特征提取的方法,提取RGB图4个超像素尺度的4096维特征;第二,依据特征提取中产生的4个尺度的超像素数量,分别提取RGB图的RGB, LAB, LBP特征以及深度图的LBE特征;第三,根据LBE和暗通道特征两种特征求出粗显著图,并在4个尺度的遍历中不断强化前景、削弱背景;第四,根据粗显著图选取前景与背景种子,放入极限学习机中进行分类,得到第1阶段显著图;第五,运用深度层次检测、图割等方法对第1阶段显著图进行再次优化,得到第2阶段显著图,即最终显著图。     

基于颜色和边缘信息的交通标志检测

根据我国交通标志的颜色和几何属性,提出了一种适用于自然背景下的交通标志检测方法。该方法采用RGB彩色分量差对自然背景下的禁令标志图像进行分割,结合最小二乘法对像素坐标进行椭圆拟合,再根据边界的圆形度参数判断是否为圆形区域。实验证明了该方法的有效性与鲁棒性。     

基于改进稳态匹配概率的立体匹配算法研究

针对稳态匹配概率(Steady-State Matching Probability,SSMP)立体匹配算法在处理视差范围大的测试图中产生的空洞现象以及使用该算法后由于右视差图中的错误视差导致的左视差图中正确视差丢失问题,提出一种基于稳态匹配概率和半全局匹配(Semi-Global Matching,SGM)相结合的立体匹配算法。首先使用SSMP算法求取初始视差图。接着,使用基于爬山法颜色分割的填充准则进行填充。然后使用SGM算法重新获取视差图,将两幅视差图中一致的视差信息填充到经过左右一致性检测后的含有空洞的视差图中。最后,使用SSMP算法中的空洞填充和中值滤波得到精化后的视差图。实验结果表明,改进后的SSMP算法在Middlebury测试平台上第2版本的四组图像的平均匹配误差从5.38%减少到5.23%,第3版本部分测试图像的平均匹配误差从24.7%减少到21.5%,该算法能很好地处理上述问题,有效提高匹配精确度,且具有鲁棒性。     

基于引导滤波及视差图融合的立体匹配

立体匹配是双目视觉领域的重要研究方向.为在保证图片纹理区域匹配精度的同时降低弱纹理区域的误匹配率,提出一种基于引导滤波及视差图融合的立体匹配方法.首先,根据图像颜色相似性将图片划分为纹理较丰富区域和弱纹理区域.接着,分别采用不同参数的引导滤波进行代价聚合及视差计算,得到两张视差图.然后依据纹理区域划分的结果对获得的两张视差图进行融合.最后,通过左右一致性检测、加权中值滤波等视差优化步骤得到最终视差图.对Middlebury测试平台上标准图像对的实验结果表明,该方法在6组弱纹理图像上的平均误匹配率为9.67％,较传统引导滤波立体匹配算法具有更高的匹配精度.     

基于Mean Shift和L*u*v*彩色空间改进的FH图像分割方法

针对FH算法(Felzenszwalb和Huttenloch提出的图像分割算法)中存在的欠合并现象,在L*u*v*彩色空间,结合Mean Shift算法,提出了一种改进FH图像分割方法,即IFH(Improved FH)。该方法首先采用Mean Shift算法获得均值漂移图像,再将图像由RGB空间转换到L*u*v*颜色空间;然后,结合L*u*v*彩色空间,采用FH算法构造带权无向图,基于图像的颜色特征进行分割。实验证明,与原算法相比,该方法在分割精度与分割质量上有了很大程度的提高。     

Refinement of depth from stereo camera ego-motion parameters

An algorithm for refinement of depth (disparity) map from stereoscopic sequences is proposed. the method is based on estimation of ego-motion parameters of the camera system and frame-by-frame prediction of 3d scene feature point co-ordinates. disparity maps with sub-pixel accuracy were obtained without the need for disparity computations in each single frame.     

基于视差与灰度双层支持窗的立体匹配算法

针对传统局部匹配支持窗难以利用空间、灰度距离远的像素信息的问题,提出一种基于视差和灰度的双层支持窗立体匹配算法。该算法根据视差图获得第一层视差支持窗,在视差支持窗内配合参考图RGB颜色灰度值获得灰度相似子支持窗;随后以视差窗、灰度窗、中心像素为优化路径,通过类动态规划算法优化聚合匹配代价;最后采用WTA策略选取最佳视差,更新所有视差,并不断迭代优化视差图直到视差收敛。经过Middlebury 平台的测评,新算法的平均误匹配率为5.15%。