基于分割的离焦图像深度图提取方法

针对影视作品中的大量离焦图像,提出了一种离焦图像的深度图提取方法。将离焦图像的聚焦前景和离焦背景进行分离。对离焦背景提出了深度图模型匹配的方法,构建深度图模型并结合人眼视觉对场景深度的敏锐判断,将背景与对应的深度图模型进行匹配,实现背景深度图的构建;提出了基于颜色分割的深度图再处理,来进一步提高场景深度图的精度。对前景采用单深度赋值,并结合背景深度图融合生成最终深度图。实验表明采用该方法提取的深度图在深度跳跃和深度平滑区域都得到了好的效果。     

单幅图像的深度标签流形学习

图像中背景与前景对象的空间位置决定了场景在图像中的相对深度,利用图像的局部特征相似性和流形结构的降维性能,并应用salient区域DCT高频系数分布的深度排序索引性能,定义出图像深度的马尔科夫概率图模型MRF。通过划分场景对象检测salient区域模糊度,最后估计得出图像场景的相对深度图。通过学习图像数据的流形嵌入对数据流形分布概率密度函数进行迁移,得出遵循相似流形分布的对象特征类别标记概率密度分布。进一步检测空间变化salient区的模糊程度,融合多尺度梯度幅度的高频离散余弦变换DCT系数特征,依据模糊变化高频特征计算深度标记索引确定深度标签的层级次序,融合类别标签以生成深度图。这种模型框架下检测单个图像中模糊和未模糊的区域,可获得图像中场景的相对深度,而无需了解相机设置或模糊类型的先验参数。在典型的深度图估计数据集中应用MRF深度图模型评测图像的深度估计性能,实验结果给出该方法在检测场景分布和划分场景深度次序上的准确率,验证了方法的有效性。     

基于图像深度重定义的雾天车道线特征提取

为了解决雾天车道线特征不清晰、车道线特征分割阈值选取困难的问题,提出了一种结合图像深度重定义去雾模型的雾天车道线特征提取方法.首先,将采集装置与道路之间的实际场景映射到几何模型上.其次,在抽象好的几何模型上提出图像深度图的定义,并根据图像深度图以及雾天图像模型计算去雾之后的图像.最后,利用图像HSV颜色模型,构建图像分割模型,对车道线特征和非车道线特征进行初步分割,并结合OSTU阈值调优方法对车道线特征进行二次分割.实验结果显示,去雾之后车道线特征清晰,阈值分割比传统的OSTU分割效果更好,最终非车道线特征的占比要比基于灰度算法的平均减少14％.     

基于双目立体视觉的快速人头检测方法

为满足人流统计实时性的要求,提出一种人头检测算法。该方法对双目相机采集的图像通过运动目标检测分离出运动人员所在区域,对这些区域使用融合区域匹配和特征匹配的快速匹配方法,即利用视差的连续性只对强纹理点进行绝对误差累积(SAD)匹配,其他点只进行简单的视差验证,能够得到稠密的视差图,再由三角投影关系计算出深度图。由于双目立体成像得到的深度图中人员与场景的深度分布不同,可以采用深度分层的方法将存在人头信息的深度层提取出来,经过数学形态学预处理再利用边缘检测会得到许多候选轮廓,最终利用轮廓的几何特征来判断轮廓是否为人头。实验表明:该算法可以很好地适应复杂场景下的人头检测,精度高、速度快。     

一种全息体视图虚实场景融合显示的图像编码方法

为了较好地实现全息体视图虚实场景融合的立体显示,分析了虚实场景之间存在的遮挡关系,提出一种基于实例分割与深度值判定的图像编码方法。理论分析表明,场景间的遮挡来源于特定视角下物点的不同深度信息,相机采样时只能保留近处物点的强度信息。求解采样图像的深度图,利用深度值判定的方法可以实现场景的有效融合。为进一步降低深度值求解不精确的影响,利用Mask R-CNN实例分割算法对真实场景的采样图像进行分层处理,并赋予各层伪深度值,再采用深度值判定方法实现虚实场景之间有遮挡关系的融合编码。采用基于有效视角图像分割与重组(EPISM)的方法进行全息打印光学实验,结果表明,所提出的图像编码方法可以有效实现虚实场景融合的立体显示。     

基于纹理信息引导的光场深度图优化

光场相机获取的四维光场信息可用于场景深度估计,但是大多深度估计算法获得的深度图存在边缘模糊、精度有限等问题。因此,结合引导滤波器边缘保持局部平滑特性,提出基于纹理信息引导的光场深度图优化算法。该算法以纹理信息丰富的光场中心孔径图像作为引导图像,建立了基于多评价函数的混合引导滤波参数寻优模型,以获得合理滤波器参数实现深度图引导滤波优化。实验结果表明,优化后的深度图边缘的视觉效果明显改善,与散焦结合相关性评价算法获得的原始深度图相比,均方误差平均降低1.12%。     

基于图像感知与分割的自动背景虚化算法

针对单目移动设备难以拍摄出背景虚化图像的问题,结合深度学习的图像感知与分割算法,提出了一种图像自动背景虚化算法.基于深度学习的图像感知与分割算法得到图像的焦点图、深度图和掩码图三种辅助图.利用辅助图自动确定主体或由用户指定主体,并计算背景各区域的深度.利用多尺度高斯滤波对背景各区域进行不同程度的虚化处理.将虚化后的各区...     

基于超像素分割的深度图像修复算法

为了提高Kinect相机获取的深度图质量,提出了一种基于超像素分割的图像修复算法。 首先对深度图和彩色图分别 进行双边滤波和超像素分割;其次,结合深度图像和彩色图像相似性,记录彩色分割块的位 置,并对应于 深度图中;最后,在每个分割块对应深度区域中,根据丢失像素点在分割块中所占比例,划 分为无空洞区 域、小空洞区域、大空洞区域和全空洞区域4类。采用快速行进算法对小空洞区域进行 修复,利用中 值填补算法进行大空洞区域修复,对全空洞区域利用邻域区间对应彩色图像相似性进行填充 。4种类型中 的无空洞区域无需修复。实验结果表明,本文方法与FMM、Shen和Scheming的方法相比, 平均均方根误差(RMSE) 分别降低了2.958、0.822和0.078,修复 的主观质量也有所提高。     

一种极化SAR图像T型港口识别方法

针对T型港口特有的几何结构特征, 提出了一种极化合成孔径雷达(Synthetic Aperture Radar, SAR)图像T型港口识别方法.该方法利用基于区域统计特性的极化SAR数据水平集分割方法实现精确的海岸线提取.在此基础上通过曲线分裂归并算法提取岸线特征点, 并利用T型港口始末特征点的近距离特性实现感兴趣区域提取.然后采用基于链码的直线判断方法提取港口轮廓线段, 并通过判断轮廓平行直线和垂线特征实现T型港口的识别.使用伯克利地区TerraSAR极化SAR数据进行实验验证, 结果表明了提出算法的有效性, 能在大场景范围内正确识别出沿岸T型港口.     

加权SIFT流深度迁移的单幅图像2D转3D

2D视频转3D视频是解决3D片源不足的主要手段,而单幅图像的深度估计是其中的关键步骤.提出基于加权SIFT流深度迁移和能量模型优化的单幅图像深度提取方法.首先利用图像的全局描述符从深度图数据库中检索出近邻图像;其次通过SIFT流建立输入图像和近邻图像之间像素级稠密对应关系;再次由SIFT流误差计算迁移权重,将近邻图像对应像素点的深度乘以权重后迁移到输入图像上;然后利用均值滤波对迁移后的近邻图像深度进行融合;最后建立深度图优化能量模型,在尽量接近迁移后近邻图像深度的前提下,平滑梯度较小区域的深度.实验结果表明,该方法降低了估计深度图的平均相对误差,增强了深度图的均匀性.     

Depth segmentation in real-world scenes based on U–V disparity analysis

Depth segmentation has the challenge of separating the objects from their supporting surfaces in a noisy environment. To address the issue, a novel segmentation scheme based on disparity analysis is proposed. First, we transform a depth scene into the corresponding U-V disparity map. Then, we conduct a region-based detection method to divide the object region into several targets in the processed U-disparity map. Thirdly, the horizontal plane regions may be mapped as slant lines in the V-disparity map, the Random Sample Consensus (RANSAC) algorithm is improved to fit such multiple lines. Moreover, noise regions are reduced by image processing strategies during the above processes. We respectively evaluate our approach on both real-world scenes and public data sets to verify the flexibility and generalization. Sufficient experimental results indicate that the algorithm can efficiently segment and label a full-view scene into a group of valid regions as well as removing surrounding noise regions.     

Study on traffic scene semantic segmentation method based on convolutional neural network

In order to improve the semantic segmentation accuracy of traffic scene,a segmentation method was proposed based on RGB-D image and convolutional neural network.Firstly,on the basis of semi-global stereo matching algorithm,the disparity map was obtained,and the sample library was established by fusing the disparity map D and RGB image into the four-channel RGB-D image.Then,with two different structures,the networks were trained by using two different learning rate adjustment strategy respectively.Finally,the traffic scene semantic segmentation test was carried out with RGB-D image as the input,and the results were compared with the segmentation method based on RGB image.The experimental results show that the proposed traffic scene segmentation algorithm based on RGB-D image can achieve higher semantic segmentation accuracy than that based on RGB image.     

基于激光与可见光同步数据的室外场景三维重建

本文根据TH-3DLCS-2001三维成像扫描仪可同步扫描激光与可见光数据的特点,提出了室外场景三维重建的系统方法.推导了激光与可见光采样点的配准关系,给出了每一激光采样点的RGB值;引入马氏距离,提出了基于反向投影的多机位三维数据快速配准算法,将多机位三维数据无缝拼合在同一坐标系内;依据Hough变换和模糊子集,划分室外三维数据场为房顶、墙面、窗户、地面、树木、其他物体等6类,并给出了网格剖分方法.实验证明本文所提出的方法有效地解决了室外场景三维重建的基本问题.     

基于双目立体视觉的场景分割方法

提出一种基于双目立体视觉的场景分割方法:首先根据双目立体视觉系统提供的左右视图进行三维场景重构,得到场景的几何深度图,同时利用左视图进行RGB颜色空间到CIELab均匀颜色空间的转换以得到颜色信息;然后将颜色与几何信息构造生成六维向量;最后再将六维向量给到聚类算法中进行分割并对分割的伪影进行消除,得到最终的分割结果.对Middlebury数据集样本场景baby 2实验了6种立体视觉算法和3种聚类技术的不同组合进行的场景分割,从实验结果来看,不同的组合应用所提方法都比传统方法具有更好的分割效果.     

基于Kinect的实时深度提取与多视绘制算法

提出了一种基于Kinect的实时深度提取算法和单纹理+深度的多视绘制方法。在采集端,使用Kinect提取场景纹理和深度,并针对Kinect输出深度图的空洞提出一种快速修复算法。在显示端,针对单纹理+深度的基于深度图像的绘制(DIBR,depth image based rendering)绘制产生的大空洞,采用一种基于背景估计和前景分割的绘制方法。实验结果表明,本文方法可实时提取质量良好的深度图,并有效修复了DIBR绘制过程中产生的大空洞,得到质量较好的多路虚拟视点图像。以所提出的深度获取和绘制算法为核心,实现了一种基于深度的立体视频系统,最终的虚拟视点交织立体显示的立体效果良好,进一步验证了本文算法的有效性。本文系统可用于实景的多视点立体视频录制与播放。     

视觉SLAM在动态场景下的图像处理方法

SLAM一直是机器人领域的研究热点,近年来取得了万众瞩目的进步,但很少有SLAM算法考虑到动态场景的处理。针对视觉SLAM场景中动态目标的处理,提出一种在动态场景下的图像处理方法。将基于深度学习的语义分割算法引入到ORB_SLAM2方法中,对输入图像进行分类处理的同时剔除人身上的特征点。基于已经剔除特征点的图像进行位姿估计。在TUM数据集上与ORB_SLAM2进行对比,在动态场景下的绝对轨迹误差和相对路径误差精度提高了90%以上。在保证地图精度的前提下,改善了地图的适用性。     

FRFCM聚类与深度优化的RGBD场景流计算

针对现有RGBD场景流计算模型在复杂场景、非刚性运动和运动遮挡等情况下易产生场景过度平滑和运动边缘模糊的问题,提出一种基于FRFCM（Fast and Robust Fuzzy C-Means）聚类与深度优化的RGBD场景流计算方法.首先以图像序列连续帧间光流信息为基准,利用FRFCM聚类算法对输入图像进行初始分割,然后根据深度图像的运动边缘信息优化初始分割结果,提取高置信度的运动分层信息.最后设计基于图像分割的RGBD场景流能量函数,采用金字塔变形策略计算精确的场景流结果.分别采用Middlebury和MPI-Sintel数据库所提供的测试图像集对本文方法和现有的RGBD场景流算法进行综合对比分析,实验结果表明本文方法相对于其他方法具有更好的场景流估计精度和鲁棒性,有效改善了场景过度平滑和运动边缘模糊问题.     

对象引导的单幅散焦图像深度提取方法

2D图像转3D图像是解决3D影视内容缺乏的主要手段之一,而深度提取是其中的关键步骤.考虑到影视作品中存在大量散焦图像,提出单幅散焦图像深度估计的方法:首先通过高斯卷积将散焦图像转换成两幅模糊程度不同的图像;其次计算这两幅图像在边缘处的梯度幅值比例,进而根据阶跃信号与镜头的卷积模型得到边缘处的模糊度;再次将边缘处的模糊度转换成图像的稀疏深度并利用拉普拉斯矩阵插值得到稠密深度图;最后通过图像的视觉显著度提取前景对象,建立对象引导的深度图优化能量模型,使前景的深度趋于一致并平滑梯度较小区域的深度.该方法利用对象引导的深度优化,剔除了拉普拉斯矩阵插值引入深度图的纹理信息.模拟图像的峰值信噪比和真实图像的视觉对比均表明该算法比现有方法有较大改善.     

Outdoor scene image segmentation based on background recognition and perceptual organization

In this paper, we propose a novel outdoor scene image segmentation algorithm based on background recognition and perceptual organization. We recognize the background objects such as the sky, the ground, and vegetation based on the color and texture information. For the structurally challenging objects, which usually consist of multiple constituent parts, we developed a perceptual organization model that can capture the nonaccidental structural relationships among the constituent parts of the structured objects and, hence, group them together accordingly without depending on a priori knowledge of the specific objects. Our experimental results show that our proposed method outperformed two state-of-the-art image segmentation approaches on two challenging outdoor databases (Gould data set and Berkeley segmentation data set) and achieved accurate segmentation quality on various outdoor natural scene environments.     

基于语义分割的双目场景流估计

针对现有场景流计算方法在复杂场景、大位移和运动遮挡等情况下易产生运动边缘模糊的问题,提出一种基于语义分割的双目场景流估计方法.首先,根据图像中的语义信息类别,通过深度学习的卷积神经网络模型将图像划分为带有语义标签的区域;针对不同语义类别的图像区域分别进行运动建模,利用语义知识计算光流信息并通过双目立体匹配的半全局匹配方法计算图像视差信息.然后,对输入图像进行超像素分割,通过最小二乘法耦合光流和视差信息,分别求解每个超像素块的运动参数.最后,在优化能量函数中添加语义分割边界的约束信息,通过更新像素到超像素块的映射关系和超像素块到移动平面的映射关系得到最终的场景流估计结果.采用KITTI 2015标准测试图像序列对本文方法和代表性的场景流计算方法进行对比分析.实验结果表明,本文方法具有较高的精度和鲁棒性,尤其对于复杂场景、运动遮挡和运动边缘模糊的图像具有较好的边缘保护作用.