深度图超分辨率重建研究综述

虽然高质量高分辨率的深度图能够显著地提高各种自然场景计算机视觉任务的性能,但是深度相机硬件的限制使得消费级深度相机拍摄到的深度图存在分辨率低、质量差和无效空洞等问题。深度图超分辨率重建（depth super-resolution reconstruction,DSR）是一种能有效提高深度图分辨率和质量的技术,并且DSR已经成为计算机视觉领域的研究热点。首先将介绍DSR的定义和近几年国内外DSR算法的研究进展,然后对深度学习DSR重建算法进行重点阐述与分析。接下来,将介绍深度图像质量评估准则。最后,对DSR的应用领域和未来所面对的挑战和机遇进行展望。     

基于双目相机深度图的道路边缘测距方法

为了实现道路划线喷头的自动定位，提出一种基于双目相机深度图的道路边缘测距方法。首先采用张氏标定法进行双目相机参数标定，获得相机的内部参数和外部参数，并对标定纸和标定板的标定结果进行比较；然后采用BM算法计算左右图像匹配点对之间的视差值得到深度图，通过二值化、腐蚀、膨胀和寻找最大色块的方法检测深度图中的道路边缘中心点；最后通过坐标转换得到双目相机与道路边缘的距离。实验证明，该方法能有效检测双目相机与道路边缘之间的横向距离。     

联合深度图聚类与目标检测的像素级分割算法

获取周围环境中的语义信息是语义同时定位与建图(Simultaneous Localization and Mapping,SLAM)的重要任务,然而,采用语义分割或实例分割网络会影响系统的时间性能,采用目标检测方法又会损失一部分精度.因此,文中提出联合深度图聚类与目标检测的像素级分割算法,在保证实时性的前提下,提高当前语义SLAM系统的定位精度.首先,采用均值滤波算法对深度图的无效点进行修复,使深度信息更真实可靠.然后,分别对RGB图像和对应的深度图像进行目标检测和K-means聚类处理,结合两者结果,得出像素级的物体分割结果.最后,利用上述结果剔除周围环境中的动态点,建立完整、不含动态物体的语义地图.在TUM数据集和真实家居场景中分别进行深度图修复、像素级分割、估计相机轨迹与真实相机轨迹对比实验,结果表明,文中算法具有较好的实时性与鲁棒性.     

基于目标检测的机器人手眼标定方法

智能协作机器人依赖视觉系统感知未知环境中的动态工作空间定位目标,实现机械臂对目标对象的自主抓取回收作业。RGB-D相机可采集场景中的彩色图和深度图,获取视野内任意目标三维点云,辅助智能协作机器人感知周围环境。为获取抓取机器人与RGB-D相机坐标系之间的转换关系,提出基于yolov3目标检测神经网络的机器人手眼标定方法。将3D打印球作为标靶球夹持在机械手末端,使用改进的yolov3目标检测神经网络实时定位标定球的球心,计算机械手末端中心在相机坐标系下的3D位置,同时运用奇异值分解方法求解机器人与相机坐标系转换矩阵的最小二乘解。在6自由度UR5机械臂和Intel RealSense D415深度相机上的实验结果表明,该标定方法无需辅助设备,转换后的空间点位置误差在2 mm以内,能较好满足一般视觉伺服智能机器人的抓取作业要求。     

一种基于双目SLAM的环境建模方法

利用计算机视觉对环境进行建模是机器人环境感知相关研究的一项重要工作。提出了一种基于双目SLAM的建模方法。该方法的主要思想是利用双目SLAM(Simultaneous Localization and Mapping,同步定位与地图构建)技术获取相机位姿,并利用双目相机直接获取场景的深度图,然后将二者融合成场景的点云地图。由于双目相机直接获取的深度图像误差点较多,因此提出了一种基于视线约束的点云滤波方法,来消除场景点云中的误差点。经过实验验证了建模的效果,以及视线约束点云滤波的有效性。     

场景目标的稀疏序列融合三维扫描重建

针对场景扫描深度图数据量大、匹配误差累积导致重建结果漂移以及耗时高的问题,提出一种场景级目标的稀疏序列融合三维扫描重建方法.首先,对深度图序列采样以筛选支撑深度图;其次,在支撑深度图子集上划分扫描片段,各扫描片段内执行深度图匹配融合生成表面片段;再次,利用表面片段几何特征执行局部多片段间的连续迭代配准,优化各扫描片段的相机位姿;最后,融合支撑深度图序列生成场景目标三维表面.在消费级深度相机采集的深度图序列和SceneNN与Stanford 3D Scene这2个公开数据集上进行测试,将稀疏序列融合与稠密序列融合方法进行比较.实验结果表明,该方法可将配准过程的均方根误差降低16%～28%,使用8%～54%的数据量即可完成稀疏序列融合,运行时间平均缩短56%;同时,增强了扫描过程的有效性和鲁棒性,显著地提高了扫描场景的重建质量.     

基于场景对象注意与深度图融合的深度估计

现有单目深度估计算法主要从单幅图像中获取立体信息,存在相邻深度边缘细节模糊、明显的对象缺失问题。提出一种基于场景对象注意机制与加权深度图融合的单目深度估计算法。通过特征矩阵相乘的方式计算特征图任意两个位置之间的相似特征向量,以快速捕获长距离依赖关系,增强用于估计相似深度区域的上下文信息,从而解决自然场景中对象深度信息不完整的问题。基于多尺度特征图融合的优点,设计加权深度图融合模块,为具有不同深度信息的多视觉粒度的深度图赋予不同的权值并进行融合,融合后的深度图包含深度信息和丰富的场景对象信息,有效地解决细节模糊问题。在KITTI数据集上的实验结果表明,该算法对目标图像预估时σ<1.25的准确率为0.879,绝对相对误差、平方相对误差和对数均方根误差分别为0.110、0.765和0.185,预测得到的深度图具有更加完整的场景对象轮廓和精确的深度信息。     

融合空洞卷积网络的无监督单目深度恢复

针对实际场景中动态物体、场景纹理、相机曝光等诸多影响,深度图提取结果广泛存在细节模糊和丢失等问题,同时因基于深度学习的网络没有传统算法中的捆集优化策略,无法对相机累积的误差进行分摊,这些都影响着深度图的精度.因此本文提出一种融合空洞卷积的DispNet深度网络,同时加入误差分摊策略给网络更强的约束条件.在DispNet的结构设计中,模型中加入空洞卷积设计新的卷积模块,使其扩大感受野,更多的提取上下文信息;模型中引入误差分摊损失函数减少相机误差的累积,以此提高相机位姿估计精度,得到高质量的重建视图;视频帧输入网络前先进行限制对比度直方图均衡化运算再输入模型.本研究在公开数据集KITTI上设计了实验,结果表明空洞卷积和误差分摊损失函数的引入对深度图恢复精度有明显的提升效果.     

结合局部平面参数预测的无监督单目图像深度估计

目的 无监督单目图像深度估计是3维重建领域的一个重要方向,在视觉导航和障碍物检测等领域具有广泛的应用价值。针对目前主流方法存在的局部可微性问题,提出了一种基于局部平面参数预测的方法。方法将深度估计问题转化为局部平面参数估计问题,使用局部平面参数预测模块代替多尺度估计中上采样及生成深度图的过程。在每个尺度的深度图预测中根据局部平面参数恢复至标准尺度,然后依据针孔相机模型得到标准尺度深度图,以避免使用双线性插值带来的局部可微性,从而有效规避陷入局部极小值,配合在网络跳层连接中引入的串联注意力机制,提升网络的特征提取能力。结果 在KITTI（Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago）自动驾驶数据集上进行了对比实验以及消融实验,与现存无监督方法和部分有监督方法进行对比,相比于最优数据,误差性指标降低了10% 20%,准确性指标提升了2%左右,同时,得到的稠密深度估计图具有清晰的边缘轮廓以及对反射区域更优的鲁棒性。结论 本文提出的基于局部平面参数预测的深度估计方法,充分利用卷积特征信息,避免了训练过程中陷入局部极小值,同时对网络添加几何约束,使测试指标及视觉效果更加优秀。     

遮挡场景的光场图像深度估计方法

光场相机通过单次拍摄可获取立体空间中的4维光场数据,利用光场的多视角特性可从中提取全光场图像的深度信息.然而,现有深度估计方法很少考虑场景中存在遮挡的情况,当场景中有遮挡时,提取深度信息的精度会明显降低.对此,提出一种新的基于多线索融合的光场图像深度提取方法以获取高精度的深度信息.首先分别利用自适应散焦算法和自适应匹配算法提取场景的深度信息;然后用峰值比作为置信以加权融合两种算法获取的深度;最后,用具有结构一致性的交互结构联合滤波器对融合深度图进行滤波,得到高精度深度图.合成数据集和真实数据集的实验结果表明,与其他先进算法相比,所提出的算法获取的深度图精度更高、噪声更少、图像边缘保持效果更好.     

基于深度学习的单目深度估计技术综述

场景的深度估计问题是计算机视觉领域中的经典问题之一,也是3维重建和图像合成等应用中的一个重要环节。基于深度学习的单目深度估计技术高速发展,各种网络结构相继提出。本文对基于深度学习的单目深度估计技术最新进展进行了综述,回顾了基于监督学习和基于无监督学习方法的发展历程。重点关注单目深度估计的优化思路及其在深度学习网络结构中的表现,将监督学习方法分为多尺度特征融合的方法、结合条件随机场(conditional random field,CRF)的方法、基于序数关系的方法、结合多元图像信息的方法和其他方法等5类;将无监督学习方法分为基于立体视觉的方法、基于运动恢复结构(structure from motion,SfM)的方法、结合对抗性网络的方法、基于序数关系的方法和结合不确定性的方法等5类。此外,还介绍了单目深度估计任务中常用的数据集和评价指标,并对目前基于深度学习的单目深度估计技术在精确度、泛化性、应用场景和无监督网络中不确定性研究等方面的现状和面临的挑战进行了讨论,为相关领域的研究人员提供一个比较全面的参考。     

融合注意力机制和多层U-Net的多视图立体重建

目的针对多视图立体(multi-view stereo,MVS)重建效果整体性不理想的问题,本文对MVS 3D重建中的特征提取模块和代价体正则化模块进行研究,提出一种基于注意力机制的端到端深度学习架构。方法首先从输入的源图像和参考图像中提取深度特征,在每一级特征提取模块中均加入注意力层,以捕获深度推理任务的远程依赖关系;然后通过可微分单应性变换构建参考视锥的特征量,并构建代价体;最后利用多层U-Net体系结构正则化代价体,并通过回归结合参考图像边缘信息生成最终的细化深度图。结果在DTU(Technical University of Denmark)数据集上进行测试,与现有的几种方法相比,本文方法相较于Colmap、Gipuma和Tola方法,整体性指标分别提高8.5%、13.1%和31.9%,完整性指标分别提高20.7%、41.6%和73.3%;相较于Camp、Furu和Surface Net方法,整体性指标分别提高24.8%、33%和29.8%,准确性指标分别提高39.8%、17.6%和1.3%,完整性指标分别提高9.7%、48.4%和58.3%;相较于Pru Mvsnet方法,整...     

RGB-Fusion: Monocular 3D reconstruction with learned depth prediction

Generating large-scale and high-quality 3D scene reconstruction from monocular images is an essential technical foundation in augmented reality and robotics. However, the apparent shortcomings (e.g., scale ambiguity, dense depth estimation in texture-less areas) make applying monocular 3D reconstruction to real-world practice challenging. In this work, we combine the advantage of deep learning and multi-view geometry to propose RGB-Fusion, which effectively solves the inherent limitations of traditional monocular reconstruction. To eliminate the confinements of tracking accuracy imposed by the prediction deficiency of neural networks, we propose integrating the PnP (Perspective-n-Point) algorithm into the tracking module. We employ 3D ICP (Iterative Closest Point) matching and 2D feature matching to construct separate error terms and jointly optimize them, reducing the dependence on the accuracy of depth prediction and improving pose estimation accuracy. The approximate pose predicted by the neural network is employed as the initial optimization value to avoid the trapping of local minimums. We formulate a depth map refinement strategy based on the uncertainty of the depth value, which can naturally lead to a refined depth map. Through our method, low-uncertainty elements can significantly update the current depth value while avoiding high-uncertainty elements from adversely affecting depth estimation accuracy. Numerical qualitative and quantitative evaluation results of tracking, depth prediction, and 3D reconstruction show that RGB-Fusion exceeds most monocular 3D reconstruction systems.     

基于多尺度CNN-RNN的单图三维重建网络

现有基于深度学习的三维重建算法主要从深度网络的单一层进行特征获取,二维图像特征提取不完整,造成三维重建效果不理想。为提高三维重建模型的精度及准确度,充分利用二维图像细节特征,有效转换为三维网络,提出一种基于多尺度CNN-RNN的单图三维重建网络。模型网络主要由三部分组成：二维编码器、转换器及三维编码器。模型借鉴高斯金字塔模型,构建多尺度网络,保留二维图像不同尺度上的特征值,通过RNN将其转换为三维特征。模型使用公共的ShapeNet数据集进行训练和测试,通过前后对比,发现使用多尺度特征提取的方法,模型具有更好的鲁棒性。与现有方法进行对比,本模型在飞机、柜子、汽车、显示器、灯、音响、沙发等模型的三维重建中拥有更好的重建效果。     

语义导向多尺度多视图深度估计算法

目前利用深度学习进行多视图深度估计的方法可以根据卷积类型可以大致分为两类.其中,基于2D卷积网络的模型预测计算速度快,但预测精度较低;基于3D卷积网络的模型预测精度高,却存在高硬件消耗.同时,多视图中相机外部参数的变化使得模型无法在物体边缘、遮挡或纹理较弱区域生成高精度预测结果.针对上述问题,提出了基于3D卷积的语义导...     

Automatic work objects calibration via a global–local camera system

In a human–robot collaborative manufacturing application where a work object can be placed in an arbitrary position, there is a need to calibrate the actual position of the work object. This paper presents an approach for automatic work-object calibration in flexible robotic systems. The approach consists of two modules: a global positioning module based on fixed cameras mounted around robotic workspace, and a local positioning module based on the camera mounted on the robot arm. The aim of the global positioning is to detect the work object in the working area and roughly estimate its position, whereas the local positioning is to define an object frame according to the 3D position and orientation of the work object with higher accuracy. For object detection and localization, coded visual markers are utilized. For each object, several markers are used to increase the robustness and accuracy of the localization and calibration procedure. This approach can be used in robotic welding or assembly applications.     

基于特征选择与残差融合的肝肿瘤分割模型

目的 高效的肝肿瘤计算机断层扫描(computed tomography, CT)图像自动分割方法是临床实践的迫切需求,但由于肝肿瘤边界不清晰、体积相对较小且位置无规律,要求分割模型能够细致准确地发掘类间差异。对此,本文提出一种基于特征选择与残差融合的2D肝肿瘤分割模型,提高了2D模型在肝肿瘤分割任务中的表现。方法该模型通过注意力机制对U-Net瓶颈特征及跳跃链接进行优化,为符合肝肿瘤分割任务特点优化传统注意力模块进,提出以全局特征压缩操作(global feature squeeze, GFS)为基础的瓶颈特征选择模块,即全局特征选择模块(feature selection module, FS)和邻近特征选择模块(neighbor feature selection module, NFS)。跳跃链接先通过空间注意力模块(spatial attention module, SAM)进行特征重标定,再通过空间特征残差融合(spatial feature residual fusion module, SFRF)模块解决前后空间特征的语义不匹配问题,在保持低复杂度的同时使特征高效表达。...     

基于Kinect传感器和ORB特征的视觉SLAM算法设计与实现

介绍了一个基于嵌入式平台和Kinect传感器的同时定位与地图创建算法的设计与实现。Kinect传感器包括一个可见光彩色摄像头和一个利用结构光测量深度的红外CMOS摄像头。 算法利用ORB算子作为环境特征点的描述信息,并利用基于边沿的最近邻修复方法对深度图像进行修正以获得完整的深度信息。在此基础上,利用LSH方法进行特征点的匹配。实验结果表明,基于ORB特征的视觉SLAM算法具有较好的实用性和良好的定位精度,可以广泛应用于室内机器人的自主导航任务。     

Visualizing multiple error-sensitivity fields for single camera positioning

In many data acquisition tasks, the placement of a real camera can vary significantly in complexity from one scene to another. Optimal camera positioning should be governed not only by least error sensitivity, but in addition to real-world practicalities given by various physical, financial and other types of constraints. It would be a laborious and costly task to model all these constraints if one were to rely solely on fully automatic algorithms to make the decision. In this work, we present a study using 2D and 3D visualization methods to assist in single camera positioning based on error sensitivity of reconstruction and other physical and financial constraints. We develop a collection of visual mappings that depict the composition of multiple error sensitivity fields that occur for a given camera position. Each camera position is then mapped to a 3D visualization that enables visual assessment of the camera configuration. We find that the combined 2D and 3D visualization effectively aids the estimation of camera placement without the need for extensive manual configuration through trial and error. Importantly, it still provides the user with sufficient flexibility to make dynamic decisions based on physical and financial constraints that can not be encoded easily in an algorithm. We demonstrate the utility of our system on two real-world applications namely snooker analysis and camera surveillance.     

Model Predictive Control for Constrained Image‐Based Visual Servoing in Uncalibrated Environments

This paper presents a novel approach for image‐based visual servoing (IBVS) of a robotic system by considering the constraints in the case when the camera intrinsic and extrinsic parameters are uncalibrated and the position parameters of the features in 3‐D space are unknown. Based on the model predictive control method, the robotic system's input and output constraints, such as visibility constraints and actuators limitations, can be explicitly taken into account. Most of the constrained IBVS controllers use the traditional image Jacobian matrix, the proposed IBVS scheme is developed by using the depth‐independent interaction matrix. The unknown parameters can appear linearly in the prediction model and they can be estimated by the identification algorithm effectively. In addition, the model predictive control determines the optimal control input and updates the estimated parameters together with the prediction model. The proposed approach can simultaneously handle system constraints, unknown camera parameters and depth parameters. Both the visual positioning and tracking tasks can be achieved desired performances. Simulation results based on a 2‐DOF planar robot manipulator for both the eye‐in‐hand and eye‐to‐hand camera configurations are used to demonstrate the effectiveness of the proposed method.