单相机变焦图像深度估计技术研究

对单相机变焦图像深度估计的若干关键技术进行了详细的研究。首先,从变焦相机的自身特点出发,研究了变焦相机的参数标定方法;其次,研究了基于SIFT的特征点匹配算法,并结合变焦图像的几何约束实现了特征点的鲁棒匹配;最后,建立了变焦图像的三维重建模型。基于真实采集图像的实验结果证明了相关算法的有效性和实用性。     

遮挡场景的光场图像深度估计方法

光场相机通过单次拍摄可获取立体空间中的4维光场数据,利用光场的多视角特性可从中提取全光场图像的深度信息.然而,现有深度估计方法很少考虑场景中存在遮挡的情况,当场景中有遮挡时,提取深度信息的精度会明显降低.对此,提出一种新的基于多线索融合的光场图像深度提取方法以获取高精度的深度信息.首先分别利用自适应散焦算法和自适应匹配算法提取场景的深度信息;然后用峰值比作为置信以加权融合两种算法获取的深度;最后,用具有结构一致性的交互结构联合滤波器对融合深度图进行滤波,得到高精度深度图.合成数据集和真实数据集的实验结果表明,与其他先进算法相比,所提出的算法获取的深度图精度更高、噪声更少、图像边缘保持效果更好.     

基于图像重建的深度估计方法

实现可靠精度的深度估计是三维目标检测方法的关键,该文提出了一种图像深度估计方法。基于深度学习方法,通过训练深度神经网络,从立体图像的一幅图像中重建另一幅图像实现深度估计,并在训练中采用最小化深度误差替代最小化视差误差,利用立体图像对的几何约束引入左右视图一致性损失实现更加精确的深度估计。针对图像真实深度数据获取困难、数据集制作成本高的问题,构建了基于图像重建的自监督训练的图像深度估计框架,不需要图像真实深度数据,节省了数据集制作成本;针对深度估计误差随深度的增加急剧增大的问题,采用最小化深度误差替代最小化视差误差,解决了深度估计网络过分强调近处的微小深度误差而忽略远处深度误差的问题。另外,该文还充分利用了立体图像对的几何约束,在训练中引入左右视图一致性损失来提高深度估计的准确性。实验验证了提出的图像深度估计方法在性能上优于现有的其他方法,对远处区域和细小目标进行深度估计时具有更好的性能。     

深度学习在单图像三维模型重建的应用

针对基于单图像重建的三维模型具有高度不确定性问题,提出了一种基于深度图像估计、球面投影映射、三维对抗生成网络相结合的网络模型算法。首先,通过深度估计器得到输入图像的深度图像,这有利于对图像进一步的分析;其次,将得到的深度图像通过球面投影映射转换为三维模型;最后,利用三维对抗生成网络对重建的三维模型的真实性进行判断,建立更逼真的三维模型。理论分析和仿真实验表明,与学习先验知识生成三维模型的算法LVP相比,所提模型在真实三维模型与重建三维模型的交并比（IoU）上提高了20.1%,倒角距离（CD）缩小了13.2%。实验结果表明,所提模型在单视图三维模型重建中具有良好的泛化能力。     

基于光场图像序列的自适应权值块匹配深度估计算法

现有的深度估计算法中,针对光场序列图像进行深度估计时,在图像亮度变化较大和弱纹理区域,其匹配效果较差,鲁棒性较低.针对这些问题,本文提出了一种基于CIELab颜色空间的自适应权值块匹配算法.由于彩色图像RGB颜色空间中颜色差异匹配影响因素较多,本算法转换到CIELab空间进行颜色相似性匹配来计算权重值,然后结合梯度和距离计算匹配图像和待匹配图像中匹配块得到综合权重值,最后根据极平面图像(EPI)的线性特性对图像序列中匹配图像和待匹配图像块进行匹配计算,求得深度图.经过仿真验证,本文算法能够较好的估计场景的深度信息,精度上有较大的提升,明显优于以往的深度估计算法,可以广泛使用.     

基于Kinect相机的深度图像空洞修复及超像素分割算法

针对Kinect相机原始深度图像存在空洞的问题,提出了一种结合彩色图像局部边缘信息的深度图像空洞修复算法。首先,通过双边滤波修复较小空洞;其次,根据彩色图像局部边缘信息将较大空洞分为无边缘和有边缘2类;最后,对第1类无边缘空洞进行均值填充修复,对第2类有边缘空洞先根据彩色图像局部边缘特征分割空洞,再分别由外而内逐步修复,从而完成所有的空洞修复。空洞修复完成后,融合深度信息重新建立了线性谱聚类核函数,并基于此提出一种融合深度信息的线性谱聚类超像素分割算法(LSC-D)。实验结果表明,与其他方法相比,提出的深度图像空洞修复算法具有更高的修复准确度,提出的LSC-D超像素分割算法具有更低的欠分割错误率和更高的边界召回率。     

基于角点检测的图像分割算法及在三维重建中的应用

针对基于单幅图像的三维重建方法的多解性和病态性的难点问题,提出了一种基于Harris多尺度角点检测的图像分割算法,将复杂的工程图像分离成若干个简单基本几何形体,分别对其重建以避免直接恢复深度信息的病态解问题;为了提高基于角点的图像配准算法的配准精度,把多分辨分析的思想引入到经典的Harris角点检测中,构造了基于小波变换的灰度强度变化公式,并得到了具有尺度变换特性的自相关矩阵,从而使改进的Harris角点检测算法具有旋转、平移和尺度的不变性;实验验证了改进算法的快速、准确和稳定的特性。     

一种估计深度相机位姿精度的闭式算法

针对深度相机,提出了估计位姿变换精度的闭式解算法.相对位姿由6自由度向量T=[x,y,z,α,β,γ]表示,计算该向量的协方差矩阵来表征相对位姿精度.定义3维点对到相对位姿的隐式函数,利用隐式定理计算该隐式函数相对于点对集合的偏导数,从而根据隐式函数变化趋势和深度相机测量误差来计算协方差矩阵.该方法要求3维点对匹配准确无误,所以本文同时提出在给定相对位姿情况下匹配3维点对算法,该算法充分利用深度相机可以同时返回深度信息和灰度信息的特点.最后在随机生成数据和真实数据上验证了相对位姿精度估计算法的有效性.     

深度学习的图像实例分割方法综述

实例分割是一项具有挑战性的任务,需要同时进行实例级和像素级的预测,在自动驾驶、视频分析、场景理解等方面应用广泛.近年来,基于深度学习的实例分割方法迅速发展,如两阶段检测器Faster R-CNN扩展出的聚焦于网络的精度而非速度的强大实例分割基准Mask R-CNN,一度成为实例分割的标杆.利用高速检测的单阶段检测器延伸出的实例分割算法YOLACT填补了实时实例分割模型的空白,具有较高的研究和应用价值.本文首先对实例分割算法进行了类别划分,然后对一些代表性的算法及其改进算法进行了深入分析,并阐述了相关算法的优缺点,最后对实例分割方法未来的发展进行了展望.     

基于Kinect深度信息的实时三维重建和滤波算法研究

分析了基于Kinect输出的深度数据进行场景实时三维重建的算法。针对实现过程中出现的深度图像噪声过大的问题,根据其信号结构的特点给出了改进的双边滤波算法。新算法利用已知的深度图像噪声范围,将权值函数修改为二值函数,并结合RGB图像弥补了缺失的深度信息。实验表明,新算法无论是在降噪性能还是计算效率上,都大大优于已有的双边滤波,其中计算速度是原始算法的6倍。     

深度学习单目深度估计研究进展

单目深度估计是从单幅图像中获取场景深度信息的重要技术,在智能汽车和机器人定位等领域应用广泛,具有重要的研究价值。随着深度学习技术的发展,涌现出许多基于深度学习的单目深度估计研究,单目深度估计性能也取得了很大进展。本文按照单目深度估计模型采用的训练数据的类型,从3个方面综述了近年来基于深度学习的单目深度估计方法:基于单图像训练的模型、基于多图像训练的模型和基于辅助信息优化训练的单目深度估计模型。同时,本文在综述了单目深度估计研究常用数据集和性能指标基础上,对经典的单目深度估计模型进行了性能比较分析。以单幅图像作为训练数据的模型具有网络结构简单的特点,但泛化性能较差。采用多图像训练的深度估计网络有更强的泛化性,但网络的参数量大、网络收敛速度慢、训练耗时长。引入辅助信息的深度估计网络的深度估计精度得到了进一步提升,但辅助信息的引入会造成网络结构复杂、收敛速度慢等问题。单目深度估计研究还存在许多的难题和挑战。利用多图像输入中包含的潜在信息和特定领域的约束信息,来提高单目深度估计的性能,逐渐成为了单目深度估计研究的趋势。     

基于未标定多幅图的三维重建算法

为得到鲁棒的三维重建效果,提出了一种基于未标定多幅图像的三维重建算法。该算法首先采用Harris算法检测特征点,针对双向匹配算法匹配速度慢的缺点,使用改进的双向匹配算法进行特征点匹配,在已知摄像机参数的情况下进行两幅图的三维重建;接着采用四元数算法进行坐标转换,将由每两幅图得到的不同部分的重建结果转移到同一坐标系下,实现了多幅图像的三维重建;最后利用集束调整优化重建结果。实验结果证明,该算法能获得比较满意的重建效果。     

图像深度估计硬件实现算法

目的 近年来,3DTV（3-dimension television）与VR（virtual reality）技术迅速发展,但3D内容的短缺却成为该类技术发展的瓶颈。为快速提供更多的3D内容,需将现有的2D视频转换为3D视频。深度估计是2D转3D技术的关键,为满足转换过程中实时性较高的要求,本文提出基于相对高度深度线索方法的硬件实现方案。方法 首先对灰度图进行Sobel边缘检测得到边缘图,然后对其进行线性追踪以及深度赋值完成深度估计得到深度图。在硬件实现方案中,Sobel边缘检测采用五级流水设计以及并行线轨迹计算方式,充分利用硬件设计的并行性,以提高系统的处理效率;在深度估计中通过等效处理简化“能量函数”的方式将算法中大量的乘法、除法以及指数运算简化成加法、减法和比较运算,以减小硬件资源开销;同时方案设计中巧妙借助SDRAM（synchronous dynamic random access memory）突发特性完成行列转换,节省系统硬件资源。结果 最后完成了算法的FPGA（field programmable gate array）实现,并选取了2幅图像进行深度信息提取。将本文方法的软硬件处理效果与基于运动估计的深度图提取方法进行对比,结果表明本文算法相较于运动估计方法对图像深度图提取效果更好,同时硬件处理可以实现对2D图像的深度信息提取,且具有和软件处理一致的效果。在100 MHz的时钟频率下,估算帧率可达33.18帧/s。结论 本文提出的硬件实现方案可以完成对单幅图像的深度信息提取且估算帧率远大于3DTV等3维视频应用中实时要求的24帧/s,具有很好的实时性和可移植性,为后期的视频信息处理奠定了基础。     

基于粒子预测的自适应图像匹配目标跟踪算法

在基于自适应图像匹配跟踪算法上研究了让其结合粒子预测及对模板图像更新的综合算法,对非线性、非高斯问题进行了位置预测,针对Hausdorff算法计算量大的问题,采取了更新结合的方法,改变并对自适应图像匹配跟踪算法的匹配跟踪性能进行分析.实验结果表明,纳入粒子预测的自适应跟踪算法既继承了相关跟踪直观实用的特点,有效的克服障碍物的遮挡问题,又具有较高匹配跟踪稳定性.     

基于非参数化采样的单幅图像深度估计

针对传统单幅图像深度估计线索不足及深度估计精度不准的问题,提出一种基于非参数化采样的单幅图像深度估计方法。该方法利用非参数化的学习手段,将现有RGBD数据集中的深度信息迁移到输入图像中去。首先计算输入图像和现有RGBD数据集多尺度的高层次图像特征;然后,在现有RGBD数据集中,基于高层次的图像特征通过kNN最近邻搜索找到若干与输入图像特征最匹配的候选图像,并将这些候选图像对通过SIFT流形变到输入图像进行对齐。最后,对候选深度图进行插值和平滑等优化操作便可以得到最后的深度图。实验结果表明,与现有算法相比,该方法估计得到的深度图精度更高,对输入图像的整体结构保持得更好。     

基于图像融合的微表面快速三维重构算法研究*

在分析电子探针图像多样性与相关性特征的基础上,提出先应用提升小波进行快速图像融合,以提高图像信息量,然后根据微表面图像纹理相似性,抽取出高程数据,通过顶点数组方式快速重构三维立体场景。实验表明,此方法信息量大、操作简单、场景逼真,易形成交互场景,具有较好的实际应用价值。     

单目深度估计技术进展综述

单幅图像深度估计是计算机视觉中的经典问题,对场景的3维重建、增强现实中的遮挡及光照处理具有重要意义。本文回顾了单幅图像深度估计技术的相关工作,介绍了单幅图像深度估计常用的数据集及模型方法。根据场景类型的不同,数据集可分为室内数据集、室外数据集与虚拟场景数据集。按照数学模型的不同,单目深度估计方法可分为基于传统机器学习的方法与基于深度学习的方法。基于传统机器学习的单目深度估计方法一般使用马尔可夫随机场（MRF）或条件随机场（CRF）对深度关系进行建模,在最大后验概率框架下,通过能量函数最小化求解深度。依据模型是否包含参数,该方法又可进一步分为参数学习方法与非参数学习方法,前者假定模型包含未知参数,训练过程即是对未知参数进行求解;后者使用现有的数据集进行相似性检索推测深度,不需要通过学习来获得参数。对于基于深度学习的单目深度估计方法本文详细阐述了国内外研究现状及优缺点,同时依据不同的分类标准,自底向上逐层级将其归类。第1层级为仅预测深度的单任务方法与同时预测深度及语义等信息的多任务方法。图片的深度和语义等信息关联密切,因此有部分工作研究多任务的联合预测方法。第2层级为绝对深度预测方法与相对深度关系预测方法。绝对深度是指场景中的物体到摄像机的实际距离,而相对深度关注图片中物体的相对远近关系。给定任意图片,人的视觉更擅于判断场景中物体的相对远近关系。第3层级包含有监督回归方法、有监督分类方法及无监督方法。对于单张图片深度估计任务,大部分工作都关注绝对深度的预测,而早期的大多数方法采用有监督回归模型,即模型训练数据带有标签,且对连续的深度值进行回归拟合。考虑到场景由远及近的特性,也有用分类的思想解决深度估计问题的方法。有监督学习方法要求每幅RGB图像都有其对应的深度标签,而深度标签的采集通常需要深度相机或激光雷达,前者范围受限,后者成本昂贵。而且采集的原始深度标签通常是一些稀疏的点,不能与原图很好地匹配。因此不用深度标签的无监督估计方法是研究趋势,其基本思路是利用左右视图,结合对极几何与自动编码机的思想求解深度。     

基于Java 3D的医学图像三维重建系统

系统采用分层组件化的设计思想,在逻辑上分为三层:图像预处理层、图像分割层和用户界面层,实现了医学图像的二维标注与测量、三维体数据的分割、三维重建与交互功能。介绍了系统的体系结构和系统开发的主要技术方法。最后指出了系统的实用性和对医学研究方面的价值。     

基于运动估计的交互式医学图像序列分割

针对医学图像难以自动分割,而医学图像序列采用手工分割时工作量巨大、效率低的问题,提出了一种新的交互式图像序列分割方法.在计算机的辅助下,用手工精确地描画出第一幅图像中对象的边界轮廓.后续图像的分割曲线用运动估计的方法自动得到.每完成一幅图像的分割用户都可以检查分割效果,如果不满意则可用手工修正.这个过程重复进行,直到整个图像序列分割完毕.实验结果表明,该方法能精确、快速地实现医学图像序列的分割.