结合同场景立体图对的高质量深度图像重建

目的 越来越多的应用依赖于对场景深度图像准确且快速的观测和分析,如机器人导航以及在电影和游戏中对虚拟场景的设计建模等.飞行时间深度相机等直接的深度测量设备可以实时的获取场景的深度图像,但是由于硬件条件的限制,采集的深度图像分辨率比较低,无法满足实际应用的需要.通过立体匹配算法对左右立体图对之间进行匹配获得视差从而得到深度图像是计算机视觉的一种经典方法,但是由于左右图像之间遮挡以及无纹理区域的影响,立体匹配算法在这些区域无法匹配得到正确的视差,导致立体匹配算法在实际应用中存在一定的局限性.方法 结合飞行时间深度相机等直接的深度测量设备和立体匹配算法的优势,提出一种新的深度图像重建方法.首先结合直接的深度测量设备采集的深度图像来构造自适应局部匹配权值,对左右图像之间的局部窗立体匹配过程进行约束,得到基于立体匹配算法的深度图像;然后基于左右检测原理将采集到的深度图像和匹配得到的深度图像进行有效融合;接着提出一种局部权值滤波算法,来进一步提高深度图像的重建质量.结果 实验结果表明,无论在客观指标还是视觉效果上,本文提出的深度图像重建算法较其他立体匹配算法可以得到更好的结果.其中错误率比较实验表明,本文算法较传统的立体匹配算法在深度重建错误率上可以提升10％左右.峰值信噪比实验结果表明,本文算法在峰值信噪比上可以得到10 dB左右的提升.结论 提出的深度图像重建方法通过结合高分辨率左右立体图对和初始的低分辨率深度图像,可以有效地重建高质量高分辨率的深度图像.     

一种改进的区域双目立体匹配方法

双目立体匹配是机器视觉中的热点、难点问题。分析了区域立体匹配方法的优缺点,提出了改进的区域立体匹配方法。首先,采集双目视觉图像对对图像对进行校正、去噪等处理,利用颜色特征进行图像分割,再用一种快速有效的块立体匹配算法对图像进行立体匹配。然后,在匹配过程中使用绝对误差累积(SAD)的小窗口来寻找左右两幅图像之间的匹配点。最后,通过滤波得到最终的视差图。实验表明:该方法能够有效地解决重复区域、低纹理区域、纹理相似区域、遮挡区域等带来的误匹配问题,能得到准确清晰的稠密视差图。     

一种室外非理想光照条件下的立体匹配算法

针对室外非理想光照条件和图像低纹理、低对比度造成立体匹配效果较差的问题,提出一种HSL(色相-饱和度-亮度)颜色空间下基于边缘图分割的立体匹配算法.区别于传统的RGB颜色空间下基于像素强度的度量方式,该算法采用一种HSL颜色空间下的像素非相似性度量公式来获得匹配代价,然后基于左右输入图像的边缘检测结果进行图像区域分割和立体匹配.在实验中采用一系列不同光照条件的图片集和具有明显低纹理区域的图片集,对本文算法与现有算法进行对比验证.实验结果证明,该算法能够得到比较理想的视差图,对非理想的光照条件和低纹理图像具有很好的鲁棒性,并且基本达到实时性要求.     

基于双目视觉的玻璃料滴体积测量方法

针对目前玻璃料滴常规称量方法测量效率低且受环境影响较大的问题, 提出一种基于双目视觉的非接触式测量方法. 搭建双目视觉系统, 对采集的图像进行滤波去噪和特征轮廓提取, 基于融合料滴图像梯度信息的Census变换立体匹配算法得到边缘信息完整的视差图. 分别分析发生相机平面方向偏转和相机景深方向偏转的料滴对水平切片法精度的影响, 首先采用最小外接矩形算法对发生相机平面方向偏转的料滴进行校正, 然后利用视差信息修正发生相机景深方向偏转的料滴, 最后基于水平切片法累加水平切片获得料滴体积及质量. 实验结果验证, 该方法对发生空间偏转的料滴也能达到精度标准, 能够满足玻璃瓶生产的需求.     

基于秩空间的二次立体匹配

提出了一种基于秩空间的区域立体匹配算法。首先对立体图像进行秩（rank）变换,将图像从灰度空间变换到秩空间,消除因噪声和两个摄像机参数不一致产生的干扰,再根据自然视频序列每幅图像多数景物景深变化不大的事实,把视差分解为全局视差与局部视差之和,在秩空间进行二次立体匹配：先在最大窗口内估计全局视差,然后在这个最大窗口内采用块匹配方式进行二次匹配求各点的实际视差。该二次立体匹配算法有效地消除了误匹配,提高正确匹配率。实验结果证明,提出的算法优于传统的基于区域的立体匹配方法。     

一种对光照条件不敏感而快速的局部立体匹配

针对绝大多数立体匹配算法的相似性测度过分依赖于图像灰度统计特性的问题,提出了一种对光照变化不敏感的立体匹配算法.首先,研究了Census非参数变换并分析了其局限性;其次,为了在立体匹配时能够考虑像素的空间位置信息,对于变换窗口内与中心像素的相对位置大于一个单位的各邻域像素,将其灰度值通过周围4个像素的灰度值插值获得:最...     

基于双目视觉的人脸三维重建

基于双目立体匹配算法PatchMatch算法,提出了一种获取人脸三维点云的算法。该算法对局部立体匹配算法PatchMatch进行了优化。该方法既不需要昂贵的设备,也不需要通用的人脸三维模型,而是结合了人脸的拓扑结构信息以及立体视觉局部优化算法。此方法采用非接触式的双目视觉采集技术获取左右视角的人脸图像,利用回归树集合(ensemble of regression trees,ERT)算法对人脸图像进行关键点定位,恢复人脸稀疏的视差估计,运用线性插值方法初步估计脸部的稠密视差值,并结合局部立体匹配算法对得到的视差结果进行平滑处理,重建人脸的三维点云信息。实验结果表明,这种算法能够还原出光滑的稠密人脸三维点云信息,在人脸Bosphorus数据库上取得了更加准确的人脸重建结果。     

多成本融合的立体匹配网络

立体匹配网络中的特征提取是提高双目视觉立体匹配精确度的关键步骤。为充分提取图像特征信息,结合密集空洞卷积、空间金字塔池化和堆叠沙漏的特点,构建一种多成本融合的立体匹配网络DCNet。引入密集空洞卷积和空间金字塔池化方法提取多尺度特征信息,同时使用轻量化注意力模块优化多尺度特征信息,构建多特征融合的匹配代价卷。在此基础上,利用3D卷积神经网络和堆叠沙漏网络聚合匹配代价信息,并通过回归的方式生成视差图。实验结果表明,该网络在KITTI2015数据集上的误匹配率为2.12%,相比PSMNet、DisNetC、PDSNet等网络,在特征提取部分能够获得更丰富的特征信息,且提升特征匹配的效果。     

基于SIFT特征描述子的立体匹配算法

目前,立体匹配是计算机视觉领域最活跃的研究课题之一。为了克服传统的局部特征匹配算法对噪声和图像灰度的非线性变换敏感的缺点,本文提出了一种新的基于SIFT(Scale Invariant Feature Transform)特征描述子的立体匹配算法。该算法利用图像梯度信息,构造基于三维梯度方向直方图的SIFT特征描述子作为区域特征描述符,通过立体视觉理论中的极线约束将匹配特征的搜索空间从二维降到一维,最后以基于特征描述子欧氏距离的最近邻匹配得到匹配结果。实验结果表明,该方法匹配精度高,对图像灰度的非线性变换比较鲁棒,可以应用于对匹配算法鲁棒性要求比较高的立体视觉系统中。     

基于双目立体视觉的机器人定位系统设计与实现

针对传统工业机器人预先示教或单目视觉引导应用的局限性,提出一种基于双目立体视觉的机器人定位系统设计,获取目标物体在空间中的三维信息。该系统设计基于ABB机器人执行系统,使用TCP触碰标定板的方式完成双相机的标定,采用SIFT斑点算法获取工件的特征,结合Opencv3.4.1库,基于图像特征点对左右相机获得的图像进行立体匹配,得到物体的三维点坐标,引导机器人实现抓取。     

一种遥感影像的自动配准方法

图像配准技术是图像融合、图像镶嵌以及影像三维重建的基础．提出了一种基于SUSAN(Smallest Univalue Segment Assimilating Nucleus)算子的图像配准方法．利用SUSAN算子提取两幅图像的角点，通过粗匹配和细匹配两个步骤得到匹配角点对．根据这些角点对对图像配准．试验表明该方法能有效的实现影像自动配准．     

一种图像插补的新方法

提出了一种图像插补的方法。首先将两幅图像进行矫正,使得它们的对极线处在同一扫描线上,从而将二维图像的匹配简化成一维图像的匹配,使得下一步的匹配快速、准确;然后检测第一幅图像扫描线上的边缘点,利用这些边缘点分割两幅矫正图像对应的扫描线,进行密集匹配;最后确定插补图像的像素位置和灰度。实验证明该算法简单,容易实现。     

基于镜面成像技术的三维立体视觉测量与重构综述

利用镜面成像技术获取被测物体或场景的三维信息得到研究者越来越多的关注。光线与平面镜或曲面镜交互时产生镜面成像。平面镜的反射属性可以改善视觉效果,基于光路射线展开过程可应用于不同的平面镜成像系统,采用光路展开替代镜面交互应用于三维场景,得到虚拟三维空间,平面镜成像使得复杂的射线交互可以用一种虚拟的方式可视化,且坐标系统的变化容易跟踪。曲面镜成像通常不具有透视投影属性,根据曲面的曲率来改变空间显示。曲面镜常常导致折反射,故针对不同的三维立体视觉测量及重构需设计相应的几何恢复算法。从计算机图形学和计算机视觉的角度,分析了镜面成像的基本原理,对近年来较典型的基于镜面成像技术的三维测量与重构方法及最新研究进展进行综述。     

基于局部结构特征的红外与可见光图像匹配

使用灰度特征对红外与可见光图像进行匹配时,其效果受异源图像间灰度分布差异的限制。为此,提出一种基于局部结构特征的匹配方法。提取Harris角点及其关联的局部轮廓曲线切向角度,使用角点与角度信息构造局部有向Harris特征点,推导基于该特征点的仿射估计方程,结合特征点集匹配假设检验与RANSAC鲁棒估计进行匹配。实验结果表明,在其他方法失配的情况下,该方法可有效实现红外与可见光图像的特征点匹配。     

基于X3D实现虚拟镜面成像效果的研究

真实感是虚拟现实的重要特性之一,而镜面成像现象使现实世界变得更加多姿多彩。这篇文章主要介绍在基于X3D的虚拟世界中实现镜面成像效果以增强虚拟现实环境真实感的机理和方法,将在构建虚拟现实环境的真实感方面具有广阔的应用前景。     

基于镜像MeanShift的遮挡目标跟踪算法

针对当目标跟踪过程中目标被全遮挡时易导致目标跟踪不精确、甚至丢失目标的问题,提出一种基于镜像Mean Shift的遮挡目标跟踪算法.当前后帧Bhattacharyya系数匹配度大于等于80%时,表示目标没有被遮挡,采用颜色特征和轮廓特征定位目标,利用分块沙包窗核函数实现尺寸自适应;当前后帧Bhattacharyya系数匹配度小于80%时,表示目标进入遮挡区域,则利用先验训练分类器和镜像原理对遮挡区域目标的位置和尺寸大小进行预测;当前后帧Bhattacharyya系数匹配度再次大于等于80%时,表示目标离开遮挡区域,则转换为Mean Shift跟踪.实验结果表明:所提算法与子区域分类器的在线Boosting算法和多视角多目标协同追踪算法相比,在目标全遮挡的情况下能更好地跟踪目标,提高了跟踪精度和鲁棒性,且满足实时性要求.     

Multiple elemental image mapping for resolution‐enhanced orthographic view image generation based on integral imaging

In this paper, we propose an orthographic view image generation method based on integral imaging called multiple elemental image mapping. The proposed method is based on matching regions in multiple elemental images, which are generated with different micro‐lens from the same area of a 3D object. By mapping all the matching regions to the corresponding orthographic view plane, we can enhance the resolution of the generated orthographic view image. Simulation experiments are carried out, and the results show the resolution of orthographic view image is improved obviously.     

基于色彩空间分块匹配的三维动画融合技术

为了提高影视动画制作的三维图像成像质量,需要进行动画图像的动态信息融合处理,提出一种基于二维色彩空间分块匹配的三维动画图像的动态信息融合处理技术,采用虚拟视景重构技术进行三维动画图像采集和特征投影处理,对三维动画图像进行二值拟合和边缘轮廓检测,采用RGB分解技术进行三维动画图像的颜色分量提取,采用颜色模板空间投影算法进行三维动画图像的分块融合处理,提高三维动画图像的边缘像素点的特征配对性能,结合三维动画图像的色彩空间分块融合结果进行像素特征优化配置,计算匹配窗口相关系数,实现三维动画图像的动态信息融合处理。仿真结果表明,采用该方法进行三维动画图像的动态信息融合处理,能提高图像输出峰值信噪比,提高动态成像质量。     

Central catadioptric image processing with geodesic metric

Because of the distortions produced by the insertion of a mirror, catadioptric images cannot be processed similarly to classical perspective images. Now, although the equivalence between such images and spherical images is well known, the use of spherical harmonic analysis often leads to image processing methods which are more difficult to implement. In this paper, we propose to define catadioptric image processing from the geodesic metric on the unitary sphere. We show that this definition allows to adapt very simply classical image processing methods. We focus more particularly on image gradient estimation, interest point detection, and matching. More generally, the proposed approach extends traditional image processing techniques based on Euclidean metric to central catadioptric images. We show in this paper the efficiency of the approach through different experimental results and quantitative evaluations.     

A graph-based optimization algorithm for fragmented image reassembly

We propose a graph-based optimization framework for automatic 2D image fragment reassembly. First, we compute the potential matching between each pair of the image fragments based on their geometry and color. After that, a novel multi-piece matching algorithm is proposed to reassemble the overall image fragments. Finally, the reassembly result is refined by applying the graph optimization algorithm. We perform experiments to evaluate our algorithm on multiple torn real-world images, and demonstrate the robustness of this new assembly framework outperforms the existing algorithms in both reassembly accuracy (in handling accumulated pairwise matching error) and robustness (in handling small image fragments).