基于极值约束的鞋底边缘立体匹配

为了提取鞋底边缘特征,提出了一种中间加光源的双目立体视觉测量方法,增大边缘内外的对比度。针对鞋头和鞋跟特征匹配,提出了基于极值约束的边缘立体匹配方法。该方法分三步：采用Canny算子提取左右图像的边缘;对鞋跟和鞋头部分的边缘点利用最小二乘三项式曲线拟合,求取边缘点上与曲线极值点最近的点作为极值特征点;利用长度均分法进行其他边缘点的匹配。对鞋底进行双目三维测量实验,结果表明,中间加光源可使得图像边缘清晰,便于边缘提取;提出的匹配方法获得的鞋底边缘三维数据完整、正确,有效地抑制了匹配错误。     

基于HALCON的双目立体视觉工件尺寸测量

为了实现对大批量生产工件尺寸的精密测量,该文基于双目立体视觉视差原理,设计了一种工件尺寸实时测量系统;系统通过两个工业数字摄像头实时采集工件不同角度的两幅图像,并基于机器视觉软件HALCON的HDevelop开发环境,对两幅图像进行相关预处理,获取感兴趣区域。提出一种基于canny的亚像素边缘检测、边缘细化、基于atukey权重函数的最小二乘法边缘拟合及边缘均匀取点算法获取精确的边缘特征点,并通过双目系统标定、极线约束与NCC相结合的立体匹配、世界坐标转换、几何计算相结合的非接触式双目视觉方法进行尺寸测量。通过大量实验证明,该方法可有效地获取工件特征点的三维坐标值,不借助外部测量仪器实现工件关键尺寸的高精度实时检测,检测精度达±0.2mm以上,简单快捷,具有较好的准确性和实时性。     

基于三维点云的植物叶片重建及其面积估算

为提高植物叶片面积测量的准确度,本文提出了一种植物叶片三维重建补偿方法。该方法首先使用多角度拍摄植物叶片的方法来获取图像;其次,通过运动恢复结构算法(SFM)、聚类多视角立体算法(CMVS)和基于面片的多视角立体算法(PMVS)处理图像并生成三维点云;然后,对点云进行去噪、分割、填补、三角网格化处理;最后,对叶片面积进行估测。实验结果表明,本文方法测量叶片面积的准确度与扫描法接近,并且能解决由于叶片重叠产生的叶面积测量不准确的问题。     

危险建筑倾斜度三维虚拟测量技术研究与仿真

研究危险建筑倾斜度三维虚拟测量技术,对建筑测绘学具有十分重要的意义.由于在危险建筑倾斜度测量的过程中,常常面临对称测量问题.传统的测量方法解决对称测量问题时,需要对危险建筑两侧进行两次测量,需要移动测量工具,在移动倾斜度测量过程中会产生细微的对称偏差,造成危险建筑三维模拟模型特征偏移,测量误差较大.提出采用光流恢复算法的危险建筑三维虚拟测量建模方法,并且将上述技术应用到危险建筑倾斜度测量的过程中.针对采集的大量的危险建筑图像,利用人眼观看物体运动情况,则物体的运动情况能够在人眼中呈现一个有序的图像序列,为三维虚拟建模提供依据,根据立体视觉技术的相关原理,以及采集的建筑图像中的多目标特征点,对目标进行立体恢复,从而能够建立危险建筑的三维虚拟模型.实验结果表明,利用改进算法进行三维虚拟建模,能够提高测量的准确性.     

基于立体视觉的目标姿态测量技术

基于动态场景分析的计算机视觉系统尤其是对运动目标的运动参数测量已成为计算机视觉研究的热点;建立了基于双目立体视觉的目标姿态测量系统,使用两个摄像机在不同视角对同一目标进行拍摄,采用DLT方法对摄像机标定;对拍摄到的图像进行去噪、滤波,通过立体图像匹配得到特征点在两幅图像中的同名点,姿态参数求解结合DLT算法和立体图像匹配算法,实现了对目标姿态参数的测量,得到了目标的三维姿态信息;实验结果表明,该测量系统结构简单,计算量小,具有较高的测量精度.     

白车身孔槽类特征三维坐标在线测量方法研究

为实现白车身孔槽类特征三维坐标的视觉测量,在双目立体视觉测量原理的技术上,以激光器辅助扫描被测孔槽完成三维测量,针对圆孔和复合孔槽边缘及孔心坐标的空间定位问题,提出一种在线测量方法。采用Canny边缘检测和Ramer算法分割出圆弧部分完成孔边缘的粗定位,结合Bazen方法与正交多项式拟合法实现亚像素边缘点坐标的精确定位,并通过权重拟合得到椭圆参数方程。在线激光光纹中心线提取过程中,融合极值法、阈值法与重心法,将拟合椭圆与光纹中心线的交点作为双目立体视觉的匹配点,进而完成空间点三维坐标的测量。实验结果表明,提出的方法鲁棒性好,对圆孔类特征的综合定位精度高。     

基于双焦单目立体视觉的多层次特征检测算法

特征检测是立体视觉技术的重要组成部分;与传统的Canny或Harris等边缘与角点检测相分离的算法不同,采用相位一致性特征检测算法可以同时检测出边缘和角点;相位一致性特征检测在频域进行,与特征点形状及图像的对比度无关,定位效果好,所得角点是边缘点的子集;在特征检测过程中,利用四叉树将图像分割为与图像特征分布相关的多个区域,在各个区域内分别进行处理;同时,通过控制四叉树的分解级数及特征检测的阈值实现了图像的多层次特征检测,实现结果表明,与传统的特征检测算法相比,该算法效果更为理想,且能更好地适用于单目立体视觉系统。     

基于多目视觉的变形钢板三维测量方法

提出了一种使用4个相机测量变形钢板三维形状的方法;在没有纹理的钢板上画一些点,使用4个相机同时拍摄钢板;利用边缘检测算法找出钢板的边缘,利用特征点提取算法提取出4个图像中钢板上的特征点,并找到4个图像上精确的特征点匹配关系,然后测量出这些特征点的三维点;最后,以这些三维点为种子点向外区域增长,从而得到钢板的三维形状;实验对变形钢板进行三维测量,得到了钢板的精确的三维形状,结果验证了该方法的有效性和可行性。     

基于机器视觉的板件形位测量

为实现快速非接触式的板件形位测量,提出了一种基于机器视觉的测量方法,将机器视觉技术应用到机械加工中。基于机器视觉的板件形位测量利用工业摄像机获取工件图像,经过图像滤波和图像分割后提取工件角点,匹配左右相机中的角点,从而得到角点的三维坐标,并且采用直线拟合的方法拟合工件边缘、计算直线斜率,得到工件的旋转角度。     

机器人柔性视觉检测系统现场标定技术

针对江淮车身厂的轿车车身提出了一种基于工业机器人的柔性视觉检测系统．通过控制机器人在空间的位姿变换,立体视觉传感器能够依次到达空间指定测量位置采集空间特征点的图像信息,并通过计算图像数据获得该点的三维坐标数据．利用双经纬仪和精密靶标对机器人视觉测量系统进行整体标定,同时完成了测试试验数据的采集及计算,取得了较好的测量效果．该系统柔性好、测量无死角,能适应生产线多车型检测的需要．     

图像3D轮廓提取

针对现有3D轮廓提取方法计算量大、图像立体匹配难、图片中含有大量噪音的问题,提出了一种利用早期认知视觉系统提取图像3D轮廓的方法。早期认知视觉是连接早期视觉和认知视觉的中间平台,通过早期认知视觉系统提取出图像的2D基元,2D基元是图片小块,有丰富的语义信息包括位置,方向,相位和三色值;再由两个立体图像的相一致的2D基元配对来构建3D基元,通过3D基元的共面性和共色性得到图像的3D轮廓。在Ubuntu10.04下,通过输入立体图片对,对这种方法进行了实验,实验结果表明图像的3D轮廓能完好地提取出来,有效地保留图像的必要信息并具有强抗噪性。     

基于高空间分辨率与立体像对遥感数据的建筑物三维信息提取

准确获取建筑的三维分布信息对于城市规划与管理、灾害风险评估与防范以及灾后救助等都具有非常重要的意义。针对目前建筑物信息提取研究集中于二维平面信息提取,三维信息提取研究较少,且方法自动化程度较低,实用性和和推广性不足,提出了综合立体像对和高空间分辨率两种遥感数据进行建筑物三维信息提取的方法。首先,基于小波变换融合方法对GeoEye\|1高空间分辨率全色和多光谱影像进行融合,然后运用面向对象方法对融合后的高空间分辨率遥感影像进行建筑物基底轮廓提取,再利用IRS\|P5立体像对反演地物高度,最后通过数据整合获得研究区建筑物的三维空间分布。研究结果表明:该方法可以充分利用不同遥感数据的优势,获得较高的提取精度;研究所需数据容易获取,方法具有较好的可操作性和推广性。     

基于 CNN 的彩色图像引导的深度图像超分辨率重建

深度图像表达了三维场景内物体之间的相对距离信息,根据深度图像表达的信息, 人们能够准确的获得物体在空间中的位置以及不同物体之间的相对距离,使得深度图像在立体 视觉等领域有着广泛的应用。然而受 RGB-D 传感器硬件条件的限制,获取的深度图像分辨率 低,无法满足一些具有高精度要求的实际应用的需求。近年来深度学习特别是卷积神经网络 (CNN)在图像处理方面获得了非常大的成功。为此提出了一种基于 CNN 的彩色图像引导的深度 图像超分辨率重建。首先,利用 CNN 学习彩色图像的边缘特征信息与深度图像的深度特征信 息,获得边缘纹理清晰的高分辨率深度图像;再通过不同大小尺寸滤波核的卷积层,进一步优 化深度图像的边缘纹理细节,获得更高质量的高分辨率深度图像。实验结果表明,相较于其他 方法,该方法 RMSE 值更低,重建的图像也能更好的恢复图像边缘纹理细节。     

基于改进卷积神经网络的单幅图像超分辨率重建方法

对于重建图像存在的边缘失真和纹理细节信息模糊的问题，提出一种基于改进卷积神经网络（CNN）的图像超分辨率重建方法。首先在底层特征提取层以三种插值方法和五种锐化方法进行多种预处理操作，并将只进行一次插值操作的图像和先进行一次插值后进行一次锐化的图像合并排列成三维矩阵；然后在非线性映射层将预处理后构成的三维特征映射作为深层残差网络的多通道输入，以获取更深层次的纹理细节信息；最后在重建层为减少图像重建时间在网络结构中引入亚像素卷积来完成图像重建操作。在多个常用数据集上的实验结果表明，与经典方法相比，所提方法重建图像的纹理细节信息和高频信息能得到更好的恢复，峰值信噪比（PSNR）平均增加0.23 dB，结构相似性（SSIM）平均增加0.0066。在保证图像重建时间的前提下，所提方法更好地保持重建图像的纹理细节并减少图像边缘失真，提升重建图像的性能。     

视觉模型标定中的高精度图像特征提取算法

针对平面网状标定样板建立了一种获取图像特征的高精度提取算法．经过亚像素边缘提取和边缘跟踪等步骤,区分开样板图像中的十字线与小方块,确定十字线的中心线与小方块的中心点,获得精确的图像特征．对噪声仿真图像和真实图像进行处理,并给出了实验结果．     

Stereo retinex

The retinex algorithm for lightness and color constancy is extended to include 3-dimensional spatial information reconstructed from a stereo image. A key aspect of traditional retinex is that, within each color channel, it makes local spatial comparisons of intensity. In particular, intensity ratios are computed between neighboring spatial locations, retinex assumes that a large ratio indicates a change in surface reflectance, not a change in incident illumination; however, this assumption is often violated in 3-dimensional scenes, where an abrupt change in surface orientation can lead to a significant change in illumination. In this paper, retinex is modified to use the 3-dimensional edge information derived from stereo images. The edge map is used so that spatial comparisons are only made between locations lying on approximately the same plane in 3-dimensions. Experiments on real images show this method works well, however, they also reveal that it can lead to isolated regions, which, as a result of being isolated, are incorrectly determined to be grey. To overcome this problem, stereo retinex is extended to allow information that is orthogonal to the space of possible illuminants to propagate across changes in surface orientation. This is accomplished by transforming the original RGB image data into a color space based on coordinates of luminance, illumination and reflectance. This coordinate system allows stereo retinex to propagate reflectance information across changes in surface orientation, while at the same time inhibiting the propagation of potentially invalid illumination information. The stereo retinex algorithm builds upon the multi-resolution implementation of retinex known as McCann99. Experiments on synthetic and real images show that stereo retinex performs significantly better than unmodified McCann99 retinex when evaluated in terms of the accuracy with which correct surface object colors are estimated.     

一种基于树结构的立体图像特征提取算法

针对立体图像匹配中的特征检测问题，提出了一种基于树结构的立体图像中边缘点、直线段、交点和凸多边形区域等特征的检测方案。该方法首先基于改进的Canny算子实现立体图像边缘的检测；基于立体图像的边缘梯度信息，文中提出一种分层并行式迭代式链码跟踪方法实现图像中直线段的检测：为提高检测速度并有利于凸多边形区域特征的检测，基于凸多边形区域的几何定义，通过提取直线段交点并采用树结构实现对已检测的相关直线段信息的遍历处理，最终得到树结构表示的凸多边形区域特征。实验证明，所提方法在结构化环境具有很好的检测精度和实时性。     

双目立体视觉的三维人脸重建方法

创建逼真的三维人脸模型始终是一个极具挑战性的课题.随着三维人脸模型在虚拟现实、视频监控、三维动画、人脸识别等领域的广泛应用,三维人脸重建成为计算机图像学和计算机视觉领域的一个研究热点.针对这一问题,提出一种基于双目立体视觉的三维人脸重建方法,重建过程中无需三维激光扫描仪和通用人脸模型.首先利用标定的2台摄像机获取人脸正面图像对,通过图像校正使图像对的极线对齐并且补偿摄像机镜头的畸变;在立体匹配方面,选择具有准确可靠视差的人脸边缘特征点作为种子像素,以种子像素的视差作为区域生长的视差,在外极线约束、单调性约束以及对应匹配的边缘特征点的约束下,进行水平扫描线上的区域生长,从而得到整个人脸区域的视差图,提高了对应点匹配的速度和准确度;最后,根据摄像机标定结果和立体匹配生成的视差图计算人脸空间散乱点的三维坐标,对人脸的三维点云进行三角剖分、网格细分和光顺处理.实验结果表明,该方法能够生成光滑、逼真的三维人脸模型,证明了该算法的有效性.     

Terrain mapping under extreme light conditions with direct stereo matching method through aggregating matching costs by weight

One of the biggest problems in applying stereo vision techniques in field robotics is how to acquire 3D terrain maps under extreme light conditions. Through multiple exposures, the dynamic range of images can be increased. In this paper, instead of using existing lighting enhancement methods such as exposure fusion to increase the texture of 2D image, we propose that the matching costs of the images grabbed with multiple exposures are directly summed by weight. Compared with the previous methods such as exposure fusion, with the proposed method, it is not necessary to fuse the 2D images captured with multiple exposures, and for each pixel of the matching image, the local information in its local window can be better retained. Since it is possible that the camera is moved between exposures when the images are grabbed, the images captured with multiple exposures are aligned to the image acquired with auto exposure. In order to evaluate the performance of the proposed method, two different stereo matching algorithms were used: a local window-based method and semi-global method. Through experiments in laboratory and outdoors with a stereo vision camera fixed on a tripod and held in the hand, it was verified that the proposed method consistently allowed more valid points to be obtained and the 3D model of terrain can be built more accurately. Especially when the local window-based method was used, the proposed method performed much better.     

基于双目融合的无参考立体图像质量评价

针对对称失真和非对称失真图像的评价问题,提出了一种基于双目融合的无参考立体图像质量评价方法。首先,分别将立体图像的左、右视点图像分解成拉普拉斯金字塔序列,利用图像平均梯度和区域能量确定各层融合系数,在双目加权模型的基础上逐层融合两序列并重构合成图像。然后,提取左、右视点图像、合成图像的多尺度多方向频域变换特征和对比度、熵、能量、逆差分矩特征。最后,将特征参数作为支持向量回归模型的输入进行训练并预测图像质量。在LIVE 3D phaseⅠ和LIVE 3D phaseⅡ图像库上作相关性分析,其Pearson线性相关系数和Spearman等级相关系数均分别达到0.96和0.95以上。结果表明,本文方法对立体图像质量的预测结果与主观评价值具有较高的一致性。