基于光栅投射的机器人导航视觉传感器研究

为了实现暗环境下移动机器人导航中障碍物的检测与运动机器人的定位,采用了一种组合式光栅投射立体视觉传感器研究方法,首先通过光栅投射和立体视觉相融合的方法,建立光栅投射立体视觉传感器几何和数学模型,然后利用空间设备位置约束原理和投影平面相交的方法,进行了机器人视场内空间物体的3维坐标计算,建立了可靠真实的障碍物检测和分析方法,并进行了理论分析和实验验证,取得了距离计算精度0.8mm的数据。结果表明,该方法对于图像计算的精度在亚像素级。该方法有利于目前黑暗环境中机器人无法自主导航难题的突破,为黑暗环境中无全球定位系统支持的机器人导航提供了基础探索。     

基于双目视觉的移动机器人避障研究

为了实现Pioneer3-AT轮式移动机器人避障的目的,设计了一种移动机器人避障的系统方案。该方案采用一种快速融合图像分割和立体视觉的障碍物定位方法,即利用经典图像处理把障碍物从背景中分割出来,同时提取其轮廓信息进行立体匹配,之后结合摄像头标定结果,实现空间点的三维重建。采用双目视觉和声纳传感器相配合来获得周围障碍物的信息,最终根据模糊控制原理设计了避障规则和避障控制器。通过实际的躲避障碍物实验,实现了移动机器人成功躲避障碍物的功能。实验结果证实了该系统的可行性和有效性。     

实时双目立体视觉系统的实现

依据双目立体视觉原理,对双目立体视觉系统的设计与实现展开研究,介绍了双目立体视觉系统的组成,并对系统涉及的主要关键技术进行了探讨。结合相关的硬件设备,利用VS2012软件开发平台实现了双目立体视觉系统。该系统可实时地进行图像采集、边缘检测、立体匹配等功能,同时由于采用3种确认算法,最大限度地去除错误匹配,得到良好的视差图。     

基于角点检测的双目视觉测距新方法

为解决双目视觉中立体匹配困难、效率低的问题,提出了一种基于角点检测的人工匹配方法实现双目视觉测距。首先介绍了双目测距基本原理,对摄像机进行了标定,并采用Bouguet立体校正算法对双目视觉系统进行立体校正;然后采用J.Shi和C.Tomasi提出的角点方法对立体校正后的左右摄像机图像中被测目标上的同一特征点进行了亚像素级角点提取,并利用提取的匹配角点坐标结合双目视觉测距公式实现距离测量。     

基于角点检测的双目视觉测距新方法

为解决双目视觉中立体匹配困难、效率低的问题,提出了一种基于角点检测的人工匹配方法实现双目视觉测距。首先介绍了双目测距基本原理,对摄像机进行了标定,并采用Bouguet 立体校正算法对双目视觉系统进行立体校正;然后采用J．Shi 和C．Tomasi提出的角点方法对立体校正后的左右摄像机图像中被测目标上的同一特征点进行了亚像素级角点提取,并利用提取的匹配角点坐标结合双目视觉测距公式实现距离测量。     

移动机器人结构光视觉

提出并实现了一种用于移动机器人实时自主导航系统的结构光视觉传感器.详细介绍了该视觉传感器的工作原理、数学模型、标定方法以及视觉图像的处理方法.这种主动式方法避开了立体匹配过程,实现了障碍物位置信息的快速探测.利用传感器几何约束,有效地剔除了的视觉图像中干扰的信息.该视觉传感器已成功应用于室内移动机器人避障与导航,说明该视觉方法是有效、可靠的.     

基于立体视觉和光流的障碍物探测方法

车辆在行驶过程中必须能够检测和躲避障碍物,为减少交通事故的发生提出了一种用双目立体视觉和光流相结合方法。立体视觉通过基于相关性的边缘索引算法来获取可靠的视差值,通过基于梯度的光流算法分析连续图像序列获取光流场。为融合立体视觉和光流,分析得到运动目标的精确位置信息,运动方向和轨迹的第一步。     

基于Harris-SIFT算法的双目立体视觉定位

针对基于尺度空间对图象保持不变性的SIFT算法在双目立体视觉应用时实时性差、误匹配等问题,提出一种运用Harris-SIFT算法进行双目立体视觉定位方法.通过介绍双目立体视觉的模型原理,利用Harris-SIFT算法从左右摄像机分别获取的图像中检测目标,并获取匹配目标的特征点,对两幅图像中目标物体的坐标标定,通过计算可得到目标物体的深度距离,还原其三维信息.实验证明,运用Harris-SIFT算法使该系统的实时性能和距离精度得到提高.     

多传感器结合的无人机障碍物识别方法研究

随着无人机越来越多的应用在植保作业中,无人机障碍物识别正逐渐成为研究的重点。由于单一传感器识别障碍物的局限性,提出将毫米波雷达和视觉系统相结合的障碍物识别方法:利用毫米波雷达探测前方障碍物的距离,通过视觉系统检测障碍物的大小形状等信息。视觉系统结合色值提取、形态学处理等方法滤去干扰信息,得到较为光滑的障碍物轮廓,利用坐标系的转换实现雷达与视觉系统的空间融合,首次对障碍物的面积进行了测算,采用同步线程的方式实现传感器在时间上的融合;根据融合处理得到的结果,判断无人机是否可以在障碍物之间顺利通过,为避障决策提供依据。通过试验证明该方法既可获取前方障碍物的位置信息,同时受环境因素的影响较小,且可以识别出障碍物的轮廓、大小并完成障碍物之间距离的测算。     

基于立体视觉和光流的无人机避障算法研究

无人机在飞行过程中必须能够检测障碍物并且准确躲避。为使无人机在飞行过程中更加安全,提出了一种双目立体视觉和光流相结合的避障方法。双目立体视觉通过边缘索引算法来获取可靠的视差值,并根据视差线汇聚角度得到空间深度信息,进而辨别物体的远近;基于SIFT的光流法能得到障碍物相对于摄像头的每一个时刻的运动速度。为了更快地得到更加准确的位置信息,将立体视觉和光流结合在一起。实验结果表明,该方法能有效提高避障的效率和精度。     

Deep network based stereoscopic image quality assessment via binocular summing and differencing

With the development of deep networks in dealing with various visual tasks, the deep network based on binocular vision is expected to tackle the issue of stereoscopic image quality assessment. Here, we present a stereoscopic image quality assessment method using the deep network with four channels together, which takes the left view, right view, binocular summing view, and binocular differencing view as the inputs of the network. The visual features are enhanced through the concatenation in a weighted way, so that the binocular vision can be adequately included in the binocular addition and subtraction information. Compared with the state-of-the-art metrics, the proposed method exhibits relatively high performances on four benchmark databases.     

基于双目特征联合的无参考立体图像质量评价

通过模拟人类视觉系统(HVS)的双目视觉行为,提 出一种基于双目特征联合的无参考立 体图像质量评价(NR-SIQA)方法。首先分析立体视觉感知中的双目联合行为,提出 可应用于立体图像质量预 测的双目联合模型;然后采用学习和统计分析的方法,分别提取局部和全局特征并联合作 为感知特征; 最后采用机器学习算法,建立特征和质量的关系模型,并结合基于特征的双目联合模型预测 立体图像质量。实验结果表明,本文方法在对称立体图像库上的Pearson线性相关系数(PLCC)和Spearman等级系数(SRCC)高于0.93,在非对称库上高于0.87,优 于现有评价方法。     

强散射背景下的图像感知、融合与可视化技术

视觉信息是人类对周边环境进行感知的重要手段,光学成像和图像处理技术能大大扩展人类“视域”,使得人们获取图像的方式不局限于眼睛能见范围。散射效应导致光学成像装置的作用距离大幅下降,难以对远距离目标进行有效观测。人类对图像信息的感知,通常由对焦、校正和立体视觉形成,三个步骤互相耦合完成。其中,对焦和双目图像信息校正过程可以通过光学系统和数字图像处理的方法进行优化,提高强散射背景下的图像对比度,进而使得散射条件下的图像信息得以被感知和分析。然而,在目前技术条件下,机器立体视觉仍难以达到人类视觉水平,而人类视觉系统仍然是图像感知和分析的重要终端。可以预见,在低能见度条件下实现光学图像信息的精确获取与分析,仍需要实现人类视觉系统和机器的双重结合,发展包含人类视觉在内的立体视觉全局优化技术。主要介绍了在大气和水下浑浊条件下实现光学成像和实现图像融合的物理极限和关键影响因素,并展望人类的立体视觉在提高光学成像能力方面的作用。     

基于轮廓先验约束的复杂异形工件CT成像方法研究

在X射线CT成像检测系统中,复杂异形工件由于结构复杂,散射、硬化等现象较严重,而且在部分投影角度上,由于在射线透照方向上的有效厚度差异大,固定能量的射线剂量与厚度不匹配,投影数据质量较差,传统的CT重建算法得到的重建图像质量低,边缘模糊,无法获取工件的完整轮廓信息.为此文章研究了一种基于轮廓先验约束的复杂异形工件CT成像方法.首先利用双目立体视觉技术获取工件的轮廓信息,根据双目坐标系与CT坐标系间的空间位置关系完成先验图像的配准;然后将轮廓先验纳入到CT重建过程中并结合TV正则化进行轮廓约束重建.实验结果表明,该方法能够有效地抑制伪影和噪声,保留重建图像的边缘,改善重建图像质量,有助于提高复杂异形工件缺陷检测的可靠性.     

大视场双目主动视觉传感器的协同跟踪方法

针对大视场视觉监控的应用,提出了一种基于球面坐标的双目主动视觉传感器协同跟踪方法。首先采用图像特征匹配的方法估计摄像机的内部参数,然后引入球面经纬坐标系作为双目视觉传感器的公共坐标系,最后结合场景深度范围实现目标的协同跟踪。对于任意安装的双目视觉传感器,提出了一种建立球面公共坐标系的新方法,统一了不同参数下的情形,可以实现任意参数下的协同跟踪。实际监控场景下的视频实验,验证了方法的有效性和可行性。     

Quality assessment of multiply and singly distorted stereoscopic images via adaptive construction of cyclopean views

A challenging problem confronted when designing a blind/no-reference (NR) stereoscopic image quality assessment (SIQA) algorithm is to simulate the quality assessment (QA) behavior of the human visual system (HVS) during binocular vision. An effective way to solve this problem is to estimate the quality of the merged single view created in the human brain which is also referred to as the cyclopean image. However, due to the difficulty in modeling the binocular fusion and rivalry properties of the HVS, obtaining effective cyclopean images for QA is non-trivial, and consequently previous NR SIQA algorithms either require the MOS/DMOS values of the distorted 3D images for training or ignore the quality analysis of the merged cyclopean view. In this paper, we focus on (1) constructing accurate and appropriate cyclopean views for QA of stereoscopic images by adaptively analyzing the distortion information of two monocular views, and (2) training NR SIQA models without requiring the assistance of the MOS/DMOS values in existing databases. Accordingly, we present an effective opinion-unaware SIQA algorithm called MUSIQUE-3D, which blindly assesses the quality of multiply and singly distorted stereoscopic images by analyzing quality degradations of both monocular and cyclopean views. The monocular view quality is estimated by an extended version of the MUSIQUE algorithm, and the cyclopean view quality is computed from the distortion parameter values predicted by a two-layer classification-regression model trained on a large 3D image dataset. Tests on various 3D image databases demonstrate the superiority of our method as compared with other state-of-the-art SIQA algorithms.     

自由立体显示拍摄系统中摄像机空间自由度的确定

自由立体显示器的立体显示效果与视差图的视差大小及性质密切相关,而视差的大小是受获取视差图时相机的摆放方式影响的。文章提出利用双目相机标定技术求解左右摄像机中心的空间位置关系以及两个摄像机光轴的空间夹角,并通过标定结果不断调节摄像机的位置,从而使两个摄像机光轴达到近似平行,此时获取的视差图就可以保证更好的立体显示效果。通过实验研究得到了两个相机空间夹角允许的变化范围。该研究结果可用于指导自由立体显示器拍摄系统的调节。     

Stereoscopic image quality assessment considering visual mechanism and multi-loss constraints

In this paper, a convolutional neural network (CNN) with multi-loss constraints is designed for stereoscopic image quality assessment (SIQA). A stereoscopic image not only contains monocular information, but also provides binocular information which is as identically crucial as the former. So we take the image patches of left-view images, right-view images and the difference images as the inputs of the network to utilize monocular information and binocular information. Moreover, we propose a method to obtain proxy label of each image patch. It preserves the quality difference between different regions and views. In addition, the multiple loss functions with adaptive loss weights are introduced in the network, which consider both local features and global features and constrain the feature learning from multiple perspectives. And the adaptive loss weights also make the multi-loss CNN more flexible. The experimental results on four public SIQA databases show that the proposed method is superior to other existing SIQA methods with state-of-the-art performance.