基于视差平面分割的移动机器人障碍物地图构建方法

作为自主移动机器人地表障碍物探测（GPOD）技术的一部分,提出了一种利用双目摄像机的视差图像 获取信息来构建机器人前方障碍物栅格地图的方法. 该方法融合了3 维立体视觉技术以及2 维图像处理技术,前者 依据视差图的直方图信息对视差图像进行自适应平面分割,把每个平面看作是3 维场景中的实物切片进而提取障碍 物3 维信息,后者通过计算各平面上的障碍物信息曲线来提取障碍物信息,把立体视觉数据从视差图像空间变换到 2 维的障碍物地图空间. 给出了该方法构建障碍物地图的整体过程,试验结果证明了该算法的有效性和精确性.     

从单幅正轴测投影线图建立平面立体的模型

提出了一种从单幅二维正轴测投影线图建立平面立体线框模型的新方法。提出一种新的空间直线坐标表示法，根据正轴测投影线图中隐含的直线与平面之间的从属关系建立约束方程。考虑画出隐藏线的正轴测投影线图，根据线画图中隐含的约束条件，建立一个线性系统，通过求解该线性系统，得到平面立体的三维信息。证明解释平面立体正轴测投影线图至少有4个自由度。     

基于双目视觉的头部姿态估计

基于双目视觉设计一种由人眼在二维及三维空间相对位置的变化估计头部姿态的方法,并将头部姿态分为15种.用光照补偿和肤色模型划分人脸区域的方法减少传统级联分类器易受光照和角度的影响而产生的人眼误检;对双目相机标定以进行立体校正和去畸变,图像经过对极约束、重投影和立体匹配过程得到视差,根据左右图像中对应的人眼位置的视差由三角...     

立体显示中双目视差模型和深度感知研究

为在平面幕上建立立体视觉,通过模拟真实世界中人眼获取图像过程,介绍计算机绘制双眼视差图像的方法。给出虚拟场景中 2种放置双眼视见体的模型,通过投影分析可以得出内束模型会引入垂直视差,且水平视差不恒定,从而引起同一深度面的物体被感知深度变形。离轴模型符合人眼建立立体视觉的习惯,可以正确反映出物理屏幕前后不同深度的物体,且比单眼图像的视野范围大。     

二维视图到三维几何模型转换中的BOX显示法

提出一种从二维视图到三维几何模型转换中视图的BOX显示方法,该方法可以将分离识别后的视图自动按照视图投影的方向放置,即将单一的二维视图平面向多投影面转换,建立视图之间的投影对应关系,从而直观地表达实体的投影视图,帮助用户进行形体想象。给出了两个视图BOX显示的例子。     

基于地面视差分布的栅格地图建立方法

针对使用立体视觉建立环境地图方法存在信息不完整的问题,提出一种基于地面视差分布的栅格地图建立方法。利用地面视差分布在视差图中进行障碍物和地面点的检测,通过统一但参数值不同的投影模型将障碍物像素和地面点像素投影到栅格地图中,同时考虑立体视觉的量化和匹配误差、地面视差和栅格占据概率的空间分布。通过在非结构化环境中的实验表明,该方法可以实时地建立信息完整且准确的栅格地图。     

三维表面与平面数据间的自适应配准

三维体数据与二维平面数据间的配准是手术导航的基础。与以往的思路有所不同,论文通过把三维表面投影到平面上,利用光照模型计算投影平面的灰度值,实现投影图像与实拍照片间的匹配,在匹配中调整投影参数使得两平面图像达到最佳相似,进而实现三维到二维的自适应配准。     

空间三维立体真实图形的研究与应用

本文提出一种三维立体真实图形在二维平面上正确的最佳的显示法。它依据组成物体的点、线、面在任意平面上投影的示平面必须与视平面一致(相互平行或重合)的显示原理。揭示了在二雏平面上表示空间三维坐标系的城和非域的存在, 同时指出在非域內产生的空间三维坐标系, 不但是违反人的视觉规律而不存在的, 而且还会给三维立体真实图形的生成带来错误。利用这种方法,还可以很好地解决计算机图形学中一直存在的难题, 即消除隐藏线面算法的二义性问题。     

线框模型投影图的消隐

不具有表面信息的三维线框模型投影到二维平面上,不能利用现有的立体投影消隐的方法来消除被遮挡线。提出利用包围盒与有向三角形相结合的方法,找出投影图中的相交边,通过投影模型计算距离并判断其相互的遮挡关系。引入遮挡矩阵存储遮挡信息弥补了投影降维后造成的深度信息损失。利用遮挡矩阵更新表示顶点间拓扑关系的连接矩阵,得到不含隐藏线的投影图。实验表明,算法稳定而高效。     

基于双目立体视觉的目标物测距研究

为了获取目标物体在空间中的三维信息,本文在双目立体测量原理的基础上,采取OpenCV和Matlab相结合的方法,设计了一个基于双目立体视觉的目标物体测距系统。该系统采取张定友棋盘标定法,使用Matlab内置的工具箱完成双目相机标定,采用SGBM(Semi-Global Block Matching)立体匹配算法在VS2017环境下结合Opencv3.4.1库,对左右相机获得的图像进行立体匹配,生成视差图,将二维空间点重投影到三维空间中,实现二维坐标到三维坐标的转换,即可得到物体的三维点坐标。最终实现通过鼠标点选被测物体视差图后输出选定的空间三维坐标。实验结果显示,该系统的测量精度较高,并且在140 cm距离的测量精度最高。     

利用双目视差理论的摄像机参数标定方法

针对龙眼和荔枝采摘机械手的目标获取问题,文章提出了基于双目立体视觉的摄像机标定的实验系统。实验系统是采用双目视差原理来获取深度信息的标定模型,通过对不同距离的标定板上已知特征点的图片获取和数据处理和分析,确定了两摄像机之间的最佳基线距离,在此基础上进一步验证了采摘目标的深度信息与摄像机的焦距有关的理论,并获得摄像机的合理焦距,为采摘机械手定位提供了基础理论研究依据。     

一种基于自适应支持权重优化的立体匹配算法

立体匹配是图像处理领域的经典问题和研究热点之一。针对原始ASW立体匹配算法中存在的运算时间过长以及遮挡区域的误匹配率高的问题,提出了一种改进优化方法。在自适应支持权重方法的基础上结合Rank变换方法,从参数选择以及立体匹配性能这两个方面对自适应支持权重进行改进,然后对得到的初始视差进行有效视差校准从而得到最终视差。最后利用仿真实验得到匹配精度较高的图像序列视差图,并通过实验结果对比验证了该方法具有很好的可行性。     

An effective calibration procedure for correction of parallax unmatched image pairs

The stereo image pairs or two-view video sequences can be captured by two cameras at two horizontally different positions. If the stereo image pairs possess incompatible convergences of vertical parallax and horizontal parallax, human eyes generally cannot properly exhibit stereo visualisation. If the image pairs are taken from single camera or selected from a video sequence, perception of stereo visualisation will become even worse. The authors propose an effective calibration procedure to adjust the image pairs to achieve better stereo visualisation. The proposed calibration procedure contains six steps, including feature point extraction, bidirectional feature point matching, relative distance checking, image transformation, hole-filling and reshaping. Experimental results show that the proposed system can effectively adjust vertical and horizontal parallax such that the calibrated stereo image pairs can properly exhibit stereo scenes in stereoscopic display systems. Experimental results also reveal that the proposed method can achieve less vertical parallax than the existing rectification methods.     

快速鲁棒的立体匹配方法

针对全局匹配算法复杂度太高的问题,提出了一种基于图割的快速鲁棒立体匹配算法。一方面,参考局部立体匹配算法的思想,优化图割求解中的网格图的节点和边缘个数,使得在进行图割全局优化求解时不需要遍历所有视差值,从而减少匹配时间;另一方面,用二维线性插值算法计算亚像素,提高匹配精度和算法鲁棒性。实验结果表明,该算法快速、鲁棒、准确。     

Can movement parallax compensate lacking stereopsis in spatial explorative search tasks?

In an explorative task subjects were asked to track a line presented in combination with other confusing lines on a 3D display. 24 subjects performed the explorative task under three depth cue conditions which were: stereopsis, movement parallax or a combination of stereopsis and movement parallax (stereo and parallax).

Task performance was assessed by recording completion time and correctness of answer.

The combination of stereopsis and movement parallax gave rise to highest percentage of correct answers (84%), followed by the condition where movement parallax was the only depth cue (80%). Percentage of correct answers in both conditions was found to be significantly higher than it was in the condition with stereopsis (60%).

Mean completion time was about the same in the stereo and parallax condition and the stereopsis condition. Compared to the movement parallax condition both means were significantly decreased.

Accuracy in completing the task was found to be similar in 3D displays enabling movement parallax and in 3D displays presenting stereoscopic images.     

多特征融合和自适应聚合的立体匹配算法研究

针对局部立体匹配在光照失真和弱纹理区域匹配精度低的问题,提出了一种多特征融合的代价计算和自适应十字窗口聚合的立体匹配算法。引入HSV颜色空间分量,结合改进后的Census变换和梯度信息作为匹配代价计算方法,排除了视差边界异常值的影响,增强了算法对光照失真的稳健性;提出了基于梯度信息和可变颜色阈值的自适应窗口代价聚合方法,提高了在弱纹理区域的匹配精度;通过视差计算和多步骤的视差精细得到了最终的视差结果。实验结果表明,所提算法较AD-Census算法在无光照失真条件下误匹配减少了3.24%,能有效解决视差边界和弱纹理区域错误匹配的问题,对光照失真稳健性好且能有效抑制噪声干扰。     

回环结构与PAM结合的双目图像超分辨率网络

双目图像第二视点为图像超分辨率重建网络提供更多的细节信息,为更充分利用双目图像的互补信息,提出一种基于深度学习的回环结构与视差注意力模块（PAM）相结合的双目图像超分辨率重建网络。该网络特征提取模块由MJR-ASPP+构成的回环结构与扩张残差块交替级联而成,回环结构中混合跳跃式残差（MJR）能聚合网络中不同深度的信息,改进空洞空间金字塔池化块（ASPP+）用于提取图像多尺度特征,扩张残差块融合多级特征的同时有效去噪;引入视差注意力模块获取双目图像中的全局对应关系,集成图像对的有用信息;通过亚像素层重建出超分辨率左（右）图,并将FReLU用于整个网络中提高捕获空间相关性效率。该网络在Middlebury、KITTI2012、KITTI2015和Flickr1024四个公开数据集中都取得了优异结果,实验结果表明该网络具有更好的超分辨率性能。     

Interactive stereoscopic displays

Interactive stereo displays allow for the existence of a natural interaction between the user and the stereo images depicted on the display. In the type of display discussed here, this interaction takes the form of tracking the user's head and hand/arm position. Sensing the user's head position allows for the creation of motion parallax information, an immersive depth cue that can be added to the binocular parallax already present in the display. Sensing the user's hand or arm position allows the user to manipulate the spatial attributes of virtual objects and scenes presented on the display, which can enhance spatial reasoning. Moreover, allowing the user to manipulate virtual objects may permit the creation of a sense of spatial relations among elements in the display via proprioception, which may augment the two parallax cues. The congruence among binocular parallax, motion parallax, and proprioception should increase the sense of depth in the display and increase viewing comfort, as well as enhance the ability of our intuitive reasoning system to make reasoned sense out of the perceptual information. These advantages should make interactive stereo displays, which may be classified as a form of cognitive enhancement display, the display of choice in the future.     

基于Java3D的立体显示技术及其在仿真中的应用

提出用虚拟环境建模API Java3D产生场景左右眼图像的关键技术，以及用Java3D如何控制影响立体显示效果的主要因素，这些主要因素是左右图像视差、虚拟眼睛视场宽度和虚拟眼睛到显示平面的距离。这些技术已成功应用于Java3D开发的汽车驾驶仿真系统中以实现立体显示。这些技术为用Java3D开发视景仿真系统和三维立体视觉游戏软件提供支持。