一种快速区域立体匹配算法设计及实现

为了精确建立两幅图像像素间的对应关系,克服区域立体匹配算法计算量大的缺点,提出了一种改进的区域立体匹配算法。改进的区域匹配算法运用双向立体匹配策略来提高两幅图像像素间的匹配精度,并结合mean-shift图像分割技术,在同一区域具有相同视差的假设前提下获得图像的稠密视差;为了克服区域立体匹配计算量大的缺点,该算法引入伪极线约束将真正匹配点的位置限定在一个非常小的范围内,从而大大减少了匹配点的搜索范围,有效地降低了匹配算法的计算量。实验结果表明,改进的双向匹配算法可以有效地缩小匹配搜索范围,并实现图像间的精确稠密匹配。     

两组双目立体深度图像信息融合与三维重建方法

获取工件目标的三维表面与深度信息是实现工业立体视觉应用的关键。提出一种将两组双目视觉系统结合的方法,对随机摆放的工件多方位采集图像并获得目标工件的三维表面点云。其中,两组双目视觉系统会根据NCC(Normalized Cross Correlation)匹配算法产生工作场景的两组视差图像,去噪分割之后对其立体深度信息进行提取,其过程中采用一种新颖的转换方法,视差图像中每个坐标位置的像素点的x、y、z方向的立体深度信息分别被转化为X、Y、Z图像中对应位置上像素的灰度值。采样两组立体深度数据,共同储存到标定完成的参考相机坐标系中达到信息融合的目的。最后,对随机摆放的工业工件进行了的三维重构实验,对于相互重叠、高度、姿势都不同的零件能较好的恢复出清晰的轮廓点云,在重叠区域也能产生较为明显的层次性。     

立体图像生成的视差控制

获取合适的视差信息是立体图像得到舒适观看的重要条件。为达到上述目的,提出了一种立体图像视差检测和控制方案。首先分析2种人眼视觉生理学限制的数学模型,并结合人眼跟踪技术获取生理视差容限。然后使用OpenGL图像绘制引擎获取显示场景的极值深度信息,进而计算出画面视差范围。最终通过比对虚拟场景的视差与观察者的生理视差容限,确定场景视差正确性并加以修正。实验证明,方案可以实时地进行视差控制,为立体图像生成提供了可靠依据。     

基于红外立体视觉的行人感知方法研究

基于热红外特性,红外立体视觉路况行人感知方法可以在夜间、雾霾环境下有效检测道路场景中的行人等目标,提高驾驶安全性.针对红外图像中纹理细节少,传统稠密双目立体匹配算法效果差的问题,本文首先根据目标在红外图像下的亮度、边缘特征提取感兴趣区域(Region of interest,ROI);然后在ROI中提取图像特征点并匹配...     

自由立体显示拍摄系统中摄像机空间自由度的确定

自由立体显示器的立体显示效果与视差图的视差大小及性质密切相关,而视差的大小是受获取视差图时相机的摆放方式影响的。文章提出利用双目相机标定技术求解左右摄像机中心的空间位置关系以及两个摄像机光轴的空间夹角,并通过标定结果不断调节摄像机的位置,从而使两个摄像机光轴达到近似平行,此时获取的视差图就可以保证更好的立体显示效果。通过实验研究得到了两个相机空间夹角允许的变化范围。该研究结果可用于指导自由立体显示器拍摄系统的调节。     

一种纹理与结构光叠加的立体视觉改进算法

为降低复杂纹理与结构光叠加对立体匹配算法视差结果的影响,提出一种针对纹理与空间编码结构光叠加情况下的立体视觉改进算法。通过4种空间编码结构光与三种立体匹配算法(BM、SGBM、NCC)对单一平面与电木压模工件进行视差重建,发现叠加会导致双目立体视觉无法计算出真实视差。本文通过对比引入结构光前后两次拍照视差,在纹理复杂区域内用加入结构光之前视差替换加入结构光后坏点视差,实现对纹理与结构光叠加处视差优选,从而提高视差重建完整性。实验对比发现,在四种不同性能结构光下改进前后的三维重建结果可以验证算法有效性,算法提升了平面区域深度检测精度的1%,优化了工件视差重建,达到了提高三维重建完整性的目的。     

立体图像视差自适应调整算法

针对不同尺寸立体显示器播放立体视频时立体视觉效果存在的差异,提出一种通过调节图像水平视差改善立体显示效果的方法。首先应用立体匹配算法得到立体图像初始视差,通过图像分割与连通性检测从中可靠地获取水平视差范围;为保证图像中全部景物在舒适立体融像区内成像,根据显示器尺寸与观看距离,调整左右眼图像在原立体视频中相对位置,形成合理的水平视差,从而在立体显示器上产生舒适的立体视觉效果。实验证明,本文提出的方法可自适应地调整立体图像的水平视差并较好地改善立体显示效果。     

A new segmentation algorithm for videophone applications based onstereo image pairs

The stereo image pair of a speaking person in front of a stationary background taken by two CCD-cameras is used as an input scene for a new segmentation algorithm. The algorithm is based on the phase correlation technique which provides a disparity vector field. A brightness adjustment procedure is performed to provide stereo image pairs suited for the segmentation procedure. Then, a coarse segmentation into background and speaking person is made to achieve a reliable segmentation result. Finally, finer segmentation using a coarse-to-fine control strategy is performed only at the object boundaries. An application is demonstrated by applying a lowpass filter selectively to the background of input sequences for low bit rate image coding algorithms     

Robust ego-motion estimation and 3-D model refinement using surface parallax.

We present an iterative algorithm for robustly estimating the ego-motion and refining and updating a coarse depth map using parametric surface parallax models and brightness derivatives extracted from an image pair. Given a coarse depth map acquired by a range-finder or extracted from a digital elevation map (DEM), ego-motion is estimated by combining a global ego-motion constraint and a local brightness constancy constraint. Using the estimated camera motion and the available depth estimate, motion of the three-dimensional (3-D) points is compensated. We utilize the fact that the resulting surface parallax field is an epipolar field, and knowing its direction from the previous motion estimates, estimate its magnitude and use it to refine the depth map estimate. The parallax magnitude is estimated using a constant parallax model (CPM) which assumes a smooth parallax field and a depth based parallax model (DBPM), which models the parallax magnitude using the given depth map. We obtain confidence measures for determining the accuracy of the estimated depth values which are used to remove regions with potentially incorrect depth estimates for robustly estimating ego-motion in subsequent iterations. Experimental results using both synthetic and real data (both indoor and outdoor sequences) illustrate the effectiveness of the proposed algorithm.     

考虑图像边界的分块立体匹配算法

为获得图像边界区域有效视差信息,提出一种图像分块匹配的算法。首先根据像素点匹配窗口及视差搜索范围的越界情况,将图像分为中心和边界共九块,然后针对边界块,按照基准点靠近窗口中心的原则设定匹配窗口,最后分析了边界块与分界线上像素点的视差值关系。实验结果表明,该算法能获得良好的边界视差信息并节省了匹配时间。     

Clausius Normalized Field‐Based Stereo Matching for Uncalibrated Image Sequences

We propose a homology between thermodynamic systems and images for the treatment of time‐varying imagery. A physical system colder than its surroundings absorbs heat from the surroundings. Furthermore, the absorbed heat increases the entropy of the system, which is closely related to its disorder as given by the definition of Clausius and Boltzmann. Because pixels of an image are viewed as a state of lattice‐like molecules in a thermodynamic system, the task of reckoning the entropy variations of pixels is similar to estimating their degrees of disorder. We apply this homology to the uncalibrated stereo matching problem. The absence of calibrations alleviates user efforts to install stereo cameras and enables users to freely modify the composition of the cameras. The proposed method is also robust to differences in brightness, white balancing, and even focusing between stereo image pairs. These peculiarities enable users to estimate the depths of interesting objects in practical applications without much effort in order to set and maintain a stereo vision setup. Users can consequently utilize two webcams as a stereo camera.     

采用双目立体相机的实时集成成像拍摄系统

提出了一种基于双目立体相机的实时集成成像拍摄系统。不同于采用传统的摄像机阵列,该系统采用双目相机对三维场景进行拍摄,有效地简化了集成成像拍摄系统的结构。该系统首先利用双目相机获取三维场景的左右视差图,然后上传到图形处理器生成三维场景的高分辨率深度图,之后利用深度图和彩色纹理图在图形处理器中并行生成新视点视差图像,并利用像素映射算法生成高分辨率微图像阵列,实现实时的集成成像显示。实验中系统获取的深度图像素数目是微软Kinect2获取深度图像素数目的4.25倍,当系统运行在1 920 pixel1 080 pixel、99视点数的环境下,可实现三维场景的实时拍摄与显示,实验结果证明了所提系统的可行性。     

基于时空一致性的立体视频稳像改进方法

随着立体拍摄设备的普及,立体影视的后期稳像需求大大增加.直接观看带有抖动的立体视频,极易造成视觉疲劳.利用传统2D稳像方法分别稳像合成的立体视频很可能引入新的垂直视差,并且会导致水平视差的不稳定,大大影响视觉体验.因此,提出了一种改进的立体视频稳像方法,在3D运动模型进行单目稳像的基础上,增强两路视频的时空一致性约束,更好地稳定水平视差及消除垂直视差.最后对稳定后的序列进行合理的裁切放大.对几组不同的立体抖动视频进行了试验,测试结果表明所提出的方法是有效的.     

平行式双目立体系统基线长度的选取

如何获取人眼立体融合范围内的视差图像是立体影像获取的前提,而视差的大小与双目立体相机间的基线长度存在一定关系.通过分析平行式双目立体系统产生视差的原理,并结合人眼Panum融合区对立体拍摄过程中基线长度的取值进行限定.最后通过实验对推导结果进行验证.该研究可对实际立体影像拍摄过程中相机间隔的选取提供参考.     

彩色立体图像匹配算法研究

立体图像匹配对于自由立体重建、三维测量以及立体显示中图像压缩来说是非常重要的。针对区域灰度互相关图像匹配的计算量大、速度慢的情况,运用了一组快速灰度互相关计算公式,提出了用视差限制搜索空间。同时,针对彩色图像的特点,将彩色图像的色彩信息考虑进图像的匹配过程中,将彩色图像的R、G、B三单色图像分别进行灰度相关匹配,定义并采用了颜色分量权重系数来抑制误匹配点。实验表明,该方法有效地减少了计算量,加快了计算速度,提高了图像匹配精度,具有较好的实时性。该方法将应用于三维立体显示中基于视差图的视差进行图像压缩。     

基于医学图像分割的半自动ROI提取

针对当前ROI提取方法,提出了一种基于图像分割的半自动ROI提取算法,一方面保证提取出的ROI是有意义的对象,另一方面人为指定因素更小,对ROI提取的智能性有较大提高。在图像分割中提出一种基于改进的分水岭算法的医学图像分割方法,引入了浮点活动图像代替梯度图像进行分水岭变换,使分割结果边缘定位更准确,在分水岭变换之后,提出基于面积和对比度控制的合并小区域准则,可得到更好的分割效果。     

红外图像目标快速分割方法

提出一种红外图像阈值分割方法。为了减少计算量,首先给出一种提取包含待分割目 标的感兴趣区域方法;然后利用Bezier 曲线法平滑感兴趣区域直方图的噪声,利用所提出的判据来确定最佳分割阈值并进行分割。最后结合上述分割结果和目标的边缘信息得到最终的分割效果。实验结果表明,提出的方法能快速有效的将红外目标从复杂的背景中分割出来。     

基于双目视觉的六旋翼无人机立体匹配算法

针对六旋翼无人机双目视觉成像时,经双目融合后反馈的图像噪点过多,以及图像精度不够理想的问题,提出了一种在匹配过程中融入全局差错能量最小化的区域立体视觉匹配算法。由于视差的求解是立体匹配过程中最重要的环节,因此本文利用最小化差错能量矩阵求解最优视差的原理。通过提高立体视觉的视差精度,从而减少视觉融合过程中因数据问题产生的噪声干扰,最终提高了对场景信息三维重构的准确度。通过分别在室内外的仿真实验与真实环境重构实验,验证了本文提出的基于双目视觉的六旋翼无人机立体匹配算法的有效性与可靠性。     

Edge-preserving disparity estimation and disparity-compensated intermediate view reconstruction for stereo images

A constrained disparity estimation method is proposed which uses a directional regularization technique to efficiently preserve edges for stereo image coding. The proposed method smoothes disparity vectors in smooth regions and preserves edges in object boundaries well, without creating an oversmoothing problem. The differential pulse code modulation (DPCM) technique for disparity map coding is used prior to entropy coding, in order to improve the overall coding efficiency. The proposed disparity estimation method can also be applied to intermediate view reconstruction. Intermediate views between a left image and a right image provide reality and natural motion parallax to multiviewers. Intermediate views are synthesized by appropriately exploiting an interpolation or an extrapolation technique according to the characteristics of each region after identifying the regions as occluded regions, normal regions, and regions having ambiguous disparities.The experimental results show that the proposed disparity estimation method gives close matches between a left image and a right image and improves coding efficiency. In addition, we can subjectively confirm that the application of our proposed intermediate view reconstruction method leads to satisfactory intermediate views from a stereo image pair.This work was supported by the Korea Institute of Science and Technology (KIST) under Grant No. 99HI-054.     

基于三维特征和结构相似度的图像质量评价方法

分析了人眼视觉特性、双眼视差异信息等三维特征,将立体视觉与图像的结构相似度(SSIM)相结合,提出了一种新的立体图像质量评价方法。该方法考虑了立体图像的亮度、纹理细节和空间位置等因素对人感知立体效果的影响,利用加权平均结构相似性(WMSS)联合统计学方法得到评价初值,用包含三维景物深度信息的双眼视差信息进行修正,作为立体图像质量的评价结果。实验表明,该方法符合人眼视觉特性,与主观评价(MOS)的一致性较好。