基于立体匹配的低纹理图像重构算法

针对立体匹配中低纹理区域容易产生误匹配及传统动态规划固有的条纹问题,提出一种改进的基于双目立体视觉的低纹理图像三维重构算法。该算法首先基于像素间相似度和像素自身特异性计算匹配代价并引入一种自适应多边形支撑区域聚集匹配度。然后采用一种全局意义的简单树形动态规划进行逐点匹配。最后基于左右一致性准则运用一种简单有效的视差校正方法消除误匹配得到最终视差图。实验证明将算法运用于实拍低纹理灰度图像的匹配,得到轮廓光滑清晰的三维点云,说明该方法的适用性。     

PTZ摄像机视频与三维模型的配准技术研究

针对基于投影纹理映射的虚实融合系统,提出了一种PTZ摄像机视频与三维模型实时配准的技术.选取PTZ摄像机若干特定姿态的子图像组成一张全景图像,进行最优匹配图像的搜索,用SURF图像配准的方法对实时视频图像进行透视变换,利用最优匹配图像的三维投影信息将实时视频图像精确投影到三维模型中.实验结果表明,该算法具有较高的准确性,适用于虚实融合系统中PTZ摄像机视频的三维配准.     

基于双目视觉的三维人脸重建方法

提出了一种基于双目视觉的三维重建方法,无须昂贵设备和通用模型。从校正后的图像中提取有效人脸重建区域以降低整体耗时。改进了Realtime局部立体匹配算法和基于种子视差约束的区域生长算法,融合Realtime阈值排序和置信度排序进行区域生长,提高了种子像素提取的可靠性和降低区域生长误匹配的可能性。最后,研究了纹理映射技术,提高了重建模型的逼真度。实验结果表明,该方法能够产生逼真光滑的三维人脸模型。     

基于计算机三维立体视差映射的双目立体成像研究

基于计算机三维立体视差映射的双目立体成像涉及计算机视觉、模式识别、计算机图形学等领域中许多具有挑战性的研究问题。主要存在的问题是所成的立体图像仍不够逼真和自然,人们对人眼的功能以及双目立体成像模型的了解还不够彻底,立体图像对的获取还有一些难题没有得到较好的解决。该文提出了一种已建三维模型的情况下立体图像生成方法。介绍了三维软件中如何利用摄像机对象生成双目立体图像,研究了影响立体效果的几个重要因素,包括目标摄像机与三维模型的位置关系、镜头距离、成像位置的控制等内容。这些工作基于计算机三维立体视差映射的双目立体成像推向深入,也为双目立体成像在可视化立体展示中的应用提供了理论和技术上的支撑。     

一种交互式纹理映射方法

针对使用实拍数码照片为模型添加纹理的映射过程,提出一种交互式纹理映射方法.通过交互式的三维拾取准确的找到三维模型和纹理图像中的对应点,然后使用一种基于四组对应点的相机外参标定方法,结合相机内参计算出投影转换矩阵,实现3D-2D特征点的配准.通过实验证明,该方法应用在纹理映射中是正确的、可行的,可以建立三维模型和数码照片之间的匹配关系,实现纹理映射.     

古建筑视觉三维重建系统设计与实现

基于视觉的三维重建一直是计算机视觉领域的研究难点和热点,古建筑文化遗产的三维数字化应用就是其中之一.针对此需求,设计并实现基于图像视觉的古建筑三维重建系统.该系统由单个摄像机采集古建筑的多视角图像序列,通过图像特征提取和匹配、摄像机位置姿态计算、优化算法、三维点云生成、纹理映射等一系列自动计算过程,得到古建筑的三维重建模型.通过实验验证,该系统能够自动计算获取视觉效果良好的古建筑三维重建模型,且其实现成本低、操作简单安全,无须人工干预,可以满足当前古建筑快速安全的三维数字化应用需求.     

基于双目视觉的三维测量技术研究

本文对基于双目视觉的三维测量技术研究进行了深入挖掘,主要包括摄像机模型、双目相机的标定、图像校正、立体匹配等。同时借鉴机器学习的分类思想,将角点提取转化为二分类问题,利用随机森林算法来实现角点提取,再利用随机森林的预测结果来实现亚像素级角点提取。该方法相对于传统三维测量中的角点提取算法具有更好的自动化性能,能避免角点集群现象,能实现较高精度的亚像素级角点提取,获得更高精度的二维像素坐标。从而利用高精度的二维像素坐标来获得点的三维世界坐标,这也是基于双目视觉的三维测量技术的基础与核心。     

基于三角网格模型的纹理映射研究

纹理映射可以在不增加三维模型复杂度的前提下很好地表现三维模型表面的纹理细节,提高三维模型的视觉效果。针对三维网格模型,提出一种用基于纹理图册的方法将模型进行分片,并利用最小二乘保形映射对分割得到的每一片进行平面参数化,控制了形变。再通过建立二维坐标系与纹理坐标系的关系,确定三维模型各个顶点的纹理坐标,从而对三维模型进行纹理映射。实验证明,该方法能得到较好的纹理映射效果,增强了三维模型的真实感。     

一种三维建筑物模型自动纹理映射方法

针对三维模型纹理映射受观测视角及遮挡影响的问题,提出了一种基于高斯混合模型的纹理自动映射方法。首先在体素三维重建模型上,为每一个目标表面体素建立高斯混合模型来描述该体素的颜色在不同图像上观测值的分布;然后利用输入的序列图像及对应的相机参数,结合场景的可见性约束,用图像每一个像素的颜色信息更新三维场景模型中它所对应的体素的高斯混合模型;最后用高斯混合模型的期望估计体素的实际颜色纹理。结果表明,该方法可以得到准确精细的三维建筑物纹理模型。     

虚平面映射:深度图像内部视点的绘制技术

首先推导与归纳了图像三维变换中像素深度场的变换规律,同时提出了基于深度场和极线原则的像素可见性别方法,根据上述理论和方法,提出一种基于深度图像的建模与绘制(image-based modeling and rendering,简称IBMR)技术,称为虚平面映射.该技术可以基于图像空间内任意视点对场景进行绘制.绘制时,先在场景中根据视线建立若干虚拟平面,将源深度图像中的像素转换到虚平面上,然后通过对虚平面上像素的中间变换,将虚平面转换成平面纹理,再利用虚平面的相互拼接,将视点的成像以平面纹理映射的方式完成.新方法还能在深度图像内侧,基于当前视点快速获得该视点的全景图,从而实现视点的实时漫游.新方法视点运动空间大、存储需求小,且可以发挥图形硬件的纹理映射功能,并能表现物体表面的三维凹凸细节和成像视差效果,克服了此前类似算法的局限和不足.     

一种采用纹理分布特征的标定方法

纹理重建是文物数字化保护工作的重要内容,针对中小型文物纹理重建中多视角纹理采集的自动化标定问题,提出了一种新的用于纹理采集的量化特征标定方法,以提高三维空间点与二维像素点之间拟合的精度。按照实物表面色彩种类及几何图案数量两类重要的纹理特征,进行纹理分布数据的归一化整理;利用归一化后的数据对拍摄角度的标定模板进行标定;最后通过透视投影原理计算三维空间点与二维像素点之间的多视角配准与映射。实验结果表明,量化特征标定方法的非均匀特性与均匀标定模板相比较,在不明显增加计算量的同时,能更好地体现纹理精度。     

基于支持向量回归机的三维人脸建模方法研究

提出一种新的三维人脸建模方法,该方法首先运用双目立体视觉原理从不同角度获得人脸的两张照片,在一张照片上选定特征点,通过匹配在另一张照片上得到对应的特征点,然后从空间立体几何知识出发,根据两张照片上特征点的坐标以及拍摄时的参数,计算其三维坐标,利用支持向量回归机(SVR)对其进行回归预测建模,最后经纹理贴图,得到具有纹理特征的特定三维人脸模型。仿真实验结果表明,该方法获得的三维人脸模型较为逼真。     

Large-scale 3D Semantic Mapping Using Stereo Vision

In recent years, there have been a lot of interests in incorporating semantics into simultaneous localization and mapping (SLAM) systems. This paper presents an approach to generate an outdoor large-scale 3D dense semantic map based on binocular stereo vision. The inputs to system are stereo color images from a moving vehicle. First, dense 3D space around the vehicle is constructed, and the motion of camera is estimated by visual odometry. Meanwhile, semantic segmentation is performed through the deep learning technology online, and the semantic labels are also used to verify the feature matching in visual odometry. These three processes calculate the motion, depth and semantic label of every pixel in the input views. Then, a voxel conditional random field (CRF) inference is introduced to fuse semantic labels to voxel. After that, we present a method to remove the moving objects by incorporating the semantic labels, which improves the motion segmentation accuracy. The last is to generate the dense 3D semantic map of an urban environment from arbitrary long image sequence. We evaluate our approach on KITTI vision benchmark, and the results show that the proposed method is effective.     

Efficient and Handy Texture Mapping on 3D Surfaces

There has been a rapid technical progress in three-dimensional (3D) computer graphics. But gathering surface and texture data is yet a laborious task. This paper addresses the problem of mapping photographic images on the surface of a 3D object whose geometric data are already known. We propose an efficient and handy method for acquiring textures and mapping them precisely on the surface, employing a digital camera alone. We describe an algorithm for selecting a minimal number of camera positions that can cover the entire surface of a given object and also an algorithm to determine camera's position and direction for each photograph taken so as to paste it to the corresponding surfaces precisely. We obtained a matching accuracy within a pixel on a surface through three experimental examples, by which the practicability of our method is demonstrated.     

匹配图像与3维模型特征点的真实感3维头重建

提出并实现一种基于两张正交图像和一个标准3维头模型,并利用2D图像特征点和3D模型特征点的匹配进行3维头模型重建的算法。首先,进行面部区域和头发区域的分割,利用色彩传递对输入图像进行颜色处理。对正面图像利用改进后的ASM（主动形状模型）模型进行特征点定位。改进局部最大曲率跟踪(LMCT)方法,更为鲁棒的定位了侧面特征点。在匹配图像特征点与标准3维头上预先定义的特征点的基础上,利用径向基函数进行标准头形变,获得特定人的3维头部形状模型。采用重建好的3维头作为桥梁,自动匹配输入图像,进行无缝纹理融合。最后,将所得纹理映射到形状模型上,获得对应输入图像的特定真实感3维头模型。     

一种利用附加纹理信息进行三维喷绘的方法

针对三维透视投影视图中对三维物体表面纹理直接进行喷绘,以获得复杂纹理图这一计算机图形交互技术这一新问题,研究了一种将纹理图的象素位置信息转换成彩色信息,然后利用纹理映射将纹理坐标连同该点上的颜色值一起传递到与屏幕象素对应的可见点上的方法,其中颜色值依该点处的入射光线方向和表面法向被进一步转换为光强值,而纹理坐标则被解码后还原成与该可见点对应的纹理坐标,被存入信息缓冲器中,供以后使用,通过解码,可根据屏幕点直接得到纹理象素点的坐标,经过算法优化,实现了对三维物体表面纹理的实时喷绘;同时阐述了在三维图象生成技术中使用附加纹理信息的应用实例以及相关定义。     

Manual/automatic colorization for three-dimensional geometric models utilizing laser reflectivity

While laser scanners can produce a high-precision 3D shape of a real object, appearance information of the object has to be captured by an image sensor, such as a digital camera. This paper proposes a novel and simple technique for colorizing 3D geometric models based on laser reflectivity. Laser scanners capture the range data of a target object from the sensors. Simultaneously, the power of the reflected laser is obtained as a by-product of the range data. The reflectance image, which is a collection of laser reflectance depicted as a grayscale image, contains rich appearance information about the target object. The proposed technique is an alternative to texture mapping, which has been widely used to realize photo-realistic 3D modeling but requires strict alignment between range data and texture images. The proposed technique first colorizes a reflectance image based on the similarity of color and reflectance images. Then the appearance information (color and texture information) is added to a 3D model by transferring the color in the colorized reflectance image to the corresponding range image. Some experiments and comparisons between texture mapping and the proposed technique demonstrate the validity of the proposed technique.