基于弱监督学习的三维人脸形状与纹理重建

三维人脸相较于二维人脸包含了更多特征信息, 可应用于如人脸识别、影视娱乐、医疗美容等更多实际应用场景, 因此三维人脸重建技术一直是计算机视觉领域的研究热点. 由于真实三维人脸数据较难获取, 很多基于深度学习的重建算法首先利用传统重建方法为大量二维人脸图像构建三维标签, 作为训练数据, 这些数据可能并不精准, 从而导致算法的重建精度受到影响. 为此, 本文提出一种基于multi-level损失函数的弱监督学习模型, 结合传统三维人脸形变模型3DMM与深度学习方法, 直接从大量无三维标签的二维人脸图像中学习三维人脸特征信息, 从而实现基于单张二维人脸图像的三维人脸重建算法. 此外, 为解决二维人脸图像中常存在遮挡或大姿态情况而影响人脸纹理重建的问题, 本文使用基于CelebAMask-HQ数据集的人脸解析分割算法对图像进行预处理去除遮挡区域. 实验结果表明, 基于本文方法的三维人脸重建质量与重建精度均实现了一定的提升.     

一种快速的三维扫描数据自动配准方法

研究了两幅和多幅深度图像的自动配准问题.在配准两幅深度图像时,结合二维纹理图像配准深度图像,具体过程是:首先,从扫描数据中提取纹理图像,特别地,针对不包含纹理图像的扫描数据提出了一种根据深度图像直接生成纹理图像的方法;然后,基于SIFT(scale-invariant feature transform)特征提取纹理图像中的兴趣像素,并通过预过滤和交叉检验兴趣像素等方法从中找出匹配像素对的候选集;之后,使用RANSAC(random sample consensus)算法,根据三维几何信息的约束找出候选集中正确的匹配像素对和相对应的匹配顶点对,并根据这些匹配顶点对计算出两幅深度图像间的刚体置换矩阵;最后,使用改进的ICP(iterative closest point)算法优化这一结果.在配准多幅深度图像时,提出了一种快速构建模型图的方法,可以避免对任意两幅深度图像作配准,提高了配准速度.该方法已成功应用于多种文物的三维逼真建模.     

真实感人脸的形状与表情空间

提出一种建立三维人脸扫描模型参数空间的算法,其中的模板拟和算法基于能量最小的优化机制,通过非线性优化过程求解模板模型在每个顶点上的位移矢量,使之逼近目标模型.优化目标方程由以下测度组成：距离、平滑度以及人脸特征对应,如特征曲线、边界和特征点对等.使用该算法可用于不同人脸以及不同表情模型之间的对应建立,从而获取一致参数化的人脸形状和表情空间.在文中系统中,三维面部特征曲线通过Canny边检测算法自动获取,这样自动检测获取的特征曲线可用于降低三维形状描述的维数,同时完整的面部几何形状通过径向基函数插值得到.在中性人脸和表情人脸模型上所作的一致参数化为许多应用提供了平台,如形状渐变,纹理迁移和表情迁移.考虑到自动提取的特征曲线和二维线画卡通人脸的相似性,使用迭代优化算法实现二维线画卡通人脸姿态到三维真实人脸模型的迁移.     

基于固定式相机对动态目标跟踪的三维重建

通过图像的三维建模方法往往通过移动拍摄设备拍摄静止物体来达到三维重建的目的,却不适用于对移动中的物体进行三维重建。三维重建中常用提取SIFT特征作为图像特征匹配,然而SIFT特征在某些无纹理或者纹理少的情形表现效果不佳,而且错误匹配较多。采用动态目标提取和目标跟踪技术应用到动态目标的三维重建。并用网格运动统计（GMS）的特征点匹配算法来作为图像匹配,用来实现固定相机对动态目标物体的三维重建。     

三维人体模型姿态与形状重构

为了解决单张照片人体重构出现的姿态翻转问题,提高重构模型的准确度,提出相邻帧姿态约束和人体轮廓线匹配的姿态与形状序列同时重构算法.对视频中的每一帧,首先估计出图像中人物的二维关节点、人物脸部特征点及其边缘轮廓线;然后将参数化模型SMPL所表达的三维人体投影到二维平面上,使得投影后的二维信息与对应的视频帧二维信息相匹配;最后通过调整SMPL的姿态与形状参数来最小化匹配能量函数,从而重构出与视频帧中人物具有相似姿态与形状的三维人体模型.此外,为了使重构结果显得更真实,也对图像帧中人体的头部姿态进行了检测和匹配.该算法在MPI-INF-3DHP数据集、Youku视频和自拍视频帧上均进行了实验,实验结果表明,与SMPLify算法等相比,该算法能有效地避免重构结果中出现姿态翻转的现象,且能在保证模型整体姿态相似性的前提下重构出准确的头部姿态和相似的模型形状.     

基于彩色信息的尺度不变特征变换图像特征点提取与匹配

针对将彩色图像转化为灰度图像后再进行特征点提取与匹配会丢失彩色信息,可能导致误匹配这一问题,采用一种基于彩色信息的SIFT特征点提取及匹配算法(CSIFT)以实现彩色图像的特征点提取及匹配,结合目标的颜色特征与几何特征,以颜色不变量作为输入图像,再提取特征点并描述特征点周围的信息,通过最近邻匹配法求出图像间的匹配对。实验将该算法应用于视觉里程计中,对相机所拍的相邻两帧图像进行了特征点提取及匹配,并比较了该算法与传统SIFT算法的差异。实验结果表明该算法是有效的。     

混合特征下最优阈值预测的图像匹配

针对单一特征条件下图像匹配率较低,以及SIFT算法由于固定对比度阈值造成特征点数目提取不均的问题,提出一种混合特征下最优阈值预测的图像匹配算法。该算法首先采用SIFT算法提取图像特征点,然后利用纹理参数二阶矩自适应法得到最优阈值,并用描述性较强的纹理特征向量对SIFT匹配过程进行约束实现图像的匹配。实验结果表明,提出的算法根据图像灰度分布自适应选取对比度阈值,能够增强图像细节信息且使提取的特征点数量稳定,在匹配过程中引入纹理向量作为约束准则,避免了相似区域的误匹配,对光照和模糊图像有较好的鲁棒性。     

彩色Range图像的三维模型重建

重建包含模型真实纹理的彩色三维模型是计算机视觉研究领域的一个重要问题,提出了一种基于2.5维深度图像的三维配准算法,同时利用原始数据中的几何以及纹理信息,对多幅深度图像进行两两配准和全局配准。新算法在两两配准阶段将纹理信息用于初选两幅图像的匹配点对,在全局配准阶段将纹理信息用于计算残差,并据此更新对应点对的权重值用于下一次迭代计算。该算法克服了以往算法在纹理、几何信息的参数尺度量化等方面的问题。     

基于SIFT特征和ISM的X射线图像危险品检测方法

针对行李安检时X射线图像中的危险品检测问题,提出一种基于尺度不变特征变换(SIFT)和隐式形状模型(ISM)的检测方法。首先,采集不同姿态的危险品X射线图像,并标注目标位置,构建训练数据集。然后,通过SIFT算法提取目标关键点,并以此构建目标的ISM模型。在检测过程中,将提取的目标SIFT描述符与ISM模型中的视觉描述符进行匹配,通过投票机制来判断目标是否为危险品。通过手枪和酒瓶的检测实验表明,该方法能够从X射线图像中准确检测出危险品,且对目标姿态变化具有鲁棒性。     

基于双目立体视觉三维重建系统的研究与设计

基于双目的立体视觉方法,介绍了一套由双工业CCD构成的立体视觉系统,设计了一套切实可行的三维重建系统方案,其中包括图像获取模块,基于OpenCV的摄像机标定系统,SIFT算法实现特征点提取与立体匹配,深度信息计算,OpenGL三维模型重构几大模块.系统各模块经过试验测试和验证,能够通过两幅图像恢复出物体三维可见表面几何形状,充分发挥了OpenCV函数库的功能,基本上能满足三维重建目标的要求,尤其对城市景观的三维重建有较大应用价值.     

立体目标的宽基线图像匹配

为了匹配立体目标的图像特征,提出一种仿射不变的局部特征提取算法。根据高斯滤波器的形状和大小要与图像结构相适应的原理,该算法利用图像中的最大稳定极值区域(MSER)的协方差矩阵衡量局部图像结构,并将局部图像结构变换到圆形高斯滤波器适用的形式下,以解决视角和尺度变化问题。为了保证图像变换的正确性,采用旋转压缩的方式将各向异性的图像结构变换为各向同性的图像结构。最后在各向同性的图像结构上提取尺度不变特征变换(SIFT)特征点,并将SIFT特征点的坐标变回原图像坐标。实验结果表明该算法提取的局部特征是完全仿射不变的,在立体目标的宽基线图像匹配中表现出良好的效果。     

3维物体SIFT特征的提取与应用

SIFT(scale-invariant feature transform)算法自提出以来,就因其优越的性能（尺度不变性、旋转不变性、抗噪声能力强、受光照变化影响小等）,而备受图像图形领域研究者的青睐。该算法的核心特征（SIFT特征）基于局部梯度,能够抵抗图像大幅度的伸缩、旋转等,很好地满足了3维物体识别的实际需要。而SIFT特征对投影变换的相对敏感性恰可用于3维模型的视点空间划分,且划分依据与匹配依据一致,能够有效提高匹配准确度。合理设置SIFT算法的阈值还可以有效处理物体背景分割等技术问题。通过充分的预处理,能够有效降低SIFT算法计算复杂度高,使得系统基本达到实时匹配。总之,将SIFT特征应用在3维物体识别系统中的视点空间划分、背景物体分割、模式特征匹配等模块,可以有效地提高系统的识别速度与效率,增强系统的稳定性。     

一种无标记点三维点云自动拼接技术

基于相位投影和双目的三维光学测量系统已经广泛应用于各领域.受投影光测量系统单次测量范围大小的限制,对大型物体的测量需要在表面粘贴圆形标记点进行多次拼接的缺点,探讨一种基于SIFT的无标记点自动拼接技术.该技术采用SIFT方法获取两次测量的特征点,其次结合RANSAC求出图像特征点的匹配关系,再根据立体匹配中图像特征点与三维点云之间的对应关系,将二维特征点的对应关系映射到三维点云的对应关系上,最后由SVD奇异值分解算法求得旋转和平移矩阵实现拼接.实验证明:该方法可以避免在被测量对象上粘贴标记点,能够快速准确地实现自动拼接.     

点状特征柔性物体三维运动捕获方法

针对具有点状特征的柔性物体,提出了一种三维运动捕获方法.首先,该方法利用两个标定的高速摄像机拍摄柔性物体的运动视频,并对图像进行立体校正;然后,采用DOG （Difference Of Gaussian）算法获取点状特征的位置,并提取特征点极值;其次,在一定范围的窗口上搜索匹配对,匹配左右图像的特征点;再次,通过三角测量法进行三维重建;最后,利用搜索策略进行时间序列上的匹配,实现动态柔性物体的三维运动捕获,并计算空间坐标、速度、加速度参数.实验结果表明,相比于采用sift算法匹配特征点捕获柔性运动物体的方法,本方法精度更高.     

基于特征轮廓的灰度图像定位三维物体方法

讨论了一种基于特征轮廓的从三维灰度图像确定三维物体位置和姿态的方法，该方法首先建立物体的三维网页模型，检测模型上的特征点，并建立该物体的特征轮廓模型，然后检测输入图像中物体上的特征点，形成特征轮廓，并与特征轮廓模型相匹配，就可得到该物体在三维空间中的姿态；最后使用最小二乘法对物体进行精确定位，实验证明，该方法在物体遮挡情况下不是很严重时，可以快速精确地从灰度图像定位三维物体。     

基于SIFT特征描述子的立体匹配算法

目前,立体匹配是计算机视觉领域最活跃的研究课题之一。为了克服传统的局部特征匹配算法对噪声和图像灰度的非线性变换敏感的缺点,本文提出了一种新的基于SIFT(Scale Invariant Feature Transform)特征描述子的立体匹配算法。该算法利用图像梯度信息,构造基于三维梯度方向直方图的SIFT特征描述子作为区域特征描述符,通过立体视觉理论中的极线约束将匹配特征的搜索空间从二维降到一维,最后以基于特征描述子欧氏距离的最近邻匹配得到匹配结果。实验结果表明,该方法匹配精度高,对图像灰度的非线性变换比较鲁棒,可以应用于对匹配算法鲁棒性要求比较高的立体视觉系统中。     

基于联合特征匹配的多视角三维重建方法

本研究提出了一种基于角点与直线联合特征的三阶段匹配算法,依次经过相关匹配、松弛迭代匹配和最小平方中值法匹配三个步骤,并与此同时加入限定图像匹配区域、添加手工匹配点对以及局部直线匹配三个人机交互环节,将局部坐标系中得到的数据点进行三维数据融合到一个坐标系中,能较好解决视差不连续区域和遮挡区域的误匹配问题.实验证明该算法具有良好的运行效率和稳定性,能够对非平面物体进行精确三维重建并实现多视角显示.     

基于Ncut的SIFT特征匹配算法

经典尺度不变特征变换(SIFT)特征匹配算法存在实时性差、纹理相似区域易发生误匹配的问题。为此,提出一种基于归一化分割(Ncut)的SIFT特征匹配算法。针对相同背景的运动视频,将归一化分割算法的图论聚类思想融入SIFT特征匹配中,根据运动趋势相似度对特征点进行Ncut运动聚类,再逐类分别匹配,通过缩小各特征点匹配过程中的搜索范围,减少匹配时间及不同特征类之间的误匹配。实验结果表明,该算法能提高匹配效率,对纹理相似区域的误匹配现象有较好的抑制作用,实现了相邻图像帧的特征稳定匹配。     

Efficient Detection and Recognition of 3D Ears

The use of ear shape as a biometric trait is a recent trend in research. However, fast and accurate detection and recognition of the ear are very challenging because of its complex geometry. In this work, a very fast 2D AdaBoost detector is combined with fast 3D local feature matching and fine matching via an Iterative Closest Point (ICP) algorithm to obtain a complete, robust and fully automatic system with a good balance between speed and accuracy. Ear images are detected from 2D profile images using the proposed Cascaded AdaBoost detector. The corresponding 3D ear data is then extracted from the co-registered range image and represented with local 3D features. Unlike previous approaches, local features are used to construct a rejection classifier, to extract a minimal region with feature-rich data points and finally, to compute the initial transformation for matching with the ICP algorithm. The proposed system provides a detection rate of 99.9% and an identification rate of 95.4% on Collection F of the UND database. On a Core 2 Quad 9550, 2.83 GHz machine, it takes around 7.7 ms to detect an ear from a 640×480 image. Extracting features from an ear takes 22.2 sec and matching it with a gallery using only the local features takes 0.06 sec while using the full matching including ICP requires 2.28 sec on average.     

Stereoscopic visualization of laparoscope image using depth information from 3D model

Laparoscopic surgery is indispensable from the current surgical procedures. It uses an endoscope system of camera and light source, and surgical instruments which pass through the small incisions on the abdomen of the patients undergoing laparoscopic surgery. Conventional laparoscope (endoscope) systems produce 2D colored video images which do not provide surgeons an actual depth perception of the scene. In this work, the problem was formulated as synthesizing a stereo image of the monocular (conventional) laparoscope image by incorporating into them the depth information from a 3D CT model. Various algorithms of the computer vision including the algorithms for the feature detection, matching and tracking in the video frames, and for the reconstruction of 3D shape from shading in the 2D laparoscope image were combined for making the system. The current method was applied to the laparoscope video at the rate of up to 5 frames per second to visualize its stereo video. A correlation was investigated between the depth maps calculated with our method with those from the shape from shading algorithm. The correlation coefficients between the depth maps were within the range of 0.70–0.95 (P < 0.05). A t-test was used for the statistical analysis.