双模态及语义知识的三维人脸表情识别方法

目前,人脸表情识别的主要研究对象是二维图像,它所包含的信息有限,而且易受人脸姿态、光照等影响.其次,人脸表情识别方法大多是基于图像低层视觉特征,而人类对图像的理解是基于高层语义知识,这两者之间存在本质上的差异,即“语义鸿沟”.为此,在三维人脸表情图像和语义知识的基础上,创新地提出双模态及语义知识的三维人脸表情识别方法.该方法首先提出一种将三维的局部曲率和二维局部角点进行双模态融合的方法,自动提取准确的三维人脸表情低层视觉特征;然后,采用AHP和G1相结合计算高层语义知识向量;最后,采用K-NN算法将低层视觉特征和高层语义知识融合,缩小低层视觉特征和高层语义知识之间的“语义鸿沟”,提高人脸表情的识别率.     

基于Snake模型的特定人脸三维重建方法

以双目立体视觉为基础,构建一种特定人脸重建系统,提出基于Snake模型的特定人脸三维重建方法,利用已标定的摄像机拍摄立体图像对,采用肤色检测得到人脸区域。在对立体图像对进行摄像机畸变校正、立体图像对的外极线对齐、人脸区域选择及归一化等预处理后,采用金字塔结构相关匹配算法,在误匹配点数与精度两者之间达到较好的平衡。针对人脸提出能量最小化方程,考虑顺序匹配约束、连续性约束、曲线上各点曲率的估计和相关性约束条件,大大提高视差提取的正确率,解决了立体视觉中立体匹配的难点,成功地恢复出人脸的三维数据,实现特定人脸的重建。试验结果表明：基于Snake模型的视差抽取,并经过光顺处理和纹理映射后,除了脸部部分边缘存在一些变形外,主体部分的重建效果真实感强。该算法不需要结构光等设备,基本不需要人工干预,就能恢复出特定人脸的三维数据,效果好,实用性强。     

基于人脸识别及立体视觉技术的多媒体互动装置设计

文章构建了一种新的多媒体互动方案,利用现有的立体视觉方案结合人脸识别及快速五官定位技术实现了人脸面部朝向的采集系统。文中介绍了该系统的硬件组成,并对软件检测方案进行了说明,首先通过人脸识别技术捕捉进入互动区域的互动人物,在捕捉到人脸区域内选取角点并进行立体匹配后利用立体视觉算法定位人物空间位置并拟合人脸平面,从而实现面部朝向的跟踪。     

人脸图像定位算法

提出基于积分投影法辅以人的面部所遵循的比例关系原理的脸部特征定位算法.该算法对具有小角度平面旋转和佩戴浅色眼镜的人脸图像同样适用.文中先通过垂直投影得到人脸的左右边界,再根据水平投影得到人脸额头的粗位置,并结合人脸的长宽比例的先验知识粗定位人脸矩形区域,最后标准化人脸图像.     

基于立体视觉的摄像机运动分析

本文提出一种应用在机器人视觉自主导航中的定量分析摄像机运动参数的方法。首先利用立体视觉技术对选定的特征点进行三维测量,然后提出了点于图像坐标系中运动的卡尔曼滤波模型进行帧间的点追踪,最后利用相邻两帧对应特征点的图像坐标应用到投影变换模型中得到摄像机的运动参数。实验证明本算法估计出的摄像机运动参数具有精度高、实时性好等特点。     

人脸检测技术综述

人脸检测问题最初作为自动人脸识别系统的定位环节被提出,近年来由于其在安全访问控制、视觉监测、基于内容的检索和新一代人机界面等领域的应用价值,开始作为一个独立的课题受到研究者的普遍重视.     

基于双目视觉的工件尺寸在机三维测量

由于传统测量方法及仪器设备无法满足在机实时检测工件三维尺寸的要求,本文基于双目立体视觉视差原理,搭建了一套可在车间现场操作的在机测量工件三维尺寸的视觉系统.首先,介绍了改进的基于平面圆靶标的双目视觉测量系统标定方法.然后,用阈值分割算法从背景中识别出待测工件,采用Canny算子和多边形逼近法提取工件轮廓和轮廓关键特征点,并在极线约束的特征点匹配算法基础上,提出一种基于灰度相关的密集型精匹配算法,获得了工件边缘轮廓关键特征点云的三维坐标数据.最后,对匹配所得特征点云进行数据处理和特征拟合计算,得到了工件的关键尺寸.在车间数控机床上对有斜面及孔结构的工件进行了在机测量实验,结果显示,该系统检测精度达±1.3％以上.     

基于Harris角点检测算法的红外人脸器官定位

本文提出了运用Harris角点检测的算法来进行红外人脸的特征点定位。实验结果表明,这种算法能很好地检测出人脸器官的特征点,有效地进行人脸特征的定位,进而达到很好的检测效果。     

三维人脸表情动态采集系统的设计

针对3D动画设计对人脸表情动态变化的三维数据信息的需求,设计了人脸表情动态采集系统.首先,采用标记光栅和空间映射法构建了人脸测量模型;设计了标记光栅图,并给出了利用相位图获取特征矩形的方法.然后,通过光栅上的特征矩形位置信息将测量得到的相对相位转化为绝对相位,再利用空间映射法获取三维坐标点信息.最后,进行了精度验证和人...     

一种基于立体模板的双目视觉传感器现场标定方法

给出了一种基于立体标定模板的双目视觉摄像机内、外部参数现场标定方法.该方法采用理想小孔模型忽略摄像机镜头的非线性畸变,把透视变换矩阵中的元素作为未知数,在已知一组三维空间特征点坐标及其对应的图像点坐标时,利用线性算法求解出透视变换矩阵中的各个元素,进而得到所需的参数.最后采用立体标定模板对该标定算法进行了实验验证,用标定完成的立体视觉传感器对已知长度进行测量,相对精度达到了0.02%,取得了较为理想的结果.结果表明:该方法由于无需迭代,因此计算速度快,在测量现场只需摆放一次标定模板即可完成标定,可高精度地实现摄像机内、外部参数的现场标定.     

基于单经纬仪的视觉测量三维数据拼接方法

本文针对大型自由曲面三维视觉测量中的数据拼接问题，建立了经纬仪透视投影模型，提出了以平面靶标为中介坐标系，以经纬仪坐标系为全局坐标系的三维数据拼接方法。在大型自由曲面的若干测量子区域附近放置一个平面靶标，通过视觉传感器拍摄平面靶标上的特征点，求得视觉传感器坐标系到靶标坐标系的变换矩阵；通过经纬仪观测靶标上的特征点，求得靶标坐标系到经纬仪坐标系的变换矩阵。因此，可求得视觉传感器坐标系到经纬仪坐标系的变换矩阵。将视觉传感器所测得的各子区域的三维数据统一到了经纬仪坐标系下，即完成了大型自由曲面的全局测量。经实验验证，数据拼接的RMS误差小于0．487mm。     

移动相机下基于三维背景估计的运动目标检测

室内环境中的运动目标检测是计算机视觉领域的研究热点,而移动相机造成的动态背景是运动目标检测的难点。本文提出一种基于同步定位与地图创建(ORB-SLAM)三维背景估计的运动目标检测算法,首先使用移动相机遍历整个室内环境,采用ORB-SLAM技术建立当前全局环境的三维背景特征点云模型;然后基于局部视频建立局部三维特征点云,根据定位信息将当前局部三维特征点云与环境三维背景特征点云进行嵌入,基于环境背景信息,采用三维均值漂移(3DMS)算法,对局部三维特征点云进行前景特征点提取;运用深度卷积神经网络,对提取的前景特征点所在候选区域进行运动目标确认。通过多个室内场景的实际实验进行验证,结果表明本文方法具有较高的运动目标检测准确率和召回率,提出的运动目标检测算法充分利用了三维背景信息,采用深度卷积神经网络进行确认,有效地改善了检测的准确性和鲁棒性。     

远距离三维坐标测量中双目视觉系统结构参数的优化

针对双目视觉系统对远距离大视场复杂地形环境下目标点三维坐标的测量,研究了优化系统结构,提高双目视觉系统坐标测量精度的方法。分析了系统结构参数对测量精度的影响,通过在监测区域内设置靶标对系统进行标定。测量时,将获取的目标点图像信息代入测量模型进行解算,从而获得目标点的空间三维坐标。仿真分析了系统结构参数中调平传感器精度以及系统布局方式对三维坐标测量精度的影响,得出了其误差影响趋势。在此基础上,提出系统调平传感器精度为±0.1°的要求以及系统合理的布局方式,为构建双目视觉测量系统的布局提供参考。对直径200m的区域进行了监测,结果显示目标点的相对定位误差均小于0.33%,满足系统的精度指标要求,同时使得系统现场架设更加方便快捷,避免了盲目性。     

融合通用形变模型信息的面部三维重建

基于图像对的立体重建是用于获取人脸三维信息的通用方法,但根据图像数据和重建算法所得到的三维重建结果存在各种误差,本文对通用形变模型进行改进并与三维立体重建融合以得到更精确的重建结果。首先使用Max-Margin对象检测算法来获取面部边界框,其中回归树集合法能直接从像素强度的稀疏子集识别面部特征点。然后通过PCA颜色模型生成形状和颜色的三维面部统计模型,利用ISOMAP算法将三维网格转换为二维表面并提取纹理信息,得到面部模型。最后在源网格上进行两步非刚性表面配准的变形过程:先通过对源网格进行二次采样来选择少量网格点来表示源的全局变化,并选取径向基函数(RBF)进行非刚性全局变形;再对源顶点进行Procrustes分析获得非刚性变换,再通过加权方案来进行k-近邻变换,得到平滑的局部变形。将单图像重建的面部模型,立体重建的面部模型和本文的面部变形模型与高质量扫描云图进行对齐比较,得到面部变形模型的3个RMS值分别为2.795 2,2.102 8和2.153 4,相比于其他模型,面部变形模型更接近高质量扫描云图,即与原图像一致性更高,误差更小。面部变形模型的定性和定量分析表明,立体重建与人脸一般形状信息的组合在几何信息的表达上优于基于通用模型的单个图像重建以及未考虑通用模型的立体重建。     

基于逆向工程的三维人脸建模

采用结构光3DSS三维扫描仪采集人脸点云数据,通过八叉树细分和对点云的法向估计进行人脸点云数据简化,利用三角曲面片造型法进行点云三角网格化,以及数据插补和创建NURBS曲面,建立了人脸三维数字化模型,并对人脸模型数据作误差分析。该方法能够快速建立三维人脸模型,且能满足人脸数字化和CAD／CAM系统的应用要求。     

工件特征点三维坐标视觉测量方法综述

针对工件上特征点的三维坐标视觉测量方法进行了综述,其中包括结构光方法、激光自动聚焦法、双目视觉方法、三目视觉方法、单目视觉方法等.对每种方法的特点及其测量精度进行了详细的分析,并介绍了目前的发展及应用现状.     

Three-Dimensional Reconstruction of Welding Pool Surface by Binocular Vision

Current research of binocular vision systems mainly need to resolve the camera's intrinsic parameters before the reconstruction of three-dimensional(3D)objects.The classical Zhang'calibration is hardly to calculate all errors caused by perspective distortion and lens distortion.Also,the image-matching algorithm of the binocular vision system still needs to be improved to accelerate the reconstruction speed of welding pool surfaces.In this paper,a preset coordinate system was utilized for camera calibration instead of Zhang'calibration.The binocular vision system was modified to capture images of welding pool surfaces by suppressing the strong arc interference during gas metal arc welding.Combining and improving the algorithms of speeded up robust features,binary robust invariant scalable keypoints,and KAZE,the feature information of points(i.e.,RGB values,pixel coordinates)was extracted as the feature vector of the welding pool surface.Based on the characteristics of the welding images,a mismatch-elimination algorithm was developed to increase the accuracy of image-matching algorithms.The world coordinates of match-ing feature points were calculated to reconstruct the 3D shape of the welding pool surface.The effectiveness and accuracy of the reconstruction of welding pool surfaces were verified by experimental results.This research proposes the development of binocular vision algorithms that can reconstruct the surface of welding pools accurately to realize intelligent welding control systems in the future.     

结构光三维双视觉检测方法研究

介绍了结构光三维双视觉检测的基本原理，提出了标定点的空间坐标和图像坐标的获取方法，设计了用于获取标定点的双向光电瞄准装置，并建立了双向光电瞄准装置安装误差的补偿方法，在此基础上实现了双视觉传感器标定点数据的全局统一。最后，利用标定点样本数据建立了结构光三维双视觉RBF神经网络模型，最佳RBF模型的训练精度为0.078mm，测试精度为0.084mm。     

立体视觉和三维激光系统的联合标定方法

双目立体视觉和三维激光扫描是移动机器人环境探测与建模的常见传感测量方法。为实现两个系统的数据融合应用,必须为二者的测量坐标系建立数学关系,即对其进行传感器之间的位姿联合标定。为此提出了一种基于三维特征点距离匹配的联合标定新方法,设计了一种镂空棋盘格作为标定板。使用双目立体相机提取棋盘格角点三维坐标信息,使用激光测距雷达扫描获取镂空区域中心点三维坐标,最终通过最小化两组特征点的理论与实际测量距离的平方差获取两传感器坐标系之间的旋转矩阵和平移向量。进行的联合标定测量实验结果表明了该方法的准确性和可靠性。