目标位姿测量中的三维视觉方法

要测量出一组特征点分别在两个空间坐标系下的坐标，就可以求解两个空间目标间的位姿关系，实现上述目标位姿测量方法的前提条件是要保证该组特征点在不同坐标系下，其位置关系相同，但计算误差的存在却破坏了这种固定的位置关系，为此，提出了两种基于模型的三维视觉方法－基于模型的单目视觉和基于模型的双目视觉，前者从视觉计算的物理意义入手，通过简单的约束迭代求解实现模型约束，后者则将简单的约束最小二乘法和基于模型的单目视觉方法融合在一起来实现模型约束，引入模型约束后，单目视觉方法可以达到很高的测量精度，而基于模型的双目视觉较传统的无模型立体视觉方法位移精度提高有限，但姿态精度提高很多。     

回转体目标空间三维姿态测量方法研究

由于回转体目标表面灰度值变化较小和双目视觉视差的原因,在双目视觉测量中难以采用灰度和特征匹配.提出了一种双目视觉测量空间回转体目标姿态的新方法,避免了传统姿态测量中左右像面目标特征点的特征匹配或灰度匹配.采用基于空间矩的回转体像面目标直线边缘亚像素提取技术,获得回转体目标在每个像面上的两条母线的亚像素直线方程.求出两条母线与其光心所成平面的两个角平分平面,这两个平面相交就可以得到回转体目标的轴线的方向矢量.模拟实验结果表明,该方法姿态角测量误差小于0.5°,结果稳定,能够满足回转体目标空间三维姿态的高精度测量的要求.     

从单幅灰度图像中求解三维物体姿态的方法

诸如车辆之类的三维物体的运动常常被约束于一个平面上.这种平面约束显著减少二维图像到三维目标的匹配自由度,从而使得这类三维目标的识别问题得到极大简化.基于此,本文提出一种从单幅定标的灰度图像中求解约束于一已知平面的三维目标的方法.该方法首先计算出给定模型所有可能的旋转角度,再通过聚类获得一些可能的旋转角度类.在每个角度类中,我们对目标所有可能的位置进行计算,并通过聚类获得在此旋转角度下的位置类.之后将候选的角度和位置进行过滤并进行优化以获得最终结果.该算法对于三维目标的部分遮挡具有较好的适应性,其有效性得到实验验证.     

用任意平面对三维物体实现剪切的方法

在三维可视化系统中,需要对其三维实体进行剪切,以便观察三维实体内部特定的对象.讨论了在Visual C＋＋开发环境中,应用VTK软件开发包,通过旋转及平移变换对三维实体实现多平面剪切的方法,并给出了实验结果.     

基于Kinect的旋转刚体三维重建方法

针对在非匀速非定轴旋转条件下利用Kinect进行刚体三维重建问题,提出一种改进的基于Kinect传感器的旋转刚体三维重建方法。首先利用Kinect采集深度图像,然后用改进的加权ICP(Iterative Closest Point)算法在非匀速非定轴旋转条件下进行配准,再将各点云变换到同一坐标系下,最后根据所得点云生成三维模型表面,通过GPU(Graphic Processing Unit)编程技术来提高计算速度以满足实际需求。实验结果表明:该方法具有重建效果良好的特点。     

Tracking in 3D: Image Variability Decomposition for Recovering Object Pose and Illumination

As an object moves through space, it changes its orientation relative to the viewing camera and relative to light sources which illuminate it. As a consequence, the images of the object produced by the viewing camera may change dramatically. Thus, to successfully track a moving object, image changes due to varying pose and illumination must be accounted for. In this paper, we develop a method for object tracking that can not only accommodate large changes in object pose and illumination, but can recover these parameters as well. To do this, we separately model the image variation of the object produced by changes in pose and illumination. To track the object through each image in the sequences, we then locally search the models to find the best match, recovering the object’s orientation and illumination in the process. Throughout, we present experimental results, achieved in real-time, demonstrating the effectiveness of our methods. Received: 9 December 1998?Received in revised form: 23 December 1998?Accepted: 23 December 1998     

改进YOLO V2的6D目标姿态估计算法

针对目标的三维姿态估计,结合基于深度学习的目标检测模型,提出一种基于改进YOLO V2的6D目标姿态估计算法.通过卷积神经网络提取一幅RGB图像中目标的特征信息;在2D检测的基础上将目标的位置信息映射到三维空间;利用点到点的映射关系在三维空间匹配并计算目标的自由度,进而估计目标的6D姿态.该算法不仅能检测单幅RGB图像...     

3-D Object Pose Determination Using Computer Vision

This paper is concerned with determining the position and orientation of a three-dimensional object using computer vision. An algorithm is presented which uses an enclosing object and the central moments for an initial estimate. A refined estimation is achieved by a nonlinear least squares technique.     

6D Object Pose Estimation in Cluttered Scenes from RGB Images

We propose a feature-fusion network for pose estimation directly from RGB images without any depth information in this study. First, we introduce a two-stream architecture consisting of segmentation and regression streams. The segmentation stream processes the spatial embedding features and obtains the corresponding image crop. These features are further coupled with the image crop in the fusion network. Second, we use an efficient perspective-n-point (E-PnP) algorithm in the regression stream to extract robust spatial features between 3D and 2D keypoints. Finally, we perform iterative refinement with an end-to-end mechanism to improve the estimation performance. We conduct experiments on two public datasets of YCB-Video and the challenging Occluded-LineMOD. The results show that our method outperforms state-of-the-art approaches in both the speed and the accuracy.     

基于Murkowski距离连续的非刚体三维运动恢复算法研究

现有的非刚体三维运动重建算法很难根据不同的场景、不同的非刚体来寻找不同的形状基,这种情况对重建 过程产生了很大的影响,造成模型失真。为了解决这一问题,提出一种基于Murkowski距离连续的非刚体三维运动 恢复算法,该算法根据在高速分解的图像序列中帧与帧之间的运动参数与特征点位移变化都呈现连续平缓的物理特 性,在Murkowski距离约束的情况下,将运动结构参数通过非线性优化的方法来进行求解,最终得到非刚体的三维运 动结构,并且通过仿真实验,验证了它的可行。     

Selective Embedding with Gated Fusion for 6D Object Pose Estimation

Neural Processing Letters - Deep learning method for 6D object pose estimation based on RGB image and depth (RGB-D) has been successfully applied to robot grasping. The fusion of RGB and depth is...     

基于深度学习的物体点云六维位姿估计方法

物体位姿估计是机器人在散乱环境中实现三维物体拾取的关键技术,然而目前多数用于物体位姿估计的深度学习方法严重依赖场景的RGB信息,从而限制了其应用范围.提出基于深度学习的六维位姿估计方法,在物理仿真环境下生成针对工业零件的数据集,将三维点云映射到二维平面生成深度特征图和法线特征图,并使用特征融合网络对散乱场景中的工业零件...     

基于单张二维照片的三维姿态计算

通过一张二维照片计算其三维姿态是三维人脸识别和颅像重合中的难点问题。该文主要研究了绕轴的平面旋转、垂直深度旋转和侧深度旋转的姿态计算问题。通过两外眼点间的关系计算平面旋转角度；通过眉间点、鼻下点与颏下点的距离关系计算垂直深度旋转角度；通过鼻下点与两外眼点的角度关系计算侧深度旋转角度。试验证明提出的方法误差小，能够比较准确地计算出三维姿态。     

交互式三维对象建模方法研究与实现

论文设计了一种交互式三维对象建模方法,为非专业三维应用开发人员提供了一个友好的三维图形开发应用平台.研究了三维对象模型的概念模型和逻辑模型,分析了三维对象模型拓扑关系的存储方式和查询方式;提出了关系模型,设计出三维对象模型与关系模型间的相互作用方式;采用模型库保存常用的基本模型和关系模型,用户也可按需求自定义对象模型和关系模型,并扩充模型库,使得模型具有较好的可重用性;结合OSG三维图形引擎,验证了提出的交互式三维对象建模方法的可行性.     

基于人体和场景上下文的多人3D姿态估计

深度歧义是单帧图像多人3D姿态估计面临的重要挑战,提取图像上下文对缓解深度歧义极具潜力.自顶向下方法大多基于人体检测建模关键点关系,人体包围框粒度粗背景噪声占比较大,极易导致关键点偏移或误匹配,还将影响基于人体尺度因子估计绝对深度的可靠性.自底向上的方法直接检出图像中的人体关键点再逐一恢复3D人体姿态.虽然能够显式获取场景上下文,但在相对深度估计方面处于劣势.提出新的双分支网络,自顶向下分支基于关键点区域提议提取人体上下文,自底向上分支基于三维空间提取场景上下文.提出带噪声抑制的人体上下文提取方法,通过建模“关键点区域提议”描述人体目标,建模姿态关联的动态稀疏关键点关系剔除弱连接减少噪声传播.提出从鸟瞰视角提取场景上下文的方法,通过建模图像深度特征并映射鸟瞰平面获得三维空间人体位置布局;设计人体和场景上下文融合网络预测人体绝对深度.在公开数据集MuPoTS-3D和Human3.6M上的实验结果表明:与同类先进模型相比,所提模型HSC-Pose的相对和绝对3D关键点位置精度至少提高2.2%和0.5%;平均根关键点位置误差至少降低4.2 mm.     

基于模型的单视图线性自标定及三维重建算法

通过建立深度矢量所在的零空间和目标模型矩阵的零空间之间的关系,开发了一个从目标单视图线性地精确复原其三维位姿的新算法,该算法只需要6个特征点即可实现目标三维位姿的线性重建。理论分析和实验数据表明,该算法具有快速高效、简单实用、抗噪能力较强的优点。     

改进的三维人体姿态估计算法

针对目前三维人体姿态由于遮挡、姿态复杂等预测不准确的问题,提出了一种改进的三维人体姿态估计算法以获得准确的三维人体姿态,提高人体姿态估计性能.本文采用时空图注意力卷积网络中的图注意力块来构建整个网络,在此基础上对全局多头图注意力部分的网络结构进行改进,使节点间更好传播和融合信息,捕获图中没有显式表示的语义信息.同时引入运动学约束,在MPJPE损失的基础上,加上骨骼长度损失.通过对局部和全局的空间节点信息建模,实现对局部运动学连接、对称性和全局姿态的人体骨骼运动学约束的学习.通过实验证明,本文改进后的模型有效地提高了人体姿态估计性能,在Human3.6M数据集上相较于原始模型,实现了1.8%的平均关节位置误差(MPJPE)提升和1.3%的预测关节与真值关节刚性对齐后的平均关节位置误差(P-MPJPE)提升.     

基于三维模型的人脸姿态估计

提出了一种基于三维模型的人脸姿态估计方法。首先根据人脸特征点重建出稀疏的三维人脸模型,然后基于三维模型采用线性回归的方法对人脸姿态进行初步估计,确定姿态范围,再对估计结果进行修正,从而对人脸姿态进行精确估计。实验表明,该方法具有较好的估计效果,提高了姿态估计精度。