基于三维坐姿的压力数据自动标注方法

针对当前传统坐姿标注方法,存在操作繁琐、人工标注效率低等问题,提出了一种基于三维坐姿的压力数据自动标注方法。该方法基于双指针时间戳匹配实现双目视觉数据和压力数据同步实时采集;采取归一化、自适应中值滤波处理压力数据,去除压力数据量纲影响和尖峰噪声;利用二维姿态估计与匹配优化、坐标变换和多点三角测量处理视觉数据,提取6个三维人体关键点信息;构造基于坐姿特征的骨架图和基于邻接节点间空间三维投影角度特征,建立一个基于三维坐姿的标注信息生成模型;利用标注信息标注压力数据,构建带标注的坐姿压力数据集。实际应用中,单个样本数据对视觉-压力端采集平均时间差仅为21 ms,生成标注准确率达98.98%,自动标注平均耗时0.199 s,标注速度较人工标注提升13.3倍。     

二维图像三维重构系统开发与实现

为了解决无接触快速的识别及采集被测物三维相关参数,需研发基于二维图像物体3D重构系统。该系统以VC++和openC V为基础,利用了图像传感器获取两幅或多幅二维图像,基于多目视觉技术,实现了基于双目视觉的摄像头定标、立体匹配、三维重构及其可视化等功能,通过用双目视觉传感器获取图像后,对图像用StereoV ision算法进行3D重构,进而对图像进一步挖掘,获取实物的相关数据。通过实验,重建了图书的三维点云数据,并基于3D模型,重构图书三维信息及可视化。该系统可为今后基于3D模型,无接触实现物体三维测量奠定基础。     

可见光通信与双目视觉的室内定位

提出一种基于可见光通信与双目视觉测量的高精度室内定位方法,旨在为室内移动机器人提供一种精度高、成本低、不易受干扰的室内定位方案。该方法利用双目视觉传感器对LED光源进行成像测量,利用惯性测量单元传感器记录成像测量的三维姿态角,并通过可见光通信技术获取LED光源的坐标信息,最终计算双目视觉传感器相对于LED光源的三维坐标。根据该方法研制了一款基于可见光通信与成像的定位模块,该模块可以利用单个或两个LED光源进行成像定位。当定位模块采用1280×720分辨率的图像时,在2 m×2 m×3 m室内环境中可实现厘米级移动定位,定位频率大于5 Hz;当利用两个相距60 cm的LED光源进行定位时,在三维方向上的定位误差均小于5 cm,同时能够提供小于1.4°的定向纠正。该方法可以为室内移动机器人提供厘米级定位导航服务。     

基于双目视觉的工件空间定位方法研究

本文基于双目视觉原理,设计实现了一种对特定工件空间定位方法。首先对双目视觉系统进行标定,根据标定结果进行图像矫正,使用基于区域的立体匹配算法求取视差图,结合特征点对应视差值和标定结果对图像进行三维重构,获得工件表面的高度位置信息;根据工件特征,通过拟合获得的工件一组同轴圆的圆心三维坐标,确定工件在摄像机坐标系下的位置和姿态,实现工件的空间定位。     

基于未知运动一维靶标的双目视觉传感器标定

分析了双目视觉传感器的测量数学模型,提出了一种基于自由移动的一维靶标的双目视觉传感器标定方法。当传感器安装完成后,由两个摄像机拍摄自由移动的一维靶标多幅图像,利用靶标上特征点的图像坐标和两个特征点之间的距离约束,采用非线性优化技术估计双目视觉传感器的结构参数。该方法操作简单,不需要给定传感器的初始参数,标定状态与测量状态完全相同,减小了传感器安装对标定参数的影响。试验结果表明,该标定方法切实可行,在200mm×200 mm测量范围内,可以达到0．03 mm的测量精度。     

基于 Transformer的三维人体姿态估计及其动作达成度评估

针对人机交互、医疗康复等领域存在的人体姿态分析与评估问题,本文提出了一种基于 Transformer 的三维人体姿态估 计及其动作达成度评估方法。 首先,本文定义了人体姿态的关键点及关节角,并在深度位姿估计网络(DPEN)的基础上,提出 并构建了一个基于 Transformer 的三维人体姿态估计模型(TPEM),Transformer 的引入能够更好的提取人体姿态的长时序特征; 其次,利用 TPEM 模型对三维人体姿态估计结果,设计了基于加权 3D 关节角的动态时间规整算法,在时序上对不同人物同一动 作的姿态进行姿态关键帧的规整匹配,并据此提出了动作达成度评估方法,用于给出动作的达成度分数;最后,通过在不同数据 集上进行实验验证,TPEM 在 Human3. 6 M 数据集上实现了平均关节点误差为 37. 3 mm, 而基于加权 3D 关节角的动态时间规 整算法在 Fit3D 数据集上的平均误差帧数为 5. 08,展现了本文所提方法在三维人体姿态估计与动作达成度评估方面的可行性 和有效性。     

基于神经网络的双目视觉传感器建模

根据双目视觉传感器的工作原理,分析了影响测量精度的因素,表明双目视觉传感器的物体空间坐标与图像坐标之间存在复杂的非线性映射关系,其数学模型无法用解析式精确地加以描述.因此,提出一种基于神经网络的双目视觉传感器建模方法.数值实验表明,该方法简便易行,建立的模型有较高的精度.     

基于神经网络的双目视觉传感器建模

根据双目视觉传感器的工作原理,分析了影响测量精度的因素,表明双目视觉传感器的物体空间坐标与图像坐标之间存在复杂的非线性映射关系,其数学模型无法用解析式精确地加以描述.因此,提出一种基于神经网络的双目视觉传感器建模方法.数值实验表明,该方法简便易行,建立的模型有较高的精度.     

基于神经网络的双目视觉传感器建模

根据双目视觉传感器的工作原理 ,分析了影响测量精度的因素 ,表明双目视觉传感器的物体空间坐标与图像坐标之间存在复杂的非线性映射关系 ,其数学模型无法用解析式精确地加以描述。因此 ,提出一种基于神经网络的双目视觉传感器建模方法。数值实验表明 ,该方法简便易行 ,建立的模型有较高的精度     

微操作系统中弱视差视觉模型研究

显微双目立体视觉主要由体视显微镜和CCD图像传感器构成，基于计算机双目立体视觉原理，显微双目立体视觉在显微领域中用于三维微观定位和测量。该类视觉具有不同于宏观视觉的属性。使用弱视差描述微观视觉的成像特征以区别于传统的宏观视差。建立了新的显微视觉模型，模型中包含弱视差的级数项，反映出物空间深度信息与图像空间二维信息间存在弱的非线性关系，同时也部分矫正了物空间横向尺度的深度依赖性。     

Three-Dimensional Reconstruction of Welding Pool Surface by Binocular Vision

Current research of binocular vision systems mainly need to resolve the camera's intrinsic parameters before the reconstruction of three-dimensional(3D)objects.The classical Zhang'calibration is hardly to calculate all errors caused by perspective distortion and lens distortion.Also,the image-matching algorithm of the binocular vision system still needs to be improved to accelerate the reconstruction speed of welding pool surfaces.In this paper,a preset coordinate system was utilized for camera calibration instead of Zhang'calibration.The binocular vision system was modified to capture images of welding pool surfaces by suppressing the strong arc interference during gas metal arc welding.Combining and improving the algorithms of speeded up robust features,binary robust invariant scalable keypoints,and KAZE,the feature information of points(i.e.,RGB values,pixel coordinates)was extracted as the feature vector of the welding pool surface.Based on the characteristics of the welding images,a mismatch-elimination algorithm was developed to increase the accuracy of image-matching algorithms.The world coordinates of match-ing feature points were calculated to reconstruct the 3D shape of the welding pool surface.The effectiveness and accuracy of the reconstruction of welding pool surfaces were verified by experimental results.This research proposes the development of binocular vision algorithms that can reconstruct the surface of welding pools accurately to realize intelligent welding control systems in the future.     

应用摄像机位姿估计的点云初始配准

基于摄像机位姿估计的数学模型,提出了一种检测摄像机位移前后目标图像特征点的方法,通过求解摄像机发生位移前后的相对位姿矩阵来解决应用视觉图像获得点云的初始配准问题。首先,介绍了摄像机位姿估计模型,包括本质矩阵、旋转矩阵以及平移矩阵;然后,介绍了SURF算子的特征点检测、描述和匹配的方法,在此基础上面向双目视觉和单目结构光系统,分别提出了摄像机位移前后目标图像SURF特征点匹配和深度估计模型;最后,分别进行双目视觉和单目结构光系统点云的获取、位移前后目标图像特征点检测匹配和深度估计实验,应用摄像机位姿估计模型求解旋转矩阵和位移矩阵,并对位移矩阵进行统计分析剔除粗差。实验中采用基于点云空间特征点和基于图像的方法进行对比,点云对应特征点均方误差缩小至12.46mm。实验结果验证了方法的可行性,表明本文的点云初始配准方法能较好地获得点云精确配准初值。     

立体视觉和三维激光系统的联合标定方法

双目立体视觉和三维激光扫描是移动机器人环境探测与建模的常见传感测量方法。为实现两个系统的数据融合应用,必须为二者的测量坐标系建立数学关系,即对其进行传感器之间的位姿联合标定。为此提出了一种基于三维特征点距离匹配的联合标定新方法,设计了一种镂空棋盘格作为标定板。使用双目立体相机提取棋盘格角点三维坐标信息,使用激光测距雷达扫描获取镂空区域中心点三维坐标,最终通过最小化两组特征点的理论与实际测量距离的平方差获取两传感器坐标系之间的旋转矩阵和平移向量。进行的联合标定测量实验结果表明了该方法的准确性和可靠性。     

空间圆几何参数的非接触高精度测量方法

分析了空间圆透视投影的数学模型 ,并建立了点的空间三坐标立体视觉测量数学模型。提出了一种基于立体视觉的空间圆几何参数的非接触测量方法 ,根据极线约束求出空间圆在双目立体视觉中的对应匹配点 ,后投影到三维空间求出边缘的实际坐标 ,采用基于空间三维圆最优拟合求取空间圆的几何中心的三维空间坐标和圆半径等几何参数。该方法减小了空间圆透视投影形状畸变引起的测量误差 ,提高了基于视觉方法的空间圆几何参数的测量精度     

大型自由曲面移动式三维视觉测量系统

本文介绍了一种移动式三维视觉测量系统，用于大型物体自由曲面的测量。传感器采用双目立体视觉方式，并结合编码结构光技术，使匹配过程简化。传感器移动到大型物体周围对各局部区域进行测量。采用一个平面靶标作为中介，建立了传感器位姿变换矩阵的优化目标函数，根据靶标上多个特征点求解出该矩阵，即拼接矩阵。传感器在各个位置所测三维数据通过拼接矩阵统一到全局坐标系下。视觉测量系统在2个位置对维纳斯石膏像进行了测量，并进行拼接。结果表明，该测量系统操作简单，适用范围广；x、y、z坐标拼接RMS误差分别为0．038mm、0．022mm和0．135mm。     

表面视觉传感器模型参数的简易标定方法

建立了基于多线结构光的表面视觉传感器的数学模型,提出了一种基于自由移动平面标定参照物的表面视觉传感器模型参数的简易标定方法。在自由移动的平面参照物上建立局部世界坐标系,将通过交比不变方法获得的各个光平面上特征点的局部世界坐标,变换到摄像机坐标系,从而获得已知三维的标定特征点。利用构建的位于不同光平面上标定特征点,可以实现工作状态的表面视觉传感器模型参数的优化估计。该标定方法降低了标定设备的成本,简化了标定过程,为表面视觉传感器的工程化应用奠定了基础。试验结果表明,该方法切实可行。     

智能三坐标测量机中零件位置自动识别系统

提出了一种基于机器视觉和CAD三维模型的零件自动定位方案，利用虚拟图像匹配的方法确定零件在工作台上的位置和方向。在CAD三维模型中，针对零件的可能放置方式通过透视成像的方法形成多幅虚拟图像。CCD产生的实际图像与各幅虚拟图像进行匹配。确定零件坐标系与机器坐标系的关系，达到定位目的。最后在三坐标测量机平台上实现了该方法，并给出了定位定向实验误差分析。