一种自动、快速的Kinect标定方法

针对目前Kinect传感器人工标定方法误差大、速度慢等问题,提出一种自动、快速的Kinect传感器外参标定方法。首先,根据彩色图像提取的角点,生成彩色图像的角点集合;其次,为了实现角点点云的自动提取,对点云图像进行深度分割,提取棋盘格点云,采用三维哈夫(Hough)变换检测方法将棋盘格点云投影到深度图像的模板平面上,在深度图像模板中提取深度图像中的角点;然后,将深度图像中的角点映射到棋盘格点云中,形成角点点云;最后,将角点点云与彩色图像的角点集合进行配准,得到角点的3D空间坐标,进而计算出深度相机到彩色相机的姿态变换矩阵。实验结果表明,本文提出的算法在保证相机标定精度的前提下,将相机参数的计算时间从平均218ms降低到166ms,实现了自动、快速的Kinect相机标定。     

基于Kinect相机的深度图像空洞修复及超像素分割算法

针对Kinect相机原始深度图像存在空洞的问题,提出了一种结合彩色图像局部边缘信息的深度图像空洞修复算法.首先,通过双边滤波修复较小空洞;其次,根据彩色图像局部边缘信息将较大空洞分为无边缘和有边缘2类;最后,对第1类无边缘空洞进行均值填充修复,对第2类有边缘空洞先根据彩色图像局部边缘特征分割空洞,再分别由外而内逐步修复...     

机器人平台上基于Kinect相机的地平面检测方法

地平面检测对于移动机器人进行3D导航和环境感知非常重要.描述一种基于Kinect相机的地平面检测的新算法.算法主要包括两个部分：首先,通过3D点云的多方位投影变换及2D投影面的L-p范数集中度度量获取地平面的法向量,然后,根据获得的法向量进行3D空间中地平面具体位置的确定.算法使用了安装在PR2机器人平台上的Kinect相机拍摄得到的数据集进行验证,实验结果表明该算法可以获得非常可靠的地平面检测结果.     

基于Kinect V2图像传感设备的智能喷漆系统

针对传统喷漆机器人工作效率较低等问题,设计了一种基于Kinect V2图像传感设备的智能喷漆系统.首先,通过加入Sampson算子的RANSAC算法剔除错误匹配点对以获取精确的喷漆区域点云数据;然后,针对不规则的车漆表面,提出采用立体包围盒法寻找两点集中的最近点,缩短搜索时间,从而快速生成点云切片;最后,估算数据点法矢...     

浅谈一种基于Kinect的体感交互应用开发方法

体感技术是人机交互的新方式,近年来倍受欢迎。该文结合Kinect技术和体感交互应用的开发经验,介绍了一种基于Kinect的体感交互应用开发方法。     

融合事件相机的视觉场景识别

目的 传统视觉场景识别（visual place recognition,VPR）算法的性能依赖光学图像的成像质量,因此高速和高动态范围场景导致的图像质量下降会进一步影响视觉场景识别算法的性能。针对此问题,提出一种融合事件相机的视觉场景识别算法,利用事件相机的低延时和高动态范围的特性,提升视觉场景识别算法在高速和高动态范围等极端场景下的识别性能。方法 本文提出的方法首先使用图像特征提取模块提取质量良好的参考图像的特征,然后使用多模态特征融合模块提取查询图像及其曝光区间事件信息的多模态融合特征,最后通过特征匹配查找与查询图像最相似的参考图像。结果 在MVSEC（multi-vehicle stereo event camera dataset）和RobotCar两个数据集上的实验表明,本文方法对比现有视觉场景识别算法在高速和高动态范围场景下具有明显优势。在高速高动态范围场景下,本文方法在MVSEC数据集上相较对比算法最优值在召回率与精度上分别提升5.39%和8.55%,在Robot‐Car数据集上相较对比算法最优值在召回率与精度上分别提升3.36%与4.41%。结论 本文提出了融合事件相机的视觉场景识别算法,利用了事件相机在高速和高动态范围场景的成像优势,有效提升了视觉场景识别算法在高速和高动态范围场景下的场景识别性能。     

一种简单快速的相机标定新方法

本文提出了一种新的相机自标定方法,该方法要求摄像机在3个(或3个以上)不同方位摄取一个包含其内接正三角形的圆的新型标定模板的图像.首先,从模板图像中推导得到圆环点的像点坐标;然后通过得到的圆环点像点坐标,可线性求解摄像机内参数.与传统方法不同的是,该方法避免了复杂的椭圆拟合和直线拟合,降低了计算复杂度,提高了标定速度和...     

一种基于Azure Kinect的目标跟踪定位方法

针对基于颜色特征的目标跟踪方法易受相似颜色背景干扰的问题,提出了一种基于Azure Kinect的目标跟踪定位方法.根据目标物三维点云数据,利用点云分割、坐标映射提取目标物;在HSV颜色空间建立融合深度信息的目标物\"颜色-形状\"模型,运用深度方差对目标物和相似颜色背景进行连通域分割,获得潜在目标;通过目标物形状偏差率、...     

基于RGB-D的移动机器人三维视觉SLAM

针对移动机器人三维视觉SLAM中存在的实时性不高,匹配误差较大的问题,提出了一种改进的特征匹配算法,提取ORB特征进行特征匹配,并采用基于最小距离与RANSAC结合的方法剔除误匹配。针对位姿估计不准确的问题,将传统的ICP算法与PNP算法结合提高配准成功率,并通过RANSAC与g^2 o优化位姿估计。实验结果表明该方法能有效提高SLAM系统的实时性和位姿估计的准确性     

一种基于校正误差的立体相机标定算法

立体相机的标定是一个精确求解各个相机内参数以及相机之间关系参数的过程.它是三维重建的基础,其标定精度的好坏直接影响立体重建的结果.为此提出了一种使用校正误差作为代价函数的立体相机标定算法.该算法首先使用传统的基于重投影误差的方法对单个相机的内参数进行标定,然后利用校正误差完成对相机之间关系参数的标定求解.由于校正误差的计算只与相机内参数以及关系参数有关,可以避免在标定过程中使用难以精确标定的相机外参数.实验结果表明本算法能够有效的提高立体相机标定的精度.     

图像空间与手术空间点配准算法

手术导航系统中手术空间与图像空间点配准方法,普遍使用无约束最小二乘法求出三维刚体变换矩阵,由于测量误差,求出的矩阵存在着缩放、错切和反射等形变,不是严格的三维刚体变换矩阵。提出有约束最小二乘法,约束条件为正交矩阵,使用迭代法使变换矩阵正交化,从而逼近最优变换矩阵,从理论上解决了点配准算法的工程实现。     

RSSS-II 脊柱手术机器人系统开发及其实验研究

手术机器人应用于脊柱手术中,辅助医生完成脊柱手术中钉道定位、钻钉道等操作,有助于降低医生工作强度,保证了手术操作的精确性、稳定性和安全性.文章针对椎弓根钉内固定术,设计研制了脊柱手术辅机器人系统RSSS-Ⅱ.首先,从脊柱手术的临床需求出发,充分考虑术中安全性、手术区域覆盖范围、患者术中摆位以及对机器人占地空间等多方面因素,设计六自由度串联式手术机械臂以及力反馈钻骨装置.其次,以椎弓根钉内固定术中准确定位为目的,对机器人导航定位所涉及的关键技术展开研究,构建了图像导航定位系统.最后,通过精度测试实验和离体样本骨实验,对关键技术及系统的精度、安全性等进行原理性验证.实验结果显示,脊柱手术机器人系统RSSS-Ⅱ能满足手术对精度的要求.     

基于模板跟踪的实时无标志点注册算法

为了解决不依赖于标志点的增强现实系统的环境注册问题,提出了一种基于选定模板跟踪的无标志点注册算法。该算法使用已标定的单目摄像机进行场景捕捉,通过对运动目标上的选定模板进行实时跟踪,获得每帧场景图像中的对应特征,利用透射投影变换计算运动区域的单应性约束后,再结合摄像机内参数,完成对目标的3维姿态估计,从而得到场景的3维环境注册信息。实现了一种基于该算法的无标志点的增强现实系统。介绍了系统结构和工作流程,试验结果验证了理论的正确性和系统的鲁棒性。     

利用3D打印标定球的机械臂与RGB-D相机手眼标定方法

因为彩色镜头和深度镜头不在同一位置,并且深度图像测量精度差、分辨率低、没有颜色纹理信息,传统的手眼标定方法并不适用于RGB-D相机．本文提出一种利用简单低成本的3D打印球作为标定件对机械臂与RGB-D相机进行手眼标定的方法．本方法只需要测量标定件的3D位置信息,避免使用测量不便、精度稍差的姿态信息．文中给出了该方法的封闭解和迭代优化解．100组仿真结果表明,标定精度与RGB-D相机自身测量精度一致;封闭解不需要机械臂与相机时间同步;迭代优化解的标定精度略有提升,误差最大值和误差方差都很稳定．最后,在7自由度的KUKA ⅡWA机械臂和Kinect相机上做了手眼标定实验,结果与仿真实验一致．总之,本文方法简单可靠,可实现机械臂与RGB-D相机之间的快速部署手眼标定．     

基于增强现实的脊柱微创手术导航系统

针对脊柱微创手术实际的临床导航需求, 设计开发了一种基于增强现实的脊柱微创手术导航系统。在术前通过CT对患者脊柱病灶部位进行扫描和重建, 将合适的脊柱模型导入Unity-3D平台中并为其添加控制脚本。使用标定球对手术器械进行标定, 采用Polaris Vega光学追踪器实时追踪手术器械, 建立手术器械与Polaris Vega光学追踪器之间的坐标转换关系, 将识别到的手术器械位姿信息实时发送到HoloLens设备中, 从而实现手术器械、病灶模型等医疗影像的同步显示。在术中为医生提供3维脊柱病灶影像的可视化显示, 帮助医生实现病灶定位和手术器械导航。经过脊柱模型实验测试, 系统导航误差小于2.8 mm, 可以满足脊柱外科的临床应用要求。     

A LSS-based registration of stereo thermal–visible videos of multiple people using belief propagation

In this paper, we propose a novel stereo method for registering foreground objects in a pair of thermal and visible videos of close-range scenes. In our stereo matching, we use Local Self-Similarity (LSS) as similarity metric between thermal and visible images. In order to accurately assign disparities to depth discontinuities and occluded Region Of Interest (ROI), we have integrated color and motion cues as soft constraints in an energy minimization framework. The optimal disparity map is approximated for image ROIs using a Belief Propagation (BP) algorithm. We tested our registration method on several challenging close-range indoor video frames of multiple people at different depths, with different clothing, and different poses. We show that our global optimization algorithm significantly outperforms the existing state-of-the art method, especially for disparity assignment of occluded people at different depth in close-range surveillance scenes and for relatively large camera baseline.     

三维单目虚实物体球对面碰撞检测算法

为加强增强现实的沉浸感与真实性,实时地进行虚实物体间的碰撞检测至关重要.因此,提出一种基于增强现实和单目视觉的任意形状虚实物体碰撞检测估计算法.通过改进现有的单目二维虚实碰撞检测及响应算法,针对现有碰撞检测算法存在的计算复杂度高的问题,提出一种仅需计算实际物体4个特征点的三维碰撞检测算法;并通过对象分割、特征点提取、碰撞检测和碰撞响应等过程取得与真实世界物理特性一致的三维虚实碰撞响应估计效果.在增强现实有标记和无标记环境下分别进行实验结果表明,碰撞检测的计算量与二维算法相近,且具有景深效果,实现了基于单目视觉的增强现实三维虚实碰撞响应预测和处理.     

基于C形臂的手术导航相机标定方法

针对基于C形臂的手术导航系统中相机标定这一关键技术中存在的过渡环节过多、参数求解过程复杂等问题,提出一种完全忽略相机模型的解决方法。该方法完全忽略相机模型,在映射参数求解过程中简化了过渡环节,使得算法实现变得高效;同时,提出了带有双层金属球的校准靶,通过识别小球的投影数据来实现相机标定。在校准点验证实验中,可以验证经变换后的坐标的残余误差均不超过0.002像素;在导航验证实验中,借助初步搭建的导航平台成功实现了探针取点及穿孔。实验结果表明,该相机标定方法的精度能够满足手术导航系统的精度要求。     

基于增强现实的手术导航系统快速标定算法

针对光学半透式头戴显示器(OST-HMD)在增强现实(AR)中的虚实融合问题,提出了一种基于光学定位跟踪系统的OST-HMD快速标定算法.首先,通过把OST-HMD中的虚拟标记点和其在真实世界中的对应点组成两个三维点集,对虚拟空间到光学定位追踪空间之间的映射进行估计,从而求解虚拟空间到真实场景的转换矩阵.然后,建立整个...