基于Kinect v2的呼吸运动监测方法研究

为了提高基于Kinect相机的呼吸运动监测精度,提出了一种结合目标检测与目标跟踪算法的实时呼吸运动监测方法。该方法首先基于标记板形状特征利用霍夫圆检测算法进行目标检测,然后基于彩色图像结合Camshift目标跟踪算法实现单个或多个目标的跟踪,依据跟踪的结果获取目标位置的深度信息,并对获取的深度信息进行降噪处理。在此基础上,开发了一款基于Kinect相机的呼吸运动精准监测软件系统。实验结果表明,所提出的实时呼吸运动监测方法可有效提高呼吸运动监测的精度,与现有的基于深度图像获取呼吸运动数据方法相比,在体态偏移状态下数据采集准确度由47.9%提升至94.1%。同时,该方法具有良好的可视化效果。     

基于光场 EPI 图像栈的 6D 位姿估计方法

光场相机单次拍摄可以同时记录光线的强度与方向信息,相较于RGB相机能够更好地揭示场景的三维结构和几何特征,在目标6D位姿估计领域具有独特优势。针对现有RGB位姿估计方法存在复杂场景下检测精度低、鲁棒性差的问题,本文首次提出了一种基于光场图像的端到端卷积神经网络目标位姿估计方法。该方法首先利用双路EPI编码模块实现高维光场数据的处理,通过重构出光场EPI图像栈和引入水平和垂直EPI卷积算子,提高对光场空间角度信息关联的建模能力,并由双分支孪生网络进行光场图像的浅层特征提取。其次,设计了带跳跃连接的特征聚合模块,对串联后的水平和垂直方向光场EPI浅层特征进行全局上下文聚合,使网络在逐像素关键点位置预测时有效结合全局和局部特征线索。针对光场数据不足问题,本文使用Lytro Illum光场相机采集真实场景,构建了一个丰富且场景复杂的光场位姿数据集——LF-6Dpose。在光场位姿数据集LF-6Dpose上的实验结果表明,该方法在ADD-S和2D Projection指标下平均位姿检测精度分别为57.61%和91.97%,超越了其他基于RGB的先进方法,能够更好地解决复杂场景下的目标6D位姿估计...     

一种基于VINS的视觉里程计改进方法

同时定位与地图构建(SLAM)是当今机器人领域的主要研究课题之一。针对如何根据图像估计相机位姿问题,提出一种基于VINS的视觉里程计改进方法(ORLK-VINS)。首先,通过双目相机获取图像信息;其次,将图像信息进行直方图均衡化处理,使图像对比度和亮度得到改善;然后,对原图像特征提取算法进行改进,引入ORB算法中带有方向的FAST角点;最后再将提取的特征点进行正反向的LK光流跟踪匹配,保证匹配特征点的精确性。实验表明,经过改进后的视觉里程计相较于主流的VINS-Fusion算法,在某些场景下拥有更好的实时性和定位准确性。     

基于三激光点标靶的掘进机机身视觉定位技术研究

针对煤矿井下低照度、非均匀粉尘环境中掘进机机身位姿测量不稳定的问题,提出了一种以 3 个激光光斑为点特征的 掘进机机身位姿视觉测量技术。 根据激光穿透性强的特性,对防爆工业相机采集的激光标靶图像进行处理,通过光斑区域的最 小内接矩形和椭圆拟合相结合,获取 3 个激光指向仪的光斑点特征,并采用 P3P 单目视觉定位算法,通过空间坐标矩阵变换计 算出掘进机机身的空间位姿。 根据掘进机机身位姿测量实验表明,在粉尘和杂光的影响下,采用该方法获得的掘进机机身位置 信息的误差均在 30 mm 以内,姿态误差均在 0. 5°以内,且保证了在杂光、粉尘和水雾等复杂背景下激光光斑点精确提取与机身 位姿的稳定测量,基本满足巷道掘进施工精度要求。     

面向高变倍场景的变电站巡检机器人云台相机对准方法

受导航误差和机械磨损等因素影响,变电站巡检机器人在自主巡检时的停靠位姿偏离预置位姿,导致其云台相机在高倍变焦抓图时出现目标设备不在图像内以及聚焦失败等问题。因此,提出一种面向高变倍场景的变电站巡检机器人云台相机对准方法,使巡检机器人相机能够精确对准到预置位姿,以拍摄与模板图像一致的高质量巡检图像。首先,建立巡检机器人位姿与像素误差之间的关系模型;然后,基于构造的变电站空间布局假设条件,提出机器人相机位姿误差的近似解法;最后,对相机位姿误差进行正交解耦,使用提出的折半对准控制方法校正相机位姿误差。在巡检机器人真型平台上开展相机对准试验,结果表明,相较于仅调整云台姿态的传统相机对准方法,该方法在高变倍巡检场景中表现出更高的巡检覆盖率、准确率以及更低的巡检图像像素误差。     

借助特征线度的飞机被动定位研究

介绍了一种在目标跟踪基础上借助图像序列中某些特征线度信息,及三维运动分析技术对飞机进行红外单站被动定位的新算法.该算法基于相邻图像帧之间目标特征点的匹配,然后提取具有旋转平移不变性的特征线度信息,结合成像目标的俯仰角和方位角的实时测量值,从而通过特定的定位方程估计出飞机相对测量站的距离变化量.在初始距离导引下,本算法可实现递推测距.研究表明它适用于匀速、匀加速和变加速等各种运动模型,具有定位精度高、体积小和便于机动的特点.该算法也可用于导弹的跟踪制导,有关原理与方法对可见光成像被动定位同样有效.     

基于改进PSO-BP算法的机器人目标位姿识别方法

机器人作业环境复杂,物料分布具有随机性,导致机器人目标位姿的辨识和定位精度低,实时性差,为此提出一种基于改进粒子群算法-BP神经网络(PSO-BP)的机器人目标位姿识别方法。采用改进的中值滤波算法对目标图像预处理,构建多尺度灰度差异算子以及局部图像熵算子,将两者点积运算获取加权局部熵,抑制目标图像中的噪声。通过多视图几何中间帧的关联特征信息,提取机器人目标位姿特征。在BP神经网络训练阶段通过改进的PSO算法优化处理,采用优化后的BP神经网络算法对提取的特征展开训练和识别,最终实现机器人目标位姿识别。实验结果表明,当机器人目标测试样本数量为55个时,所提方法的亮度方差为0.305,当像素识别误差为1.5%时,所提方法获取的机器人目标位姿识别误差为0.11,所提方法能够在像素识别误差下准确识别机器人目标,获取高精度的机器人目标位姿识别结果。     

一种单目VIO定位精度与跟踪稳定性优化方法

为了提高视觉惯性同时定位与建图(visual-inertial simultaneous localization and mapping, VISLAM)系统的系统性能,提出了一种单目视觉惯性里程计(visual-inertial odometry, VIO)定位精度与跟踪稳定性优化方法。在相机位姿优化阶段,通过多残差项对相机位姿进行优化,提高系统的定位精度。在特征跟踪丢失时,通过惯性测量单元(inertial measurement unit, IMU)积分信息与特征点深度增强方法对系统进行重定位,提高系统的跟踪稳定性。针对所提方法,基于ORB-SLAM3代码框架进行改进,并在开源数据集与真实环境中验证方法的可行性。实验结果表明,所提方法能够有效提高视觉惯性里程计的定位精度与跟踪稳定性。     

基于立体视觉与姿态识别的天轨机器人 跟踪伺服控制

针对双足机器人步态训练平台自动化程度低,调试步态的过程中单人操作时辅助机器人行走和状态信息实时观测协调困难的问题,该文提出了一套基于立体视觉和姿态识别的天轨机器人跟踪伺服系统。首先利用双目相机取景,对左右目相机画面进行匹配后获取图像中每个像素点的深度信息,基于获取到的带有深度信息的图像,对双足机器人的姿态进行识别,获取每个关节点的深度信息,根据关节深度信息判断双足机器人运动状态制定跟踪策略进行伺服控制,由于引入了姿态识别,可以根据双足机器人的姿态变化实现更高程度的自动化跟踪保护。实验结果表现出高自动化程度和高动态的跟踪表现。     

基于EM-ORB算法的移动机器人SLAM系统研究

针对Kinect相机存在的固有噪声,在机器人视觉定位与建图中提出一种改进ORB特征匹配算法结合改进环境测量模型的SLAM系统,该系统使用改进ORB算法提取图像的特征点,建立相邻帧之间特征点的对应关系,并对深度图进行滤波;使用ICP算法计算机器人运动,通过环境测量模型去除误匹配点,同时进行回环检测,最后使用g2o对位姿进行全局优化,建立环境点云图。通过实际环境与公开数据集的运行测试,结果表明,该V-SLAM能够准确地完成相机位姿的更新,并建立环境点云图。     

一种新型激光经纬仪自动跟踪引导方法

针对经纬仪在测量过程中需要人眼瞄准读数,不能自动跟踪并测量运动目标的问题,提出一种新型经纬仪自动跟踪引导方法。该方法采用高分辨率相机,捕获运动目标;采用基于卡尔曼滤波原理的跟踪程序预测目标运动航迹,驱动二维云台承载相机沿水平或俯仰方向旋转,从而实现相机视准轴对目标航迹的跟踪;再基于D-H模型构造相机坐标系和经纬仪坐标系之间的引导矩阵,从而引导经纬仪的望远镜指向相机视场范围,完成对目标的跟踪和测量过程。实验结果表明,该跟踪引导方法效率高,实用性强,在实现了经纬仪自动测量的同时,保证了测量的精度。     

光流点匹配跟踪的薄壁件振动模态测试方法

针对传统模态测试方法存在获取信息有限和附加质量、已有非接触模态测试方法需进行复杂图像处理等问题,提出了光流点匹配跟踪的薄壁件振动模态测试方法,避免了需逐帧进行特征分割、提取等复杂的图像处理。首先,建立了面内振动视觉测量的成像模型,通过相机标定获取工业相机的内、外参数并进行了误差分析。研究了基于光流视觉测振的原理与方法,该方法通过单目相机采集带特征点的结构振动序列图像,运用金字塔的Lucas-Kanada算法进行光流点匹配跟踪,进而获得亚像素级特征点的振动信息,在此基础上进行模态参数辨识获得模态参数。基于提出的方法搭建了薄壁件振动模态测试系统,对薄壁梁进行了振动模态测试实验,并与激振器扫频测试结果和有限元仿真结果进行了对比分析。实验结果表明,固有频率误差在5%以内,模态振型一致,从而验证了提出方法的正确性,为薄壁件的振动模态测试提供了新方法。     

基于运动矢量的改进视觉 SLAM 算法

针对移动机器人运行场景中出现运动物体时,视觉同时定位与地图构建( SLAM)算法位姿估计误差大且构建地图不一 致的问题,提出了一种基于特征点运动矢量的改进视觉 SLAM 算法。 首先,引入基于特征点运动矢量的运动点检测算法。 通过 结合初始相机位姿,计算图像特征点的运动矢量,并使用期望最大化方法求解运动矢量角度的高斯混合模型参数,通过结合前 一帧的运动点检测结果,从而区分当前图像中的运动特征点;其次,基于运动点检测结果,对当前帧相机位姿进行优化;再次,通 过设置图像预处理环节,剔除运动点占比较大和与前一帧相似性较高的图像,提高闭环检测算法的计算效率;最后,使用剔除动 态点后的图像特征点对场景进行描述,并改进单个节点处图像间相似性得分计算函数,经过闭环确认后,得到正确闭环。 数据 集实验表明,所提算法具有较高的位姿估计精度和较好的鲁棒性,同时能有效检测场景中闭环的存在,且建图效果较好。     

基于Kinect传感器的三维稠密地图构建系统设计

本文针对目前三维重建系统存在建模效率低、难以移动和价格昂贵等问题,提出了一种基于Kinect传感器的手持式三维稠密地图构建系统。利用微软推出的Kinect传感器进行彩色图像与深度信息的采集,并通过跟踪获取图像特征点计算Kinect位姿,采用改进ICP算法构建出三维稠密地图,得到良好的室内场景三维模型。实验结果表明,本文提出的手持式大场景高精度三维重建系统具有较好的稳定性和精确性。     

基于单目视觉的球形电机转子方位测量方法

球形转子方位测量是构成永磁球形电动机闭环控制系统的重要组成部分,传统的非接触式测量方法算法复杂且实时性差,针对该问题提出了基于单目视觉的球形电动机转子二自由度方位测量方法。通过球形电机的机械结构确定了视觉测量装置的构成,在电机转子表面与输出轴固联位置喷涂圆形标记,分析相机获取的图像得到具有转子方位信息的特征点的坐标,从而计算出特征点在实际空间中所对应的转子方位。利用滑轨支架测量系统进行实验验证,实验结果表明该方法的有效性。     

单轴转台上 2D 激光雷达的位姿估计

针对单轴转台搭载2D激光雷达进行场景扫描的系统中的激光雷达动态位姿估计问题,提出一种利用V形棋盘格标定板进行位姿估计的方法。通过相机拍摄标定板上的两条光条直线的图像,提取光条直线特征,计算光平面及两条光条在相机坐标系下的方程;再结合雷达提供的扫描数据,计算出雷达坐标系与相机坐标系的变换关系;通过控制转台做3次以上的旋转运动,解算出转台轴在相机坐标系下的直线方程,拟合出雷达光心、雷达坐标系的坐标轴关于转台旋转角度的函数关系。位姿估计实验中计算得到的雷达光心位置与样本的平均误差在1.2 mm以内,计算得到的雷达坐标轴方向与样本的平均误差在0.7°以内;目标测量实验中通过单轴转台搭载2D激光雷达对目标尺寸测量的平均误差在3 mm以内。实验结果表明该方法具有较好的准确性。     

基于改进人工鱼群算法和自适应模糊PID的云台相机位姿控制

巡检机器人的云台相机位姿控制对设备巡检和获取故障区域图像至关重要。针对综合管廊巡检机器人的巡检需求,提出了一种基于改进人工鱼群算法和自适应模糊PID的云台相机位姿控制方法。在人工鱼群算法优化的中后期,借鉴遗传算法思想增强寻优能力。基于改进的人工鱼群算法优化云台相机位姿PID控制参数初值,设计了相机位姿变换的约束区域,通过自适应模糊PID实现相机位姿在线实时控制,并与常规PID和自适应模糊PID控制算法进行对比分析。实验结果表明,基于改进人工鱼群算法和自适应模糊PID的云台相机位姿控制具有良好的实用性和鲁棒性。     

基于主动编码光源的单摄像机立体测量方法

基于一台摄像机、一台投影仪构成光学测量系统,提出一种非特定位姿下的主动编码光源非接触立体测量方法。利用一张混合标定板分别标定测量系统中的摄像机与投影仪,建立二维图像坐标与三维空间坐标之间的映射关系,再主动投影横、纵两组格雷码及其多分频测量条纹形成投影特征点,进而通过反演映射出目标特征的三维空间坐标。本方法避免了单目立体视觉测量中对于测量系统位姿的制约,去除了外部传感测量设备的使用;同时,主动光投影技术也解决了双目立体视觉测量中特征点匹配困难的问题。实验表明,在测量距离1.2~1.6 m范围,测量精度可以达到1.5 mm,能够实现单目摄像机主动编码光的立体测量。     

头盔瞄准显示系统运动位姿的预测方法

针对受面阵CCD相机的帧频限制而对头盔瞄准显示系统定位速度慢的问题,提出了一种基于Unscented Kalman滤波的头盔运动位姿固定超前预测方法。分析了飞行员头部的运动特点,建立了描述头盔运动位姿固定超前预测的状态空间模型,并对头盔的三维运动位姿进行固定超前预测和估计,在保证位姿测量精度的前提下,间接提高定位系统对头盔的位姿测量速度。实验结果表明,该方法在保证对头盔瞄准显示系统定位精度的前提下,可以有效地将其定位速度提高一倍。     

一种基于特征融合的点特征目标跟踪算法

联合目标的颜色和纹理特征,构造了由目标的颜色和纹理特征联合表示的特征点目标表示模型,利用Mahalanobis距离构造特征点匹配函数,利用自适应kalman滤波(AKF)算法预测特征点在下一帧图像中的位置,通过特征点匹配准确定位目标,达到实时、准确跟踪的目的。实验表明,该方法对于光线变化,目标形状相似以及目标被部分遮挡时的跟踪是有效和稳健的。