基于摄像机标定技术设计的3D输入设备

介绍一种基于摄像机标定技术的3D输入设备的原理,采用微软研究院的张正友提出基于移动平面模板的摄像机标定方法,分析计算机视觉函数库OpenCV中的摄像机模型;对比棋盘上的角点和其图像的对应点,利用直接线性变换以及最小二乘法来求解摄像机的内参、畸形系数;通过摄像机实时采集不同位姿的棋盘图片,运用空间解析几何,计算出棋盘的位姿.实验结果表明,把棋盘的位姿转化成3D信号输入,可用于虚拟现实系统的3D交互设备,并具有良好的稳定性和准确性,可满足3D输入设备的需求.     

基于目标跟踪的并联机器人视觉位姿检测

建立一种基于视觉的并联机器人位姿检测系统框架,包括图像采集、图像处理、位姿检测、参数反馈4个部分。使用单目摄像头采集图像,以二自由度冗余机器人为控制对象,利用Haar特征提取对目标进行粗跟踪。进一步获得目标上特定的几个特征点,基于平行不变性原理,得到机器人末端操作器的实际位姿参数。通过求解机器人的逆运动学方程,得到电机的控制参数。实验和仿真验证了该系统的可行性。     

基于立体视觉的非合作目标位姿测量

非合作航天器间相对位姿(位置和姿态)测量,是实现非合作目标的交会与捕获等在轨服务的前提。本文研究一种基于立体视觉的位姿测量方法,包括图像采集、图像滤波、边缘检测、特征提取、目标识别、3D重建、相对位姿计算等步骤,并分别进行计算机仿真和在自制物理平台上的验证实验。仿真实验结果验证了该方法的准确性和有效性。     

基于机器视觉的机器人自动上料系统设计

本文提出一种基于机器视觉的机器人自动上料系统的设计方案.系统利用相机对工件形状、大小和位姿信息进行采集,上位机的图像软件进行处理并与设定好的标准模板进行特征匹配,最后通过PLC控制的工业机器人利用获得的位姿信息进行快速抓取,触摸屏能够作为操作平台和监控设备来保障系统稳定运行.实验结果显示,自动上料系统能够精确抓取物体,...     

一种在线更新的单目视觉里程计

现有的基于深度学习的视觉里程计（visual odometry,VO）训练样本与应用场景存在差异时,普遍存在难以适应新环境的问题,因此提出了一种在线更新单目视觉里程计算法OUMVO。其特点在于应用阶段利用实时采集到的图像序列在线优化位姿估计网络模型,提高网络的泛化能力和对新环境的适用能力。该方法使用了自监督学习方法,无须额外标注地面真值,并采用了Transformer对图像流进行序列建模,以充分利用局部窗口内的视觉信息,提高位姿估计精度,以避免传统方法只能利用相邻两帧图像来估计位姿的局限,还可以弥补采用RNN进行序列建模无法并行计算的缺点。此外,还采用图像空间几何一致性约束,解决了传统单目视觉里程计算法存在的尺度漂移问题。在KITTI数据集上的定量和定性实验结果表明,OUMVO的位姿估计精度和对新环境的适应能力均优于现有的先进单目视觉里程计方法。     

基于合成数据的水下机器人视觉定位方法

针对水下场景水下机器人(AUV)位姿数据集难以获取、现有的基于深度学习的位姿估计方法无法应用的问题,提出了一种基于合成数据的AUV视觉定位方法。首先基于Unity3D仿真搭建虚拟水下场景,通过虚拟相机获取仿真环境下已知的渲染位姿数据。其次,通过非配对图像转换工作实现渲染图片到真实水下场景下的风格迁移,结合已知渲染图片的位姿信息得到了合成的水下位姿数据集。最后,提出一种基于局部区域关键点投影的卷积神经网络(CNN)位姿估计方法,并基于合成数据训练网络,预测已知参考角点的2维投影,产生2D-3D点对,基于随机一致性采样的Perspective-n-Point(PnP)算法获得相对位置和姿态。本文在渲染数据集以及合成数据集上进行了定量实验,并在真实水下场景进行了定性实验,论证了所提出方法的有效性。实验结果表明,非配对图像转换能够有效消除渲染图像与真实水下图像之间的差距,所提出的局部区域关键点投影方法可以进行更有效的6D位姿估计。     

基于视觉测量的快速掘进机器人纠偏控制研究

针对在煤矿井下高粉尘、低照度环境中,掘进机器人定位与控制精度不高的问题,设计了一种基于视觉测量的快速掘进机器人纠偏控制系统。利用安装在快速掘进机器人上的防爆相机,对后方的激光指向仪进行图像采集,通过以太网将采集的图像信息传输给防爆计算机;利用防爆计算机对图像进行预处理,根据位姿解算模型解算出快速掘进机器人位姿;将解算出的位姿信息与巷道设计轴线信息进行比较,计算出快速掘进机器人位姿与巷道设计轴线间的位姿偏差;根据位姿偏差的类型与大小,采用不同的控制策略计算出修正后的控制量,并输出控制指令;控制指令控制电磁比例阀的阀芯移动,实现对伸缩油缸的控制,根据各区域伸缩油缸的伸缩量不同,对快速掘进机器人进行位姿调整,实现纠偏控制。实验结果表明:位姿视觉测量精度为X方向平均偏差21.334mm,Y方向平均偏差34.154mm,偏航角平均偏差为0.493°;纠偏控制精度在X方向小于30mm,满足实际工况要求。     

基于视觉测量的液压支架位姿检测方法

针对目前综采工作面液压支架位姿测量方法存在实施成本高、精度和实时性较差的问题,提出了一种基于视觉测量的液压支架位姿检测方法。通过在液压支架上设置红外LED标识板,利用安装在采煤机上的防爆相机进行图像采集,基于4个共面特征点的视觉算法对图像进行处理与解算,得到液压支架底座的位姿,根据液压支架的位姿坐标可以得到其在多个方向的直线度。实验结果表明,该方法测量的液压支架位姿检测精度在0.7°以内,直线度精度在20mm以内,满足综采工作面液压支架的检测精度要求。     

在线产品智能搬运机械手系统视觉识别技术

针对采用机械手从传送带上抓取位置不固定的产品并将产品按照固定位姿放置而需要复杂的视觉图像处理且成本较高的问题,提出了一种基于辅助定位机构的视觉识别技术。该技术首先以苹果手机为具体研究对象,在非极端光照条件下采集了不同光照下11组44张手机图像,并进行了预处理;然后根据各图像直方图的灰度分布特征,通过研究各图像中灰度值出现次数最多的灰度值和所有像素的灰度值均值的变化情况,确定了分段线性阈值分割准则;最后,采用面积特征找到合适的目标,再采用目标的位置特征对图像进行位姿识别,并给出了识别算法。以普通视频聊天摄像头为实验设备进行了算法适应性验证,实验结果表明,在非极端光照且光源环境基本稳定的情况下,该技术能够稳定可靠地实现手机位姿识别。该识别技术相对于多自由度机械手+摄像机的识别技术在成本上至少降低50%以上,可广泛应用于类手机形状产品的生产线上。     

基于四旋翼无人机的车辆自主抄牌

针对传统车辆抄牌效率低的问题,提出一种基于四旋翼无人机的车辆自主抄牌方法。使用无人机采集大量车辆俯视图样本,对图像进行预处理和下采样,然后提取车辆图像的梯度直方图特征,将图像特征输入到卷积神经网络中,训练出车辆识别模型,最后使用模型识别车辆;根据车辆的形状特征估计车辆姿态;根据车辆的位姿信息计算无人机抄牌的位置和角度;搭建无人机实验平台测试无人机自主抄牌系统。实验结果表明无人机可以自主拍摄到清晰的车牌图像,实现了车辆抄牌的自动化。     

某型装备虚拟操作训练系统研究

针对某大型复杂装备的操作训练,提出了基于HLA和A gent的分布式虚拟操作训练系统设计方案,将系统设计为一个包括九个联邦成员的操作训练联邦。每个联邦成员都是一类过程仿真系统,联邦成员的核心是虚拟操作训练子系统,采用面向A gent的方法进行设计,该子系统的核心是操作训练过程仿真模型。所设计的虚拟操作训练系统技术先进、实用性强、虚拟环境逼真度高,提高了操作训练水平,节省了经费开支。     

特种复杂试验装置中模型动态建模系统设计

为克服特种复杂试验装置中模型不可接触、传统动态建模方式周期长等困难,设计一种基于运动恢复结构算法的动态建模系统,实现实时的动态建模,以更直观和精确的指导试验。试验装置内设置车道线,使用智能寻迹车进行轨迹识别,环绕模型行进。智能寻迹车上同时搭载光学相机和红外相机,同视角拍摄特种复杂试验装置中模型的图像。使用运动恢复结构算法,从光学相机拍摄的图像重建模型的三维结构。模型上设置有环状编码标记点,利用标记点的坐标增加重建的精度。使用改进的运动恢复结构算法,从红外相机拍摄的图像重建红外三维结构,并建立起与光学图像生成的三维结构的对应关系。系统最终获得具有温度信息的可视化模型,并可使用头戴式虚拟现实设备进行沉浸式体验。     

基于Leap Motion的机械臂交互控制研究

针对多旋转自由度机械臂的便捷控制问题,建立了一种联接体感设备Leap Motion与六自由度机械臂的交互控制系统。在体感输入和机械臂运动响应模型中,利用基于几何方法的机械臂运动学逆解,提出一种增加求解约束,二分搜索末端抓取器最优空间位姿的解法。这种解法运行效率高,求解过程直观,能够在对数级时间内求解。经过仿真和实物实验验证,该解法具备处理大量体感输入数据,实现机械臂实时响应的能力,为非触控式的体感机械臂控制提供了一种可行方案。     

沉浸式虚拟现实系统中头部位姿预测方法

为了最小化运动画面延时对沉浸式虚拟现实系统的影响,提出了一种具有运动画面延时抖动补偿功能的卡尔曼滤波算法,用于对用户头部位姿进行预测.首先对运动画面延时进行分析和预测,然后根据头部运动相关性分析结果选择位姿预测方式,并在头部运动建模和位姿预测时分别利用延时预测结果对延时抖动进行补偿.实验结果表明,相比设备原有预测方法,其在一般情况下的姿态预测绝对误差的均值分别减小45.74%、47.25%和40.96%,最大值分别减小11.49%、26.34%和36.79;位置预测绝对误差的均值分别减小35.94%、45.90%和55.81%,最大值分别减小1.05%、25.60%和44.74%.     

基于频率响应分析的机械液压装置建模方法研究

为提高机械液压装置设计效率,降低生产成本,建立其全生命周期管理平台,需构建机械液压装置数学模型;常规的机械液压装置大多是线性定常高阶系统,时域分析方法在建模过程中存在较多局限性;文章采用频响分析方法,以某机械液压装置控制回路为研究对象,通过频响分析仪,进行机械液压装置建模,并对获得的模型精度进行仿真验证;将频域辨识模型与实物试验数据进行对比,验证了模型的精度,证明了频域建模的有效性,为后续机械液压装置控制系统全数字仿真与硬件在回路仿真提供了基础.     

基于图像伺服的接触网绝缘子自动水冲洗车

目前铁路绝缘子维护领域内还没有自动水冲洗设备,本文提出了捕获跟踪与瞄准系统对绝缘子进行自动冲洗维护。在绝缘子识别的基础上,进一步设计出基于图像的视觉伺服系统(IBVS,Image-Based Visual Servoing)控制方法,调整冲洗水炮炮管及摄像机姿态对绝缘子进行瞄准,来完成绝缘子冲洗工作。该方法主要思路为写出特征函数的差并使其最小,特征函数是通过两个雅可比矩阵及其伪逆矩阵建立起图像与冲洗装置控制量之间的关系,最后达到控制目的。本文使用Matlab对IBVS控制方法进行验证,该方法控制双自由度冲洗装置精确性达到要求,可实现绝缘子冲洗瞄准。     

面向移动增强现实的屏幕外对象可视化方法

现有移动增强现实屏幕外对象可视化方法往往将对象信息集中在屏幕中心进行显示,由于移动计算设备屏幕尺寸一般较小,在屏幕外对象数量多时会导致显示过于密集,进而影响可视化性能.为此提出一种屏幕外对象可视化方法,利用屏幕边缘相对较大的空间实现大量屏幕外对象的可视化.该方法基于地理信息数据及传感器姿态数据,将屏幕外对象以标注箭头形式分散于屏幕边缘来描述屏幕外对象的相对位置及相对距离,并通过可自适应距离的建筑捕捉框来可视化屏幕内对象,提高系统使用效率.实验结果表明,文中方法在进行搜寻周边建筑任务时能提供比传统屏幕外对象可视化方法更好的性能,其中搜寻时间减少11.02%,用户满意度提高14.72%.     

Task‐driven latent active correction for physics‐inspired input method in near‐field mixed reality applications

Calibration accuracy is one of the most important factors to affect the user experience in mixed reality applications. For a typical mixed reality system built with the optical see‐through head‐mounted display, a key problem is how to guarantee the accuracy of hand–eye coordination by decreasing the instability of the eye and the head‐mounted display in long‐term use. In this paper, we propose a real‐time latent active correction algorithm to decrease hand–eye calibration errors accumulated over time. Experimental results show that we can guarantee an effective calibration result and improve the user experience with the proposed latent active correction algorithm. Based on the proposed system, experiments about virtual buttons are also designed, and the interactive performance regarding different scales of virtual buttons is presented. Finally, a direct physics‐inspired input method is constructed, which shares a similar performance with the gesture‐based input method but provides a lower learning cost due to its naturalness.     

桌面式虚拟现实维修训练系统的研究与应用

计算机虚拟现实技术提供一个具有直观感和沉浸感的人机界面,可作为一种用于维修训练的有效工具,但目前的相关研究主要针对沉浸式和增强型虚拟现实,开发成本高且应用性不强。该文提出一种面向对象的桌面式虚拟现实维修训练系统原型,利用面向对象的方法,将基于最优拆卸序列的维修模式运用到系统中。通过某型机械装置的虚拟拆卸,验证了该系统的有效性。     

An EyeTap video-based featureless projective motion estimation assisted by gyroscopic tracking for wearable computer mediated reality

In this paper we present a computationally economical method of recovering the projective motion of head mounted cameras or EyeTap devices, for use in wearable computer-mediated reality. The tracking system combines featureless vision and inertial methods in a closed loop system to achieve accurate robust head tracking using inexpensive sensors. The combination of inertial and vision techniques provides the high accuracy visual registration needed for fitting computer graphics onto real images and the robustness to large interframe camera motion due to fast head rotations. Operating on a 1.2 GHz Pentium III wearable computer with graphics accelerated hardware, the system is able to register live video images with less than 2 pixels of error (0.3 degrees) at 12 frames per second. Fast image registration is achieved by offloading computer vision computation onto the graphics hardware, which is readily available on many wearable computer systems. As an application of this tracking approach, we present a system which allows wearable computer users to share views of their current environments that have been stabilised to another viewer's head position.