基于视觉引导和超志测距的运动目标跟踪和抓取

提出了装配机器人系统中一种基于视觉引导和超声测距的运动目标跟踪和抓取方法，介绍了运动目标的跟踪原理，采用图像雅可比矩阵进行机器人运动控制，跟踪运动的目标，利用视觉引导技术，获取目标在图像平面中的位置与方位，进行平面跟踪，然后引导超声波测距装置测取目标深度信息。实验结果验证了本文提出的这种方法的可行性和有效性。     

基于无标定全局视觉反馈的三维运动目标的的图像跟踪方法

研究机器人在摄像机图像平面对三维运动目标的跟踪方法,在摄像机模型未知及机器人与摄像机关系没有标定时,利用雅可比矩阵,可直接从图像上观察到的机器人手爪和运动目标之间的位置误差,计算出机器人手爪为消除这个误差的期望运动。并给出雅出矩阵形式的推导过程。     

基于无标定全局视觉反馈的三维运动目标的图像跟踪方法

研究机器人在摄像机图像平面上对三维运动目标的跟踪方法。在摄像机模型未知及机器人与摄像机关系没有标定时 ,利用雅可比矩阵 ,可直接从图像上观察到的机器人手爪和运动目标之间的位置误差 ,计算出机器人手爪为消除这个误差的期望运动。并给出雅可比矩阵形式的推导过程     

微操作机器人的显微视觉自标定方法

在分析微操作机器人结构特点的基础上确定了待标定参数,提出了一种基于显微视觉的自标定方法。通过动态跟踪随机器人运动的目标来计算其图像坐标,采用最小二乘法拟合目标运动轨迹在显微镜坐标平面中的投影直线,并结合高精度机器人的位移量,经过几何投影和变换,标定出待标定坐标到显微镜坐标的转换矩阵。该标定方法无需特殊辅助测量仪器。实验表明,角度标定重复性好,位置标定误差小于 2 个像素。     

智能水下机器人声视觉跟踪系统研究

提出了一个新的水下声视觉图像预处理、分割和目标跟踪的处理系统框架.采用该系统框架,设计了一个基于前视声纳的智能水下机器人(AUV)声视觉目标探测跟踪系统,并描述了该系统的软、硬件体系结构.针对水下声视觉图像特点,分析了声纳图像的预处理方法,探讨了图像中特征信息的选取,构造了基于不变矩的仿射变换不变量,提出了基于组合特征...     

改进最小二乘法双目视觉位姿测量技术研究与测试

由于工件表面油污、光照等因素干扰导致工件图像提取的特征点偏离实际位置,对工业机器人的抓取定位带来较大误差。该文以视觉引导工业机器人抓取气缸盖为应用对象,对双目视觉高准确度位姿测量技术进行分析。首先探讨特定条件下的双目视觉定位引导机器人技术以及粗差点产生原因与解决方法情况;其次介绍视觉系统视觉坐标系和目标坐标系,然后在位姿测量数学模型的基础上提出改进最小二乘法的准确计算方法,并搭建双目视觉引导的工业机器人抓取气缸盖系统进行测试分析。测试表明:改进最小二乘法的位姿计算方法可实现双目视觉对目标物的全自由度位姿测量,满足工业机器人高准确度抓取操作。     

Study of an object tracing system based on sonar vision for autonomous underwater vehicles

提出了一个新的水下声视觉图像预处理、分割和目标跟踪的处理系统框架.采用该系统框架,设计了一个基于前视声纳的智能水下机器人(AUV)声视觉目标探测跟踪系统,并描述了该系统的软、硬件体系结构.针对水下声视觉图像特点,分析了声纳图像的预处理方法,探讨了图像中特征信息的选取,构造了基于不变矩的仿射变换不变量,提出了基于组合特征的粒子权重分配方法,阐述了改进后的高斯粒子滤波( GPF)跟踪实现过程.海上实验验证了所提方法的有效性,证明所构建的探测跟踪系统具有较高的准确性和鲁棒性.     

基于模型的水下机器人视觉悬停定位技术

根据7000米载人潜水器水下作业的需要和特点,提出了一种基于单目视觉位姿测量原理的水下机器人悬停定位方法,构建了包含水下目标识别与跟踪、三维位姿计算及水下机器人控制三项关键技术的水下演示实验系统。以自行研制的水下机器人控制系统实验研究平台为实验载体,以4个按正四面体分布的小球构成的合作目标为观察目标,在室内实验水池中实现了水下机器人悬停与定位演示实验。实验结果显示,系统能够弓I导机器人运动到指定位姿并实现稳定的悬停和定位。该项研究为基于模型的单目视觉三维位姿测量技术开辟了水下机器人应用新领域。     

线结构光视觉传感器机器人手眼关系标定

为实现对工业机器人手眼关系的标定,提出一种基于线结构光视觉传感器的手眼关系标定方法。该方法在标定时,将一个平面靶标作为参考物固定在工业机器人工作空间内,控制工业机器人末端运动以带动线结构光视觉传感器作多组变位姿运动,获取在不同位姿状态下的平面靶标图像并对其进行图像处理。通过对图像上固定特征点的测量,以及建立线结构光视觉传感器模型和手眼关系模型实现对线结构光内参数和手眼关系的标定。用棋盘格标定板进行测量实验验证,实验结果表明该方法准确度为0.036 mm,即优于40μm,可用于工业机器人的测量应用。     

基于在线学习的自适应粒子滤波视频目标跟踪

传统的粒子滤波视觉跟踪算法采用固定模型和大量粒子表征目标后验概率,不能满足复杂条件下的视频目标实时跟踪.为了提高跟踪的鲁棒性和稳定性及计算效率,本文提出将自适应状态演化方程和在线增量学习观测似然模型嵌入到粒子滤波算法;并采用在线自动调整粒子数目的策略,提高粒子滤波视觉跟踪的计算效率.室内外实验结果表明,文中提出的视觉跟踪算法不仅能准确、高效地跟踪序列图像中的运动目标,而且对光照、姿态变化引起的目标表观变化具有良好的鲁棒性.     

Autonomous target tracking and following mobile robot

Tracking and following a moving target in real time is a very challenging task in autonomous mobile robot applications, due to the unstructured and unknown environment. In this article, a real time, autonomous, dynamic, whole-field target tracking system (360° coverage) is developed based on a pan/tilt/zoom CCD vision system. The vision system scans and locks the pose of the moving target and commands the tracking mobile robot to follow the target while avoiding obstacles. Bayes’ theorem-based foreground–background segmentation algorithm is applied for motion detection. The color-based particle filter algorithm is used to track the moving object. The system steers the tracking mobile robot toward the moving target based on the angular difference obtained from the tracking module. Fuzzy logic is applied and a sensor data fusion algorithm is developed to reduce the ultrasonic phantom effect of obstacle detection using eight ultrasonic sensors. Multiple behaviors are integrated through the proposed system. Experimental results show the proposed system can successfully track and follow a moving target and avoid obstacles in real time. The tracking accuracy is higher than 80%.     

Bionic tracking method by hand & eye-vergence visual servoing

Animals rotate their eyes to gaze at the target prey, enhancing the ability of measuring the distance to the target precisely for catching it. These animals, visual tracking includes the triangular eye-vergence control and their body's motion control by visual servoing. The research aims to realize a bionic robot tracking performance, in which the body links moves together with eyes' view orientation. This paper proposed a hand & eye-vergence dual control system which included two feedback loops: an outer loop for conventional visual servoing to direct a manipulator toward a target object and an inner loop for active motion control of binocular cameras to change the viewpoint along with the moving object to give an accurate and broad observation. This research also foused on how to compensate a fictional motion of the target seen by camera images in an eye-in-hand system, where the camera was fixed on the end-effector and moved together with the hand motion. A robust motion-feedforward (MFF) recognition method is proposed to compensate the fictional motion of the target based on the manipulator's joint velocity, then the real motion of the target seen by camera images is extracted, which can improve the feedback image sensing unit to make the whole servoing system dynamically stable. The effectiveness of the proposed hand & eye-vergence visual servoing method is shown by tracking experiments using a 6-DoF robot manipulator and a 3-DoF binocular vision system.     

基于LabVIEW的多通道视觉测速系统设计

目标运动速度与运动状态的快速预判是机器人避障、目标检测与跟踪的关键。经典的初级运动检测器（elementary motion detector,EMD）模型具有在局部范围内的速度矢量敏感特性,在此基础上结合波峰检测算法,提出一种动目标运动速度和运动状态的快速测速法。为验证所提方法的可行性和有效性,以线性排列的光敏传感器阵列为视觉检测单元,在LabVIEW开发环境中,利用雷赛SMC3380运动控制器和研华PCI-1747U数据采集卡,搭建了具有动目标运动控制及动目标信号采集功能的多通道视觉测速系统;通过多通道数据采集及动目标快速测速处理,实现了目标运动速度和运动状态的判别。实验结果表明：多通道视觉测速系统运行稳定,能够实现最大速度为80 mm/s（绝对误差小于±2 mm/s,相对误差小于±3%）,以及最大加速度为20 mm/s²的匀加速运动状态的动目标检测与判断。为机器人视觉感知器的动目标快速预判研究提供了新思路。     

包装分拣过程视觉跟踪系统设计

目的 为提高包装生产线的分拣精度,以Delta机器人为研究对象,设计一种视觉跟踪系统.方法 详细介绍包装生产线分拣系统的结构,包括机器人模块、控制模块、视觉模块和传送带模块等.提出一种平移标定算法,可简化整个标定过程,既可以提高准确性,又可以降低标定用时.该算法可以较好地解决空间限制对跟踪系统的影响.论述一种图像处理方法,通过连通区域的面积、圆度和矩形度等参数实现物料识别、定位和抓取.利用具体实验验证所述系统的可行性和有效性.结果 Delta机器人视觉跟踪系统的漏抓率小于0.1％,误抓率接近于0,精确度得到明显提高.结论 整个过程中机器人运行稳定,并没有出现冲击、颤动等现象,系统可靠性比较高,完全能够满足包装等相关行业要求.     

基于环形红外阵列的移动机器人自动跟随系统

为了实现在室内空旷环境中跟随机器人对移动目标物的定位和动态跟踪,设计了一种基于环形红外阵列的移动机器人自动跟随系统。利用具有主动式环形大视场的测距罗盘作为环境感知传感器。测距罗盘由数个红外测距传感器组成周向阵列,实现对360°环向10～80 cm范围内移动目标物的二维定位,使跟随机器人可以快速确定其与移动目标物之间的距离和偏航角,实现对目标物的精准定位。依据目标物的位置信息并利用PD(proportiondifferentiation,比例-微分)控制器控制跟随机器人的移动,使跟随机器人保持与目标物的相对距离和相对角度,实现对移动目标物的自动跟随。在上位机操作界面可以实时显示跟随机器人的运动轨迹及其对周围未知环境的探测情况。通过实验证明了测距罗盘可以有效定位目标,满足机器人跟随移动目标物的设计要求。测距罗盘和自动跟随系统的可靠性较高,可以为机器人集群编队提供装置保障。     

Using short-time Fourier transform and wavelet packet filter banksfor improved frequency measurement in a Doppler robot tracking system

Previous research has shown that an ultrasonic tracking system using the Doppler effect can potentially track high-speed robot motion very accurately. However, ultrasound energy that is reflected by obstacles in the robot workspace can cause significant distortions in the frequency measurement. To reduce the distortions, a novel method for frequency measurement is described in this paper. This uses the short-time Fourier transform (STFT) to estimate the frequency of the interference signal. Then, the estimated frequencies are analyzed with an adaptive filter constructed with wavelet packet filter banks. Results are given that demonstrate great improvements in frequency measurement     

服务机器人目标同时识别与位姿判定研究

目前机器人尚难以自主建立起目标姿态的概念,通过人机交互方式辅助机器人对目标建模则不失为一种可行方案。提出了一种基于新型目标模型的离线/在线两步目标识别与位姿判定系统。离线阶段采用人机交互方式构建目标模型,在线阶段通过场景图像与目标模型的特征点对应即可自动发现目标,并计算其相对于机器人的位姿。实验证明,该系统能够有效完成对纹理目标的同时识别与位姿判定。     

采用多媒体技术的爬壁机器人视觉导引控制

提出了采用多媒体技术进行爬壁机器人视觉导引控制，通过固定摄像机与移动摄像机相结合的视觉反馈方式、提高爬壁机器人视觉闭环控制系统精度的控制策略。这种控制方式可有效地改善人机接口界面，实现控制系统的小型化，使爬壁机器人具有一定的自主控制功能。     

Airborne ultrasonic imaging system for parallelepipedic objectlocalization

An ultrasonic image device was designed for use in robotic applications where parallelepipedic objects need to be manipulated. It is based on ranging measurement by an array of ten identical airborne ultrasonic transducers with an operating frequency of 200 kHz and a detection cone angle of approximately 7 degrees. An electronic scanning associated with a mechanical displacement of the array covers an area of 0.4×0.4 m in less than 0.5 seconds (100 measurement points). The system was tested in an automatic packaging line. It allowed a real-time localization of cubic objects as small as 2 cm and the determination of an emplacement in which a new object can be put by a robot arm