基于伺服机构的单目视觉深度测量算法

以工业相机为基础的机器视觉系统已经在现代机械制造业得到了广泛的应用,其中单目视觉定位系统则是最为常见的工业视觉系统之一。针对单目二维工业相机在实际应用中无法直接实现深度测量的问题,基于单目视觉广泛应用的平面定位场景,提出了一种基于伺服机构的相机快速标定与深度测量方法。本算法基于运动过程中的视差原理,结合伺服机构中获取的相对位移,实现了平面定位场景下二维相机的快速标定与深度测量。经实验验证,本算法在集成了单目视觉精定位系统的换夹具AGV上实现了深度方向的测量,实验结果体现出本算法良好的精度和稳定性,具备一定的实际应用价值。     

融合图切割和聚类算法的鲁棒自适应道路跟踪

维道路跟踪是移动机器人视觉导航的关键任务之一.由于室外道路环境的复杂性,使得鲁棒连续的基于二维图像序列的道路跟踪仍然是个挑战性任务.本文提出一种基于改进图模型的自适应道路跟踪算法,利用基于边缘置信度的均值偏移算法,将图像划分为具有准确边界的若干同质区域,以这些区域为结点构建改进图模型,然后根据道路/非路模型统计信息,采用Graph Cut方法获得最终的二值图.该算法将Graph Cut和均值偏移方法有效融合,以克服各自缺点,并通过道路/非路模型自更新使得该算法可有效适应室外环境下复杂场景变化.实验结果表明,该算法在复杂道路环境下具有很好的性能,且适合快速运算的应用要求.     

一种不同高度目标的视觉定位新算法

本文提出一种针对平面上方高度已知目标的视觉定位算法。该方法避开了复杂的摄像机参数标定过程,直接运用射影几何的基本性质实现了平面内目标的单目视觉定位。在此基础上,进一步运用成像深度的多义性实现对高度已知目标的平面坐标定位。最后进行了初步的精度分析,给出了算法应用的建议。该定位算法无需预先知道摄像机的参数,也无需对姿态进行特别的规定,可以根据实际场景来布局定位参考点,降低定位误差。实验表明其具有实现简单,精度高的特点。     

飞行器悬挂载荷的视觉位置测量方法

为了解决飞行器悬挂载荷的位置信息不易测量的问题,提出了一种基于视觉的测量方法。首先,选取蓝色小球作为悬挂载荷进行研究,根据小球运动特性,建立了单目视觉位置估计模型。其次,采用Faster R-CNN算法对小球进行识别与跟踪,得到小球在图像二维平面上的位置信息。再次,该位置信息结合单目视觉位置估计模型,估计出小球的三维位置。最后,搭建悬挂载荷测量平台进行实验测试。实验结果表明,所设计视觉测量方法能有效测量悬挂载荷位置。     

基于卷积神经网络与扩展卡尔曼滤波的 单目视觉惯性里程计

针对单目相机采集室外图像易受环境光照影响、尺度存在不确定性的缺点,以及利用神经网络进行位姿估计不准确的问题,提出一种基于卷积神经网络(CNN)与扩展卡尔曼滤波(EKF)的单目视觉惯性里程计。采用神经网络取代传统里程计中基于几何约束的视觉前端,将单目相机输出的估计值作为测量更新,并通过神经网络优化EKF的误差协方差。利用EKF融合CNN输出的单目相机位姿和惯性测量单元(IMU)数据,优化CNN的位姿估计,补偿相机尺度信息与IMU累计误差,实现无人系统运动位姿的更新和估计。相比于使用单目图像的深度学习算法Depth-VO-Feat,所提算法融合单目图像和IMU数据进行位姿估计,KITTI数据集中09序列的平动、转动误差分别减少45.4%、47.8%,10序列的平动、转动误差分别减少68.1%、43.4%。实验结果表明所提算法能进行更准确的位姿估计,验证了算法的准确性和可行性。     

基于单目图像序列的铸件三维重建方法

为了实现基于机器视觉的铸件毛刺自动检测与识别,提出了一种基于单目视觉的铸件三维重建方法。利用单目相机对目标进行无标定多角度旋转拍摄,获得一组单目图像序列;运用“两步匹配法”优化相邻图像特征点的匹配,剔除大量误匹配点,提高特征点匹配效率。对三维重建的点阵进行泊松表面重建,细化了铸件三维表面的细节。实验结果表明,该方法装置简单,无需对相机与目标的相对位置进行预先标定,能有效地恢复铸件三维表面的细节特征。该方法适用于机械加工环境下零件的三维表面重建。     

基于运动模式在线分类的移动机器人目标跟踪

区别于以往采用固定运动模式的目标跟踪研究,提出一种基于单目视觉传感器的人体运动模式在线识别算法,及基于此算法的人体目标跟踪方法。首先,利用视觉信息检测运动目标,并提取其视觉特征;然后通过单目视觉深度提取算法,获取目标的运动特征;接着将连续几帧的特征变化矢量送入随机森林(RF)进行学习,实现对人体运动模式的在线分类;最后根据分类结果在线选取不同的目标运动模型,并利用近似最优的粒子滤波器实现对目标运动状态的准确估计。实验结果证明了本文提出算法的有效性。     

基于双平行平面相机模型的钢板尺寸视觉测量

提出基于双平行平面相机模型的视觉测量方法,用于测量生产线上运动钢板的尺寸。该方法采用数据驱动的方式计算像点在标定平面上投影点的世界坐标;采用k近邻(k-NN)方法生成目标在标定平面上的无畸变投影图像,并建立投影图像与世界坐标系的直接关联。提出了双平行平面模型下相机光心位置标定算法,利用线结构光进行板材厚度测量;在无畸变的投影图像上利用钢板边缘间的平行和垂直性进行钢板边缘特征提取,通过边缘直线的世界坐标方程求取长宽尺寸。最后,给出了针对大尺寸钢板测量的多相机测量系统框架。提出的方法为单目视觉测量方法,相比于其他方法具有现场安装简单和标定工作量小的特点。通过图像分辨率为640×480的相机对尺寸为80mm×50mm×15mm的标准铝块进行了测量,结果显示:厚度测量误差为0.1mm,长度和宽度的误差在0.2mm以内。实际应用中测量精度远高于加工精度,能够满足产品计量的要求。     

动态场景下基于YOLOv5的快速单目视觉SLAM算法北大核心CSCD

针对动态场景下的动态物体容易产生移动和变形,从而直接影响单目视觉SLAM定位和建图的效率等问题,提出了一种使用深度学习对图像进行动态特征点剔除的单目视觉SLAM算法。基于ORB-SLAm3算法的整体框架,在动态物体检测线程中使用YOLOv5构建的卷积神经网络作为目标识别算法,在跟踪线程中对动态物体特征点进行剔除,有效减少了错误特征提取造成的运行时间浪费和位姿估计误差。经实验验证,所提算法在TUM动态场景单目数据集中能够保持准确定位且效率较高,其定位精度比ORB-SLAm3和ORB-SLAM2更好,效率分别提高了20.65%和19.14%。     

一种改进的基于双权值颜色直方图的均值漂移跟踪算法（英文）

在实际应用中,当目标与背景的颜色相似时,均值漂移跟踪算法容易产生跟踪漂移现象。本文基于均值漂移算法,首先提出一种背景削弱权值,结合基于核函数的目标中心加权,有效解决由相似背景带来的跟踪干扰。然后提出一种模板更新策略,提高目标在遮挡、光照、形变等干扰下的跟踪鲁棒性。由老虎图像序列实验可知,提出的改进算法具有更好的跟踪效果。     

基于多模板回归加权均值漂移的人体目标跟踪

针对移动机器人跟踪人体目标时目标因角度大幅变化引起外观改变造成的跟踪无效,提出了多模板回归加权均值漂移跟踪方法。该方法通过建立目标的多模板模型,应用均值漂移算法实现目标跟踪。首先,根据前一帧均值漂移结果和当前帧头肩粗定位结果确定目标模板集,使其包含目标人体的位姿和角度改变。然后,采用多模板回归加权均值漂移实现目标的精确定位。在多模板均值漂移中引入回归模型实现颜色纹理特征与目标模型相似度之间的映射,从而控制模板数量,保证目标检测的实时性。最后,分别在视频图像和机器人目标跟踪平台上对所提方法进行实验验证。结果显示,图像处理平均时间为86.4s/frame,满足机器人跟踪的实时性要求。该方法解决了目标特征在跟踪过程中发生变化的问题,提高了机器人跟踪时对目标人体特征变化的鲁棒性。     

基于电子稳像跟踪技术的运动滤波算法

为了在摄像机平台不稳的情况下获取稳定的图像序列,实现基于电子稳像的目标跟踪,对摄像机主动扫描运动与随机抖动分离方法进行了研究,提出了用均值偏移和粒子滤波结合的运动滤波算法(MSPF)来实现运动分离.算法通过粒子滤波预测粒子,然后利用单次均值偏移迭代移动粒子,使粒子更接近于目标真实位置区域,削弱了计算结果精度对粒子数的依赖.对于现实中的复杂背景,利用MSPF算法分离摄像机的主动扫描运动和随机抖动,采用运动补偿图像差分法检测出运动目标,从而实现图像的稳定跟踪.实验结果表明,MSPF算法使用50%的粒子就能起到传统粒子滤波算法同样的效果,缩短了计算时间,有利于实现实时稳像跟踪,适用于车载、船载、机载等稳定跟踪系统中.     

一种基于双相机焊缝跟踪的球形储罐爬壁机器人定位方法

针对具有很少甚至没有地标和缺乏良好照明条件的大型液化石油气球形储罐环境下,仅依靠里程计以及惯性测量单元的爬壁机器人定位精度较低,且存在较为明显的累积误差的问题,提出了一种新的解决方案,通过跟踪球形储罐表面焊缝相对于机器人的运动来改善机器人定位精度。首先,通过配备辅助光源,利用安装在机器人两侧的CCD相机进行图像采集,并实时对图像进行二值化处理,识别出焊缝特征区域并输出相应的检测信号,通过相邻时刻检测信号增量计算来估计机器人的相对位置;接着,提出了一种改进加权融合算法,用以实现各传感器之间的数据融合,该算法结合了自适应加权融合算法以及基于最小二乘原理的加权融合算法的优点,以对各加权因子重新分配权值的思想来对各个传感器数据进行最终融合,提高了测量精度以及动态适应性。最后,在实际环境以及虚拟环境下对该方法进行了实验评估,验证了该方法的有效性。实验结果表明,在没有良好照明条件及地标的球形储罐环境下,该方法可以保证爬壁机器人定位的准确性。     

焊缝磨抛机器人视觉算法实现及其试验研究

为实现大型结构件焊后焊缝自动磨抛,磨抛机器人除了具备移动能力和磨抛能力外,更需要在复杂和不规则的工业环境中对焊缝进行准确的跟踪和测量,进而为焊缝磨抛提供有效的加工参数。将两个电荷耦合器件(Charge-coupled device, CCD) 相机和激光器搭载在吸附移动机器人本体上,构成焊缝磨抛机器人视觉系统。根据结构光的亮度分布特征,提出定位图像感兴趣区域(Region of interest, ROI)的算法,减小了计算量,提高了计算效率;提出在噪声干扰条件下快速检测结构光特征线的列高斯差分算法,成功提取结构光特征线;提出差分最值粗定位-距离阈值精定位的焊缝边缘点检测算法,快速、精确提取焊后焊缝的边缘点,计算出焊后焊缝的几何信息。图像处理试验及相应的焊缝磨抛试验结果表明：该视觉系统稳定、可靠,视觉算法快速、精确并且具有很好的鲁棒性,为复杂工业环境下大型结构件焊缝磨抛自动化奠定了基础。     

Applying mean shift, motion information and Kalman filtering approaches to object tracking

Contemporary research is developing techniques to tracking objects in videos using color features, and the mean shift (MS) algorithm is one of the best. This known algorithm is employed to find the location of an object, in image sequence, by using a coefficient called the Bhattacharyya coefficient. This coefficient is calculated through an object tracking algorithm to present the similarity in appearance between an object and its candidate model, where the best representation of an object is acquired, once this is could be maximized. However, the MS algorithm performance is confounded by color clutter in background, various illuminations, occlusion types and other related limitations. Because of such effects, the algorithm necessarily decreases the value of the Bhattacharyya coefficient, indicating reduced certainty in the object tracking. In the present research, an improved convex kernel function is proposed to overcome the partial occlusion. Afterwards, in order to improve the MS algorithm against the low saturation and also sudden light, changes are made from motion information of the desired sequence. By using both the color feature and the motion information simultaneously, the capability of the MS algorithm is correspondingly increased, in the present approach. Moreover, by assuming a constant speed for the object, a robust estimator, i.e., the Kalman filter, is realized to solve the full occlusion problem. At the end, experimental results on various videos verify that the proposed method has an optimum performance in real-time object tracking, while the result of the original MS algorithm may be unsatisfied.     

机器人平滑抓取移动物体的运动规划方法

结合机器视觉和运动规划方法,对动态环境中移动物体的平滑抓取进行了研究。设计了一种运动物体跟踪算法,能够实现无障碍环境下移动物体的平滑抓取;针对环境中存在动态障碍物的情况,设计了一种基于排斥矢量的动态避障算法,与运动物体跟踪算法相结合,实现了机器人先避障后平滑抓取;基于机器人操作系统（Robot operating system,ROS）框架,在5自由度的KUKA Youbot机械臂平台上实现了无障碍环境下对传送带上物体的平滑抓取,以及动态障碍物环境中的平滑抓取,试验结果验证了所设计算法的优越性。     

全天候移动车间巡检机器人目标定位算法

全天候移动车间巡检机器人移动轨迹复杂,为获取高精度的巡检机器人目标定位结果,提出一种全天候移动车间巡检机器人目标定位算法。优先标定得到移动车间环境的相机,获取相机参数,通过高低纹理匹配完成移动车间环境重建。然后通过相机内外参数将匹配点的图像坐标和世界坐标相关联,以此为依据估计巡检机器人的位姿。最终将得到的移动车间环境地图和周围数据相结合,采用粒子滤波算法对全天候移动车间巡检机器人位置组建的粒子群集合优化处理,通过不断迭代更新,输出目标定位结果。结果表明,所提算法可以有效降低巡检机器人目标定位时间以及联合定位误差,获取准确率更高的目标定位结果。     

基于图像处理的爬壁机器人焊缝识别与跟踪

基于爬壁机器人移动平台和单目相机的图像采集系统,设计了一种焊后焊缝图像处理方法,将改进的自适应中值滤波算法与灰度形态学方法结合,实现从信噪比较高的图像中提取特征。采用基于边缘检测和Hough变换的焊缝位置提取算法,经测试识别准确率达70%,且单幅图像平均处理时间为200ms,能满足管道爬壁机器人行进过程中的实时焊缝跟踪,并提供了一种引导机器人沿焊缝前进的自主定向方案。     

Visual feedback control of a robot in an unknown environment (learning control using neural networks)

In this paper, a visual feedback control approach based on neural networks is presented for a robot with a camera installed on its end-effector to trace an object in an unknown environment. First, the one-to-one mapping relations between the image feature domain of the object to the joint angle domain of the robot are derived. Second, a method is proposed to generate a desired trajectory of the robot by measuring the image feature parameters of the object. Third, a multilayer neural network is used for off-line learning of the mapping relations so as to produce on-line the reference inputs for the robot. Fourth, a learning controller based on a multilayer neural network is designed for realizing the visual feedback control of the robot. Last, the effectiveness of the present approach is verified by tracing a curved line using a 6-degrees-of-freedom robot with a CCD camera installed on its end-effector. The present approach does not necessitate the tedious calibration of the CCD camera and the complicated coordinate transformations. This revised version was published online in October 2004 with a correction to the issue number.