基于FPGA的机器人视觉系统研究与设计

本文在研究现有机器人视觉系统功能、原理、结构和实现方法基础上,完成了以FPGA(Field Programmable Gate Array,现场可编程门阵列)和COMS图像传感器为核心平台的视觉系统硬件设计,以硬件描述语言为工具完成了常见数字图像处理算法实现,完成了人脸识别系统的应用开发。较传统机器视觉硬件系统而言,基于FPGA的机器人视觉系统具有体积小、功耗低、速度快、配置灵活、移植方便等突出优点,可广泛应用于对响应速度要求高、定制化服务需求的机器人视觉系统中,提高系统设计效率。     

基于智能手机控制的家居服务机器人研发

针对我国智能家居服务机器人的发展现状与不足,设计了一种基于智能手机控制的家居服务机器人。主要涉及技术有:机器导航、机器视觉、信息融合、人机交互、嵌入式技术、语音识别技术等。实现了实时定位、远程控制、自主导航、手势识别、监控家庭环境、语音识别等功能。机器人配有一个单目摄像头,可以实时监控家庭环境;通过智能手机远程控制端可以在世界上任何一个可以上网的地方看到用户家里的状况;并且可以用手机控制机器人的行走路径,真正做到全方位无盲点的实时监控;基于ARM平台的嵌入式视觉处理系统实现手势识别并准确的控制机器人运动;机器人还配有烟雾感传感器、温湿度传感器,可以监测环境的空气质量。经过试验验证,该机器人符合家居服务的基本要求。     

智能空间下基于WIFI指纹定位与粒子滤波的服务机器人复合全局定位系统设计

针对机器人在没有任何初始位姿先验知识的情况下,通过传感器感知信息确定位姿的全局定位问题,将智能空间技术与ROS(robot operating system)服务机器人相结合,设计了一种智能空间技术支持下的基于WIFI指纹定位和蒙特卡洛粒子滤波定位的复合服务机器人全局定位系统.在该复合定位方法中,首先利用智能空间中的基于BP(backpropagation)神经网络的WIFI指纹定位对机器人进行粗定位,并将估计位置与估计误差发送给ROS服务机器人;在粗定位的基础上使用蒙特卡洛粒子滤波算法方法最终获得服务机器人的精确位置.实验结果表明,本文设计的系统实现了ROS机器人与智能空间之间的零配置与松耦合,可有效地提高服务机器人全局定位精度,缩短计算迭代时间.     

室内移动机器人机器视觉定位系统的设计

采用以DSP+ARM微控制器为核心的嵌入式实时操作系统,设计了一种基于嵌入式系统和机器视觉定位的室内移动机器人。利用视觉导航图像处理技术、形态学方法和一种基于尺度空间理论的Harris角点检测方法,借助陀螺仪和加速度计的惯性导航技术进行地图的匹配定位,并按环境的变化情况更新地图以实现导航。基于超声波传感器设计了避障模块,实现了自主避障。设计了一种基于Zig Bee技术的无线通信模块,实现了机器人的智能控制,增加了机器人之间以及机器人和服务器之间的信息交换。软件核心算法采用多传感器融合技术,将D-S理论和人工神经网路相结合;在非线性化系统中,利用BP神经网路多层前馈网络的反相传播学习方式,很好地实现了模式识别。与其他机器人系统相比,该系统具有独立操作性强、功能多样化、扩展性强等特点,克服了目前机器人存在的成本高、功耗大、实时性差和定位不准确的问题。     

基于STM32的智能送药机器人

本文针对药品无接触配送的问题,设计了一款基于STM32的智能送药机器人系统,该系统可以替代传统人工取送药,进行无接触配送。系统分为多个智能送药机器人,每个机器人均通过基于OpenMV的机器视觉模块识别病房号数字,通过HX711重量传感器检测药物是否处于机器人中,通过ToF激光雷达进行测距避障,同时多个机器人之间通过BT08B蓝牙模块通信,实现协同工作。智能送药在一定程度上缓解了医疗行业人力资源紧张的情况,同时在取送药方面能够有效降低医院内人员流动带来的病毒传播风险。本文首次提出的多设备协同运行的智能送药机器人支持数据互传,能够实现更高效快速的药品配送,为研究智能医疗机器人方向的学者提供了新的研究依据和视角,也为智能医疗机器人的发展提供了一定借鉴和参考。     

基于机器视觉的CoreXY结构写字机器人设计

针对目前写字机器人存在的智能化水平低、难以独立运行等问题,在常规写字机器人的基础上,利用机器视觉和嵌入式技术设计了基于机器视觉的CoreXY结构写字机器人。该写字机器人的机械结构采用CoreXY运动结构,硬件电路由主机、从机、运动驱动、图像采集、人机交互等模块构成,软件设计采用了带有梯形加减速过程的Bresenham直线插补算法、基于OpenCV的文字识别算法以及结合QT设计的上位机控制软件。测试结果表明,该设计能够正确进行文字识别以及准确完成写字。     

一种适用于移动机器人的障碍物快速检测算法及其实现

针对传统的用于机器人检测障碍物的算法存在的不足,提出了一种基于视觉传感器与超声波传感器信息融合的快速障碍物检测算法.该算法通过位十机器人头部的超声波传感器获取机器人到障碍物(本算法采用矩形障碍物)的距离信息,通过改进型快速直线检测方法和约束条件确定障碍物在视觉传感器所采集的图像中的直线边缘,根据成像过程中-三角形相似的...     

一种普适机器人系统同时定位、标定与建图方法

机器人定位、传感器网络标定与环境建图是普适机器人系统中三个相互耦合的基本问题, 其有效解决是普适机器人系统提供高效智能服务的前提. 本文提出了普适机器人系统同时机器人定位、传感器网络标定与环境建图的概念, 通过分析三者之间的耦合关系, 给出同时定位、标定与建图问题的联合条件概率表示, 基于贝叶斯公式和马尔科夫特性将其分解为若干可解项, 并借鉴Rao-Blackwellized粒子滤波的思想分别求解. 首先, 联合传感器网络对机器人的观测、机器人对已定位环境特征的观测以及机器人自身控制量,设计了位姿粒子的采样提议分布和权值更新公式; 其次, 联合传感器网络对机器人运动轨迹及已定位环境特征的观测,设计了传感器网络标定的递推公式; 然后, 联合传感器网络和机器人对(已定位或新发现)环境特征的观测,设计了环境建图的递推公式. 给出了完整的同时定位、标定与建图算法, 并通过仿真实验验证了该算法的有效性.     

机器人传感器(下)

四、触觉传感器1.概述人的视觉最重要,但触觉也有重要作用,机器人也是这样。当前实用机器人中,无眼或眼力不好的居多,因而触觉传感器起着十分重要的作用。机器人触觉传感器包括触觉、压觉、力觉、滑觉、近接觉和柔性手爪等。触觉传感器发展很快,但有许多问题需要解决,这就是:(1)要求传感器用弹性材料制成,并且小巧和轻便;(2)寿命长,耐恶劣环境的性能好;(3)所获取的信息容易高速处理和传递;(4)具有模式     

机器视觉的灾后救援机器人越障系统设计

为了辅助救援人员更好地完成灾后救援工作,设计了一种基于机器视觉、多传感器耦合的灾后救援机器人越障系统.通过机器视觉系统获取障碍物图像信息,多传感器耦合获取灾后现场环境信息,采用VC++编程,借助OpenCV库对障碍物图像进行一系列数学形态学的处理,利用图像处理得到障碍物数字图像信息,并实时地传输到控制端,控制机器人进行越障救援.该系统成功地控制机器人快速的越障试验,表明了它具有较强的地面适应性和越障能力,满足灾后救援机器人系统的要求,具有一定的应用价值.     

基于AdaBoost算法的智能轮椅避障研究

随着计算机图像处理能力和技术的发展,视觉传感器在移动机器人导航和障碍物识别中的应用越来越受到重视.将AdaBoost算法用于智能轮椅的障碍物识别,在Visual C++6.0平台下,用AdaBoost算法训练得到用于障碍物检测的强分类器,然后利用该分类器进行检测出目标障碍物,并用模糊神经网络的方法对轮椅的声纳信息,视觉...     

A low-complexity sensor fusion algorithm based on a fiber-optic gyroscope aided camera pose estimation system

Visual tracking, as a popular computer vision technique, has a wide range of applications, such as camera pose estimation. Conventional methods for it are mostly based on vision only, which are complex for image processing due to the use of only one sensor. This paper proposes a novel sensor fusion algorithm fusing the data from the camera and the fiber-optic gyroscope. In this system, the camera acquires images and detects the object directly at the beginning of each tracking stage; while the relative motion between the camera and the object measured by the fiber-optic gyroscope can track the object coordinate so that it can improve the effectiveness of visual tracking. Therefore, the sensor fusion algorithm presented based on the tracking system can overcome the drawbacks of the two sensors and take advantage of the sensor fusion to track the object accurately. In addition, the computational complexity of our proposed algorithm is obviously lower compared with the existing approaches(86% reducing for a 0.5 min visual tracking). Experiment results show that this visual tracking system reduces the tracking error by 6.15% comparing with the conventional vision-only tracking scheme(edge detection), and our proposed sensor fusion algorithm can achieve a long-term tracking with the help of bias drift suppression calibration.     

多传感器融合改进的机器人定位决策

在复杂的不确定环境里,采用单一传感器对机器人进行定位时精度较低,并且易受干扰,可靠性较差。针对这一问题在粒子滤波器移动机器人SLAM算法的基础上,利用多传感器融合对算法进行改进,将观测信息进行特征级融合,充分利用各种传感器采集的冗余信息,并将融合后的观测信息分别用来估计机器人路径和环境特征的后验概率分布。仿真试验表明,改进后的算法在SLAM定位精度及可靠性上都有较大的提高,证明了该种方法的可行性。     

基于激光雷达与双目视觉的移动机器人SLAM研究

为解决移动机器人在环境未知条件下,利用单一传感器自主导航时不能及时定位、构建地图不精确的问题,提出采用一种改进RBPF算法,在计算提议分布时将移动机器人的观测数据(视觉信息与激光雷达信息)和里程计信息融合;针对一般视觉图像特征点提取算法较慢的问题,采用基于ORB算法对视觉图像进行处理以加快视觉图像处理速度的方法;最后通过在安装有开源机器人操作系统(ROS)的履带式移动机器人进行实验,验证了采用该方法可构建可靠性更高、更精确的2D栅格图,提高了移动机器人SLAM的鲁棒性.     

Improved visual SLAM: a novel approach to mapping and localization using visual landmarks in consecutive frames

Pathfinding is becoming more and more common in autonomous vehicle navigation, robot localization, and other computer vision applications. In this paper, a novel approach to mapping and localization is presented that extracts visual landmarks from a robot dataset acquired by a Kinect sensor. The visual landmarks are detected and recognized using the improved scale-invariant feature transform (I-SIFT) method. The methodology is based on detecting stable and invariant landmarks in consecutive (red-green-blue depth) RGB-D frames of the robot dataset. These landmarks are then used to determine the robot path, and a map is constructed by using the visual landmarks. A number of experiments were performed on various datasets in an indoor environment. The proposed method performs efficient landmark detection in various environments, which includes changes in rotation and illumination. The experimental results show that the proposed method can solve the simultaneous localization and mapping (SLAM) problem using stable visual landmarks, but with less computation time.     

Integration of real-time planning and control in an unstructured manufacturing workcell

In this paper, we consider the problem of real-time planning and control of a robot manipulator in an unstructured workspace. The task we consider is to control the manipulator, such that the end-effector follows a path on an unknown surface, with the aid of a single camera assumed to be uncalibrated with respect to the robot coordinates. To accomplish a task of this kind, we propose a new control strategy based on multisensor fusion. We assume that three different sensors, i.e. encoders mounted at each joint of the robot with 6 d.o.f., a force-torque sensor mounted at the wrist of the manipulator and a visual sensor with a single camera fixed to the ceiling of the workcell, are available. Also, we assume that the contact point between the tool grasped by the end-effector and the surface is frictionless. To describe the proposed algorithm that we have implemented, first of all we decouple the vector space of control variables into two subspaces, and use one of the subspaces for controlling the magnitude of the contact force on the surface and the other subspace for controlling the constrained motion on the surface. In this way the control synthesis problem is decoupled and we are able to develop a new scheme that utilizes sensor fusion to handle uncalibrated parameters in the workcell and wherein the surface on which the task is to be performed is assumed to be visible, but has an apriori unknown position.     

基于D-S证据理论的传感器网络数据融合算法

在传感器网络中，多个传感器对于同一目标的识别结果经常会发生冲突，本文采用基于Dempster—Sharer证据推理理论的数据融合方法来解决这一问题。然而，采用D—S证据组合公式计算融合结果，计算量过于巨大，对处理能力有限的感知结点来说负担过重，此外，计算所造成的延时也将严重影响系统的实时性和同步性．本文提出了一个基于矩阵分析的快速融合算法，该算法采用了D—S证据理论的思想，计算得到的融合结果与D—S证据组合公式计算得到的融合结果相同．本文用数学归纳法证明了这一结论，经过模拟实验验证，和直接采用D—S证据组合公式相比，该算法的计算量和所需的计算时间明显减少．     

基于软传感器的信息融合

为了利用”凝视视觉几何约束”的信息来确定移动机器人的位置和方位角,就需要解决数据融合的问题。”几何约束”不是来自真实传感器的直接可测量的数据,这种特殊形式的信息不能被直接融合。为此目的,该文提出了一种融合特殊形式信息的新途径,也即利用”软传感器”的方法来融合来自”几何约束”的信息。软传感器的输出与其它真实传感器的输出一起经过扩展信息滤波器最终实现融合。文中最后提供了利用该方法进行移动机器人定位的计算机仿真例子。仿真结果表明了软传感器信息融合方法的可行性和有效性。软传感器可以广泛应用在很多类似的信息融合问题中。     

基于多传感器数据融合的智能机器人设计

提出一种基于多传感器数据融合技术的智能机器人系统设计，介绍了系统所选用的激光、超声、红外、光敏等传感器的类型．阐述了系统的硬件结构与软件设计及D—S数据融合算法。     

基于扩展Kalman滤波的空基多平台多传感器数据配准和目标跟踪算法

本文研究基于扩展Kalman滤波和多个空中移动平台的多传感器数据配准与目标跟踪问题.文中首先给出了空中移动平台传感器数据配准几何坐标转换算法;接着将目标运动模型和传感器配准误差模型组合在同一个状态方程中,然后利用扩展Kalman滤波方程进行估计.Monte-Carlo仿真表明,该方法能同时有效地估计目标运动状态和传感器配准误差.