Survey of Model-Based Reinforcement Learning: Applications on Robotics

Reinforcement learning is an appealing approach for allowing robots to learn new tasks. Relevant literature reveals a plethora of methods, but at the same time makes clear the lack of implementations for dealing with real life challenges. Current expectations raise the demand for adaptable robots. We argue that, by employing model-based reinforcement learning, the—now limited—adaptability characteristics of robotic systems can be expanded. Also, model-based reinforcement learning exhibits advantages that makes it more applicable to real life use-cases compared to model-free methods. Thus, in this survey, model-based methods that have been applied in robotics are covered. We categorize them based on the derivation of an optimal policy, the definition of the returns function, the type of the transition model and the learned task. Finally, we discuss the applicability of model-based reinforcement learning approaches in new applications, taking into consideration the state of the art in both algorithms and hardware.     

群机器人研究综述

从计算机科学的角度对群机器人进行综述,概括其历史背景和目前的研究工作,回顾和展望其应用领域.群机器人是受社会性昆虫群体行为启发产生的新方法,通过建立经济、鲁棒、柔性和规模可伸缩的多机器人系统,协调控制相对简单的个体机器人合作完成规定的复杂任务.围绕群机器人的定义、与其他多机器人系统的区分准则及系统级功能特征,讨论群机器人研究中的主要问题:个体交互、通信、协作控制和自组织、自组装等,明确其研究概貌.     

Reverse Optical Flow for Self-Supervised Adaptive Autonomous Robot Navigation

Autonomous mobile robot navigation, either off-road or on ill-structured roads, presents unique challenges for machine perception. A successful terrain or roadway classifier must be able to learn in a self-supervised manner and adapt to inter- and intra-run changes in the local environment. This paper demonstrates the improvements achieved by augmenting an existing self-supervised image segmentation procedure with an additional supervisory input. Obstacles and roads may differ in appearance at distance because of illumination and texture frequency properties. Reverse optical flow is added as an input to the image segmentation technique to find examples of a region of interest at previous times in the past. This provides representations of this region at multiple scales and allows the robot to better determine where more examples of this class appear in the image.     

用于机器人轨迹跟踪的结构控制

实际机器人控制过程中,不确定参数及外部干扰几乎总是存在的,研究考虑了这些因素的机器人控制问题,在理论及应用中都有重要意义。本文考虑了存在外扰及不确定参数时,机器人的轨迹跟踪问题,利用变结构控制理论,结合机器人自身的结构特点,研制了两组控制规律,它一方面对外扰不敏感,另方面不要求精确的机器人参数,也勿需对参数辨识,因而运算简单,易于实现,理论分析及仿真试验都证明了所给控制能保证渐近轨迹跟踪。     

稀疏表示技术与应用综述

近年来稀疏表示技术在信号处理、图像处理、目标识别、盲源分离等领域都有着突出的贡献. 为了全面的了解和分析现有稀疏表示优化算法, 首先回顾了稀疏表示技术的历史进程, 简单描述了稀疏表示技术的原理, 然后将稀疏表示优化算法分为贪心算法和约束算法以及其他算法三大类, 具体分析了前两种类别算法的原理和特征, 介绍了两类算法的代...     

基于模型的机器人强化学习研究综述

基于模型的强化学习通过学习一个环境模型和基于此模型的策略优化或规划,实现机器人更接近于人类的学习和交互方式.文中简述机器人学习问题的定义,介绍机器人学习中基于模型的强化学习方法,包括主流的模型学习及模型利用的方法.主流的模型学习方法具体介绍前向动力学模型、逆向动力学模型和隐式模型.模型利用的方法具体介绍基于模型的规划、...     

群机器人通信研究综述

为了完成规定任务,群机器人中的个体机器人之间须进行协调合作,这有赖于机器人在有限感知和局部交互基础上的群体智能行为涌现,故对群机器人系统中的通信研究现状进行述评。首先对通信机制进行了划分,指出隐式通信的效率较显式通信为低,且作为人工系统的群机器人中更多采用显式通信机制。针对显式通信,通过对通信方式、网络拓扑结构、通信协议及通信语言等主要内容进行阐述,明确群机器人中通信研究的现状,并对该领域的研究方向进行了展望。     

视频存储技术发展综述

网络技术的不断发展,远程视频的应用研究成为计算机领域的一个研究热点,而视频存储技术的研究是这一领域内研究最早、发展较为成熟的一部分。文章主要综述和比较了20世纪90年代中期以来视频存储方面的关键技术,并对这些技术的优缺点及使用的局限性给出了评说。     

Visual Navigation for Mobile Robots: A Survey

Mobile robot vision-based navigation has been the source of countless research contributions, from the domains of both vision and control. Vision is becoming more and more common in applications such as localization, automatic map construction, autonomous navigation, path following, inspection, monitoring or risky situation detection. This survey presents those pieces of work, from the nineties until nowadays, which constitute a wide progress in visual navigation techniques for land, aerial and autonomous underwater vehicles. The paper deals with two major approaches: map-based navigation and mapless navigation. Map-based navigation has been in turn subdivided in metric map-based navigation and topological map-based navigation. Our outline to mapless navigation includes reactive techniques based on qualitative characteristics extraction, appearance-based localization, optical flow, features tracking, plane ground detection/tracking, etc... The recent concept of visual sonar has also been revised. This work is partially supported by DPI 2005-09001-C03-02 and FEDER funding.     

一套完整的基于视觉光流和激光扫描测距的室内无人机导航系统

提出了一套室内四旋翼无人机控制, 导航, 定位和地图构建的完整解决方案. 无人机机载系统包括三个主要传感器, 即惯性测量单元, 下视相机和激光扫描测距仪. 经过处理, 融合这些传感器的测量数据, 无人机能够可靠的估计自己的飞行速度和实时位置, 并且沿着室内的墙壁进行无碰撞飞行. 通过收集一个完整飞行实验的数据, 无人机的飞行路径和在室内的环境也可以被很好地估计出来. 这套系统中的自主导功能不需要任何远程传感信息或脱机计算能力. 这套室内导航方案的性能和可靠性已在实际的飞行实验中被验证.     

使用多尺度光流法进行探月飞行器自主视觉导航

针对探月飞行器在接近、下降、着陆阶段所要完成的精确导航任务,提出了一种基于多尺度光流法进行探月飞行器的自主视觉导航的方法.在探月飞行器的下落过程中,由于与探月飞行器固联CCD所拍摄的图像在相邻时刻之间的相对运动较大,因而传统的光流计算方法无法同时满足精度和鲁棒性的要求.本文引入了一种在图像小波金字塔的基础上多尺度光流法,在图像间相对运动较大的情况下实现了对特征点的跟踪.最后,利用鲁棒最小二乘方法,估计出探测器在下落过程中不同时刻之间的相对刚体运动参数.仿真结果表明该方法快速、有效的完成探月飞行器的自主视觉导航任务.     

网络测量及流量采集技术综述

对网络测量进行了定义,描述了网络测量的功能以及网络测量的方法,介绍了RFC中定义的网络性能度量值的概念,最后对网络流量测量中经常用到的流量采集技术进行了分析和比较.     

OpenFlow交换机流表溢出缓解技术研究综述

软件定义网络的转发控制分离、集中控制、开放接口等特性使网络变得灵活可控,其架构得到了充分的发展.由于与各种云化业务的良好结合,软件定义网络(software defined networking, SDN)在近些年来得到了大量的商业部署.在基于OpenFlow的SDN架构中,为了实现流表项的快速查找、掩码匹配等目标,商业部署的硬件交换机大多使用三态内容寻址存储器(ternary content addressable memory, TCAM)来存储控制器下发的流表项.但受限于TCAM的容量和价格,目前商用OpenFlow交换机至多能支持存储数万条流表项,导致其存在因突发流和流表攻击等原因而产生流表溢出问题,严重影响了网络性能.因此,如何建立高效的流表溢出缓解机制引起了研究人员的广泛关注.首先对OpenFlow交换机流表溢出问题产生的原因及其影响进行了分析,在此基础上按照流量突发和攻击行为2种情况归纳对比了流表溢出缓解技术的研究现状,总结分析了现有研究存在的问题与不足,并展望了未来的发展方向和面临的挑战.     

一种基于SVD协方差加权技术的光流估计算法

本文以经典的L-K光流方程为出发点,提出了一种高效的基于SVD协方差加权的光流估计算法,并成功应用到柔性目标点跟踪中,有效地解决了传统L-K算法的孔径问题、深度不连续点的估计和长序列视频的漂移问题。基于标准测试序列的试验结果,证明该算法能有效地跟踪较长视频序列中具有2D和lD甚至基本没有纹理的具有退化结构的柔性目标点,同时结果还可以作为半稠密的点对应来解决SFM问题中的一个关键难题correspondence。     

基于非刚体运动光流算法的面部表情识别

本文讨论了基于光流法的面部表情识别。由于面部表情运动是一非刚体运动,容易产生形变,因此标准光流法估计不准确。为此,本文通过引入div-curl样条函数作为扩展光流约束方程的附加约束条件,推导了非刚体光流算法,并给出了一阶和二阶div-curl样条约束下光流的数值解。最后将该算法用于面部表情特征提取,构建了HMM与BP神经网络混合分类器。实验结果表明面部表情识别率得到显著提高。     

视频传输技术在遥操作机器人中的应用

本文介绍了视频传输技术在基于网络的操作机器人中的应用，讨论了Winsock网络通信、视频压缩、视频传输及其控制技术。实验表明：本文所提出的方法能有效解决遥操作机器人系统对视频监控的要求。     

A Survey of Visual Analytics Techniques and Applications: State-of-the-Art Research and Future Challenges

Visual analytics employs interactive visualizations to integrate users’ knowledge and inference capability into numerical/algorithmic data analysis processes.It is an active research field that has applications in many sectors, such as security, finance, and business.The growing popularity of visual analytics in recent years creates the need for a broad survey that reviews and assesses the recent developments in the field.This report reviews and classifies recent work into a set of application categories including space and time, multivariate, text, graph and network, and other applications.More importantly, this report presents analytics space, inspired by design space, which relates each application category to the key steps in visual analytics, including visual mapping, model-based analysis, and user interactions.We explore and discuss the analytics space to add the current understanding and better understand research trends in the field.     

基于光流的运动分析理论及应用

运动目标的检测是计算机视觉领域中最活跃的研究主题之一,运动目标的正确检测与分割影响着运动目标能否正确跟踪和分类;光流法是运动图像分析的重要方法,它能够检测出独立运动的对象,不需要预先知道场景的任何信息,并且可用于摄像机运动的情况;文中首先引入光流的基本概念,然后介绍基于光流方程的两种常用的图像分析方法--梯度法、块匹配法;接着结合光流法在红外图像序列的运动目标检测、活动轮廓模型以及医学图像处理方面的应用,对这两种光流法的优缺点进行分析;最后对光流法在未来其他领域如电子制造业和芯片检测行业的应用提出展望.     

大屏幕拼接可视化技术的研究进展

随着全样本大数据分析时代的到来,传统的显示技术已很难满足人们对信息的多通道、高清展示需求.而大屏幕拼接可视化技术正是为解决这一问题而发展起来的,它具有超大画面、纯真彩色、高亮度、高分辨率等显示优势,可应用于指挥监控、视景仿真及三维交互等领域.文中对目前大屏幕拼接可视化技术的研究进展进行了详细地介绍和分析,从硬件环境、软件平台、交互式可视分析和数据同步技术4个方面对现有各类技术的优缺点进行了总结比较,并指出了该领域需进一步探索研究的方向.