自然语言训练的机器人基本行为控制器

本文探索了一种直接利用自然语言进行机器人运动技能训练的控制方法， 提出了利用模糊神经网络结构作为基本行为控制单元，通过教师的自然语言指令完成针对某 一特定行为的运动经验获取和控制器训练，这是一种更加自然的控制器构造方式，以基本运 动单元为基础，可以进一步实现机器人复杂任务的语言编程与控制．所提控制方法最终在一 个轮式移动机器人系统上进行了语言训练实验．     

基于非受限路径自然语言处理中的机器人导航

为了实现使用自然语言控制机器人完成自主导航任务,提出一种基于语义角色标注（SRL）的语义提取方法,用于提高机器人对路径自然语言理解的准确率。首先,收集了一个非受限的路径自然语言语料库,在深入研究路径自然语言语料库的基础上,提出了8个语块对语料进行语块分析,完成语义角色标注;然后,对语料进行依存句法分析,完成语义角色标注;接着,结合语块分析和依存句法分析,提出了一种基于语块分析和依存句法分析的语义角色标注方法,实验结果得到的准确率、召回率、F₁-值分别达到了98.22%、98.48%和98.35%;最后,基于语义提取结果在机器人Nao平台上完成了机器人问路导航任务。     

基于自然语言的分拣机器人解析器技术研究

工业机器人通常采用特定的机器人语言进行示教编程与控制,对于操作人员需要具有较高专业与技能要求,并且示教周期长导致工作效率降低。为了提高工业机器人使用效率与易用性,提出一种基于受限自然语言解析器的设计方法。该系统通过对受限自然语言进行词法解析、语法解析、语义解析,得到所需求的工作意图,然后与实时生成的三维空间语义地图进行匹配,结合机械臂轨迹规划,生成能够完成工作任务的机器人作业程序,并完成了机器人作业程序的解析与实际机械臂的控制。通过实验证明设计的基于受限自然语言处理的分拣机器人解析器能够正确解析自然语言命令,实现对机械臂的控制。     

基于支持向量规则的运动控制器自然语言构造方法

本文介绍了一种基于支持向量规则的运动控制器自然语言构造方法，提出利用 支持向量机理论，对通过自然语言构造的模糊控制规则进行支持向量规则抽取，从而获得一 个在指定控制精度下的支持向量规则运动控制器．这种方法可以在给定任务精度下抽取真正 有效的控制规则完成控制任务，使控制规则数及控制器形式得到简化，为未来将基于语言构 造的控制器推向实用奠定了基础．所提控制方法在一个轮式移动机器人系统上进行了语言训 练实验．     

基于市场法及能力分类的多机器人任务分配方法

针对多机器人系统研究中如何有效地实现复杂任务的分布式动态分配这个基础性问题，提出了一种对这类问题进行形式化描述的一般方法．该方法从能力分类的角度出发，提出了机器人及任务能力向量的概念，并对多机器人任务分配问题进行了形式化描述，讨论了单个及多个机器人合作完成任务的能力条件．基于这种形式化描述方法，提出了一种采用市场机制的完全分布式的多机器人任务分配方法．仿真实验结果表明该方法能够有效地实现多机器人复杂任务的动态分布式分配．     

大规模多移动机器人合作任务的分布自主协作系统

以大规模多移动机器人觅食任务为背景，探讨了在分布式协作体系结构下系统任务级的协作与行为级的协调问题．提出了一种动态任务分配机制，在缩短任务完成时间的基础上减少了系统通信量并解决了任务死锁问题．同时，设计了一种基于预测的冲突消解方法，使机器人能够对动态障碍物进行精确避障．最后，通过仿真实验验证了上述方法的有效性．     

机器人自主感知模型在网络机器人中的应用

基于机器人自主感知模型(RAPM)构建了机器人系统，该系统可通过网络自主感知获得动态网络信息，实时建立路径，使机器人完成超出其视野范围的任务．机器人自主感知模型具有很强的扩展能力和合理的构架，突破了以往移动机器人仅使用自身传感器或使用网络固定传感器的局限，对提高基于Internet的机器人智能及其行为能力有重要意义．实验结果证明了机器人自主感知模型的可行性和有效性．     

基于耦合ADRC原理的机器人无标定手眼协调

研究机器人的无标定手眼协调问题．基于耦合的自抗扰控制器思想，通过对系统建 模的不确定性及其未知外扰进行非线性补偿，完成了相互耦合的不依赖于系统特定任务的无 标定手眼协调控制器的设计，实现了广泛意义的机器人无标定手眼协调，最后的仿真和实验 说明了该方法的可行性．     

面向多机器人遥操作的分布式预测图形仿真系统

在遥操作机器人系统中,由于存在通信传输时延,可能导致控制系统不稳定,从而降 低遥操作的效率和安全性．目前多采用预测仿真的方法来克服．在多机器人遥操作系统不但 要克服时延的影响,还要能控制机器人协调地完成遥操作任务．我们开发了一个面向多操作 者 多机器人遥操作的分布式预测图形仿真系统,实现了对多机器人遥操作系统的预测仿真 ,多个操作者可以通过人机交互接口遥控各自的机器人,相互协调完成遥操作的任务．初步 的实验表明该系统能够克服时延的影响,并能实现多操作者 多机器人的协调遥操作．这对 空间站机器人科学实验、多航行器对接等方面的研究有理论参考价值．     

基于Internet的遥操作机器人足球系统设计

针对目前基于Internet的遥操作机器人系统普遍完成任务简单，复杂度低，影响力有限的状况，本文将遥操作技术和Internet技术应用于具有高动态性、高协作性和高对抗性的机器人足球系统中，建立了基于Internet的遥操作机器人足球系统的体系结构，提供了该系统的软件设计方法，并针对网络通信设计了应用UDP协议进行连接和数据传输的方法．实际建立的基于Internet的3对3遥操作机器人足球系统验证了系统设计方法的可行性和有效性.通过实验验证了应用UDP协议进行连接和数据传输相对于应用TCP协议的优越性．     

基于混合深度学习的多模态场景指令分类方法

为提高家庭服务机器人指令中目标对象预测的准确率,提出一种基于混合深度学习的多模态自然语言理处理(Natural Language Processing, NLP)指令分类方法。该方法从语言特征、视觉特征和关系特征多模态入手,采用两种深度学习方法分别以多模态特征进行编码。对于语言指令,采用多层双向长短期记忆(Bi-LSTM)进行子词嵌入和编码;对于非语言场景,使用卷积神经网络进行编码。最终得到每个目标-源对可能性的区域范围。实验结果表明,该方法能够提高机器人接收指令任务中目标对象预测的准确率且性能优于现有其他方法。     

Robust comprehension of natural language instructions by a domestic service robot

We present a method through which domestic service robots can comprehend natural language instructions. For each action type, a variety of natural language expressions can be used, for example, the instruction, ‘Go to the kitchen’ can also be expressed as ‘Move to the kitchen.’ We are of the view that natural language instructions are intuitive and, therefore, constitute one of the most user-friendly robot instruction methods. In this paper, we propose a method that enables robots to comprehend instructions spoken by a human user in his/her natural language. The proposed method combines action-type classification, which is based on a support vector machine, and slot extraction, which is based on conditional random fields, both of which are required in order for a robot to execute an action. Further, by considering the co-occurrence relationship between the action type and the slots along with the speech recognition score, the proposed method can avoid degradation of the robot’s comprehension accuracy in noisy environments, where inaccurate speech recognition can be problematic. We conducted experiments using a Japanese instruction data-set collected using a questionnaire-based survey. Experimental results show that the robot’s comprehension accuracy is higher in a noisy environment using our method than when using a baseline method with only a 1-best speech recognition result.     

LINGO : Visually Debiasing Natural Language Instructions to Support Task Diversity

Cross-task generalization is a significant outcome that defines mastery in natural language understanding. Humans show a remarkable aptitude for this, and can solve many different types of tasks, given definitions in the form of textual instructions and a small set of examples. Recent work with pre-trained language models mimics this learning style: users can define and exemplify a task for the model to attempt as a series of natural language prompts or instructions. While prompting approaches have led to higher cross-task generalization compared to traditional supervised learning, analyzing ‘bias’ in the task instructions given to the model is a difficult problem, and has thus been relatively unexplored. For instance, are we truly modeling a task, or are we modeling a user's instructions? To help investigate this, we develop LINGO, a novel visual analytics interface that supports an effective, task-driven workflow to (1) help identify bias in natural language task instructions, (2) alter (or create) task instructions to reduce bias, and (3) evaluate pre-trained model performance on debiased task instructions. To robustly evaluate LINGO, we conduct a user study with both novice and expert instruction creators, over a dataset of 1,616 linguistic tasks and their natural language instructions, spanning 55 different languages. For both user groups, LINGO promotes the creation of more difficult tasks for pre-trained models, that contain higher linguistic diversity and lower instruction bias. We additionally discuss how the insights learned in developing and evaluating LINGO can aid in the design of future dashboards that aim to minimize the effort involved in prompt creation across multiple domains.     

一种面向室内智能机器人导航的路径自然语言处理方法

为了实现通过自然语言指导机器人导航的目的,提出了一种利用描述路径的自然语言直接绘出机器人运行路径的方法.为了提高机器人对路径自然语言的理解,采用了基于组块的分析方法.首先深入地研究了收集到的路径描述的自然语言语料库,总结出了语义和句法的对应关系.在此基础上,构造了层叠条件随机场,通过采用组块分析方法,先进行名词短语组块的提取,然后提取语义组块.为了解决名词短语的解析问题,引入了名词实体关系推理方法. 并且在提取出的语义组块的基础上逐个建立路径单元,组成完整的路径信息.最后,给出了自然语言处理各个环节的实验结果,并结合具体语句展示了从文字到机器人导航地图的映射过程,对开展人机交互式和谐导航具有重要意义.     

Interpreting and Extracting Open Knowledge for Human-Robot Interaction

A more natural way for non-expert users to express their tasks in an open-ended set is to use natural language. In this case, a human-centered intelligent agent/robot is required to be able to understand and generate plans for these naturally expressed tasks. For this purpose, it is a good way to enhance intelligent robot's abilities by utilizing open knowledge extracted from the web, instead of hand-coded knowledge. A key challenge of utilizing open knowledge lies in the semantic interpretation of the open knowledge organized in multiple modes, which can be unstructured or semi-structured, before one can use it. Previous approaches used a limited lexicon to employ combinatory categorial grammar (CCG) as the underlying formalism for semantic parsing over sentences. Here, we propose a more effective learning method to interpret semi-structured user instructions. Moreover, we present a new heuristic method to recover missing semantic information from the context of an instruction. Experiments showed that the proposed approach renders significant performance improvement compared to the baseline methods and the recovering method is promising.      

A voice-activated robot with artificial intelligence

In this paper, a voice activated robot arm with intelligence is presented. The robot arm is controlled with natural connected speech input. The language input allows a user to interact with the robot in terms which are familiar to most people. The advantages of speech activated robots are hands-free and fast data input operations. The proposed robot is capable of understanding the meaning of natural language commands. After interpreting the voice commands a series of control data for performing a tasks are generated. Finally the robot actually performs the task. Artificial Intelligence techniques are used to make the robot understand voice commands and act in the desired mode. It is also possible to control the robot using the keyboard input mode.     

Towards selective attention: generating image features by learning a visuo-motor map

Robots require a form of visual attention to perform a wide range of tasks effectively. Existing approaches specify in advance the image features and attention control scheme required for a given robot to perform a specific task. However, to cope with different tasks in a dynamic environment, a robot should be able to construct its own attentional mechanisms. This paper presents a method that a robot can use to generating image features by learning a visuo-motor map. The robot constructs the visuo-motor map from training data, and the map constrains both the generation of image features and the estimation of state vectors. The resulting image features and state vectors are highly task-oriented. The learned mechanism is attentional in the sense that it determines what information to select from the image to perform a task. We examine robot experiments using the proposed method for indoor navigation and scoring soccer goals.     

面向任务的基于深度学习的多轮对话系统与技术

自然语言是人类智慧的结晶,以自然语言的形式与计算机进行交互是人们长久以来的期待。随着自然语言处理技术的发展与深度学习方法的兴起,人机对话系统成为了新的研究热点。人机对话系统按照功能可以分为任务导向型对话系统、闲聊型对话系统、问答型对话系统。任务导向型对话系统是一种典型的人机对话系统,旨在帮助用户完成某些特定的任务,有着十分重要的学术意义和应用价值。文中系统地阐述了一种在实际工程应用中的任务导向型对话系统的通用框架,主要包括自然语言理解、对话管理以及自然语言生成3个部分;介绍了上述各部分所采用的经典深度学习和机器学习方法。最后,对自然语言理解任务进行了实证性的实验验证与分析,结果表明文中内容可以为任务导向型对话系统的构建提供有效指导。