智能空间下面向动作序列生成的服务机器人指令解析方法

服务机器人在执行家庭任务时存在任务分析困难、环境适应性差、人机交互不友好等问题。为了更加准确地理解用户意图,规划符合当前环境的服务步骤,研究了智能空间下面向序列生成的服务机器人指令智能解析方法,以加强机器人对于家庭环境下服务任务的认知能力。首先,从指令关键词入手,提出了一个基于门控机制的意图识别模型,加强了机器人对用户指令的认知能力。然后,提出了一种以服务策略作为中间状态的序列文本生成机制,用于辅助生成机器人的动作序列。同时,结合机器人与环境的多模态感知,集成了一种基于智能空间本体交互的策略修正机制,以生成最符合当前环境的服务策略。最后,融合了基于领域与问题描述的任务规划模块,为机器人生成可执行的动作序列,从而提升服务任务的执行质量。实验结果表明,本文方法在保证交互友好的同时,能够准确理解复杂的用户指令,并最终生成机器人能执行的可靠动作序列。     

虚实融合场景中的深度感知研究综述

混合现实系统可以提供虚拟信息和真实环境实时叠加的虚实融合场景,在教育培训、文物保护、军事仿真、装备制造、手术医疗和展览展示等领域具有十分广阔的应用前景。混合现实系统首先利用标定数据构建虚拟摄像机模型,然后根据头部跟踪结果和虚拟摄像机位置实时绘制虚拟内容并将其叠加在真实环境中,用户通过虚实融合场景中渲染的图形化线索和虚拟物体特征感知其深度信息,但存在用于指导虚实融合场景绘制的视觉规律和感知理论匮乏、图形化线索可提供的绝对深度信息缺失和虚拟物体的渲染维度和特征指标不足等问题。本文分析了面向虚实融合场景绘制渲染的视觉规律,从用户感知的角度出发,围绕虚实融合场景中图形化线索绘制和虚拟物体渲染等展开综述,并对虚实融合场景中深度感知的研究趋势和重点进行展望和预测。     

康复辅助机器人及其物理人机交互方法

面对中国社会快速老龄化现状和庞大的残疾人群,康复辅助机器人研究具有重要学术价值和广阔的应用前景.康复辅助机器人研究涉及神经科学、生物力学、机器人自动控制等领域知识,是机器人最具挑战性和最受关注的研究领域之一.与其他机器人不同,康复辅助机器人的作用对象是人,存在人与机器人的信息交流和能量交换,物理人机交互控制方法是其研究核心和关键技术.本文以神经康复机器人、穿戴式外骨骼、智能假肢等应用为例,介绍当前的研究现状,并重点介绍人体运动意图识别方法和交互控制方法等研究重点和难点.最后展望该领域的未来技术发展方向.     

面向听视觉信息的多模态人格识别研究进展

人格识别分析是人格计算研究中一个重要的研究内容,在人类行为分析、人工智能、人机交互、个性化推荐等方面具有重要的应用价值,是近年来心理学、认知学、计算机科学等领域中的一个多学科交叉的热点研究课题。本文介绍了与人格识别相关的各种人格类型表示理论和人格识别数据库,阐述了面向听视觉信息的各种听视觉人格特征提取技术,如手工特征和深度特征,并在此基础上对面向听视觉信息人格识别的多模态融合方法做了详细的分类和归纳,最后概括了面向听视觉信息的多模态人格识别发展趋势,并进行了展望。     

智能用户界面的发展及趋势

智能用户界面是致力于改善人机交互的高效率、有效性和自然性的人机界面。它通过表达、推理，并按照用户模型、领域模型、任务模型、谈话模型和媒体模型来实现人机交互。本文首先介绍了人机交互的基本内容，然后从用户和用户需求的多样化以及技术的变化为线索介绍了智能用户界面的发展，给出了智能用户界面的体系结构，总结了当前智能用户界面的主要研究课题。最后，简要介绍了智能用户界面当前的研究热点。未来的用户界面不仅能够通过认知因素来了解用户，也能够从非认知因素方面感知和理解用户。随着新的交互方式的出现和技术的更进一步发展，人们将很难区分当前进行的交互是人-机交互，还是人-人交互。     

仿人服务机器人发展与研究现状

对国内外主要仿人服务机器人研究进展进行回顾,就目前其领域内涉及的本体结构与系统、驱动与控制技术、信息感知与交互等问题的研究现状进行综述,指出仿人服务机器人研究中需进一步解决的问题,并展望其发展趋势.     

CAUXT:帮助研究人员在感兴趣的情境中采集用户体验数据

随着移动互联技术的快速发展和普及,产品的使用越来越无处不在,这也要求用户体验研究必须与情境紧密关联。但对于用户体验研究,现有的技术手段在识别和感知研究人员感兴趣的情境上还存在一定的困难,较难根据感兴趣的情境获取用户体验数据。其原因在于:现有系统工具的情境感知与用户体验研究人员的情境感知存在较大差异。目前,用户体验领域缺乏解决此类问题的研究,现有相关领域的此类研究也都是倾向于从算法和计算效率的角度来提升系统的数据采集能力,未从用户体验研究人员的情境感知机理角度来解决问题。文中创新性地通过借鉴认知科学和人机交互领域关于人认知的相关理论来构建用户体验研究人员的情境感知模型,并在此基础上利用情境感知计算技术构建具有情境感知能力的用户体验数据采集系统。通过初步的案例研究表明,此系统能够在一定程度上获取用户体验研究人员感兴趣的情境,并根据这些感兴趣的情境获取用户体验数据。     

机器人人机共融技术研究与进展

伴随人工智能、大数据等新兴技术的发展,新一代人机交互更加强调人机共融,关注新一代人机共融技术发展,对中国机器人产业未来发展具有重要意义.本文基于人机共融的研究内涵,从机器人与人共融、与环境共融、与机器人共融三个方面对机器人人机共融研究与应用现状进行总结归纳,并从感知、安全、结构、交互四个方面探究机器人人机共融技术发展动...     

主动联想型对话机器人的设计与实现

人机对话系统通常仅是用户命令的执行者,很少能主动发起对话,或依据对话以外的内容展开个性化的人机交互.本文提出了联想型对话机器人的概念和对应设计方案,即通过融合用户提问和用户个人特征的方式产生对话内容,这样的对话系统不仅可以主动发出对话邀请,也可以个性化地回答用户问题,提升人机对话的满意度.文章首先介绍了联想型对话机器人...     

基于普适计算研究及其应用

普适计算是一种能普遍获取的适应性电脑计算模式。其研究范围包括包括分布式计算、移动计算、人机交互、人工智能、嵌入式系统、感知网络、信息融合等。本文首先介绍了普适计算的时代背景、基本思想及特征，然后描述了普适计算的基础和国内外的研究现状，最后举例说明普适计算的应用及其未来发展方向。     

多模态人机交互综述

多模态人机交互旨在利用语音、图像、文本、眼动和触觉等多模态信息进行人与计算机之间的信息交换。在生理心理评估、办公教育、军事仿真和医疗康复等领域具有十分广阔的应用前景。本文系统地综述了多模态人机交互的发展现状和新兴方向,深入梳理了大数据可视化交互、基于声场感知的交互、混合现实实物交互、可穿戴交互和人机对话交互的研究进展以及国内外研究进展比较。本文认为拓展新的交互方式、设计高效的各模态交互组合、构建小型化交互设备、跨设备分布式交互、提升开放环境下交互算法的鲁棒性等是多模态人机交互的未来研究趋势。     

基于云平台的智能语音交互机器人设计

现有的语音交互机器人多采用用户提问、机器人回答的单向交流方式,人机交互的智能性和灵活性较差。本文研究运用树莓派(Raspberry Pi)计算机和配套的语音板作为硬件载体,融合语音唤醒、语音识别、语音合成、自然语言处理等人工智能技术,调用科大讯飞开放云平台、在线图灵机器人,搭建一种基于云平台的智能语音交互机器人系统,并结合自主开发的本地知识库和问题库,使智能语音交互机器人能够根据不同环境与任务需求实现双向互动交流,实现由机器人采集信息和交流反馈,以提供高适应性的无接触人机语音交互服务。     

Enabling Multimodal Human–Robot Interaction for the Karlsruhe Humanoid Robot

In this paper, we present our work in building technologies for natural multimodal human-robot interaction. We present our systems for spontaneous speech recognition, multimodal dialogue processing, and visual perception of a user, which includes localization, tracking, and identification of the user, recognition of pointing gestures, as well as the recognition of a person's head orientation. Each of the components is described in the paper and experimental results are presented. We also present several experiments on multimodal human-robot interaction, such as interaction using speech and gestures, the automatic determination of the addressee during human-human-robot interaction, as well on interactive learning of dialogue strategies. The work and the components presented here constitute the core building blocks for audiovisual perception of humans and multimodal human-robot interaction used for the humanoid robot developed within the German research project (Sonderforschungsbereich) on humanoid cooperative robots.     

Towards human-like and transhuman perception in AI 2.0: a review

Perception is the interaction interface between an intelligent system and the real world. Without sophisticated and flexible perceptual capabilities, it is impossible to create advanced artificial intelligence (AI) systems. For the next-generation AI, called ‘AI 2.0’, one of the most significant features will be that AI is empowered with intelligent perceptual capabilities, which can simulate human brain’s mechanisms and are likely to surpass human brain in terms of performance. In this paper, we briefly review the state-of-the-art advances across different areas of perception, including visual perception, auditory perception, speech perception, and perceptual information processing and learning engines. On this basis, we envision several R&D trends in intelligent perception for the forthcoming era of AI 2.0, including: (1) human-like and transhuman active vision; (2) auditory perception and computation in an actual auditory setting; (3) speech perception and computation in a natural interaction setting; (4) autonomous learning of perceptual information; (5) large-scale perceptual information processing and learning platforms; and (6) urban omnidirectional intelligent perception and reasoning engines. We believe these research directions should be highlighted in the future plans for AI 2.0.     

对话意图及语音识别错误对交互体验的影响

在自然人机对话中,由于环境噪声、方言口音等因素带来的语音识别错误以及语义分析的不充分等原因,计算机在理解用户交互意图时出现偏差,使得计算机对要反馈的话题出现错误,造成人机对话进程的断裂.以面向咖啡为主题的漫谈式人机对话为例,将对话中断分为3种情况：话题反馈不当引起中断、话题正确情况下的模糊反馈不当和精确反馈不当引起中断.根据用户与计算机对话的记录分析比较上述3种情况下人机对话进程断裂情况.统计数据结果表明,话题反馈不当带来的对话中断最为明显,在对话进程断裂情况中达到了60.1%的比例;在话题反馈正确情况下,模糊回答不当和精确回答不当带来的话题中断比例分别为22.2%和21.6%;在语音识别错误情况下,语义分析会带来数量更大的反馈错误.实验数据分析结果表明,在语音识别错误情况下,根据上下文信息提高计算机对用户话题反馈的准确率,能够有效降低人机对话的中断,提高人机对话的自然度.该工作为自然人机对话的意图分类重要性提供了数据分析和实验论证.     

Issues in software ergonomics: user interface design and Chinese computing input methodology

This paper provides an overview of two ongoing research projects at the Institute of Systems Science (ISS). In the intelligent user interface project, the use of artificial intelligence in enhancing human-computer interaction is discussed. In the Chinese computing input methodology project, an input methodology derived from studies in cognitive psychology is discussed.     

情感计算与理解研究发展概述

情感在感知、决策、逻辑推理和社交等一系列智能活动中起到核心作用,是实现人机交互和机器智能的重要元素。近年来,随着多媒体数据爆发式增长及人工智能的快速发展,情感计算与理解引发了广泛关注。情感计算与理解旨在赋予计算机系统识别、理解、表达和适应人的情感的能力来建立和谐人机环境,并使计算机具有更高、更全面的智能。根据输入信号的不同,情感计算与理解包含不同的研究方向。本文全面回顾了多模态情感识别、孤独症情感识别、情感图像内容分析以及面部表情识别等不同情感计算与理解方向在过去几十年的研究进展并对未来的发展趋势进行展望。对于每个研究方向,首先介绍了研究背景、问题定义和研究意义;其次从不同角度分别介绍了国际和国内研究现状,包括情感数据标注、特征提取、学习算法、部分代表性方法的性能比较和分析以及代表性研究团队等;然后对国内外研究进行了系统比较,分析了国内研究的优势和不足;最后讨论了目前研究存在的问题及未来的发展趋势与展望,例如考虑个体情感表达差异问题和用户隐私问题等。     

基于Kaldi的语音识别

人工智能技术是当前计算机科学的研究热点,人机通信是人工智能技术的重要组成之一。作为人机通信主要方法之一的语音交互也一直是科学家的研究热点,语音交互技术的关键是语音识别。而目前大多语音识别软件要么功能单一,要么价格昂贵,Kaldi作为新兴的开源语音识别工具,凭借其强大的功能和简单的获取渠道逐渐流行。该文介绍了语音识别技术的发展历程,Kadli软件的基本架构和其所具有的独特优势,语音识别的一般处理流程,多层神经网络的基本结构以及多层神经网络在语音识别当中的应用。对基于Kaldi软件当中的HMM-DNN模型,使用中文数据集训练该模型,搭建一个完整的语音识别系统。通过该系统,不仅能展现出Kaldi软件丰富强大的功能,同时也为语音识别研究人员选择合适的工具提供了新的思路。     

Tolerant Information Retrieval with Backpropagation Networks

Neural networks can learn from human decisions and preferences. Especially in human-computer interaction, adaptation to the behaviour and expectations of the user is necessary. In information retrieval, an important area within human-computer interaction, expectations are difficult to meet. The inherently vague nature of information retrieval has led to the application of vague processing techniques. Neural networks seem to have great potential to model the cognitive processes involved more appropriately. Current models based on neural networks and their implications for human-computer interaction are analysed. COSIMIR (Cognitive Similarity Learning in Information Retrieval), an innovative model integrating human knowledge into the core of the retrieval process, is presented. It applies backpropagation to information retrieval, integrating human-centred and soft and tolerant computing into the core of the retrieval process. A further backpropagation model, the transformation network for heterogeneous data sources, is discussed. Empirical evaluations have provided promising results.