具有面部表情识别与再现的机器人头部系统的研制

研制出具有对人类表情识别和表情再现机能的仿人机器人头部系统,该系统由仿人机器头部本体、图像采集设备、表情及面部器官控制系统、表情识别系统等部分组成;该系统从图像采集装置获得人类表情图像,然后采用SVMs和ASM结合的方法进行视频序列的人脸表情识别,设计了眼球、眼睑、下颚等面部器官和面部表情机构及驱动系统对机器人面部皮肤和头部器官进行运动控制,并根据识别结果,可实现七种不同特征的面部表情的再现。     

仿人头像机器人“H＆Frobot-Ⅲ”语音及口形系统研制与实验

为进一步研究仿人头部器官及面部表情的行为智能,以及机器人与人类交流问题,首次将口形及其与语音协调问题引入到表情机器人系统,并进行研究。在已研制成功的具有面部表情及视觉仿人头像机器人系统“H＆Frobot-Ⅱ”基础上,根据人面部运动肌肉解剖学及Ekman面部表情编码系统FACS,论述了口部动作驱动点设置、口形驱动机构及控制方法,设计、研制了语音及口形系统;最后给出了机器人“H＆Frobot-Ⅲ”的语音识别与口形协调实验结果,其口形与人讲同样话时口形能够很好地吻合,验证了语音与口形系统的可行性,从而为进一步研究机器人表情智能奠定了技术基础。     

仿人头像机器人"H&Frobot-Ⅲ"语音及口形系统研制与实验

为进一步研究仿人头部器官及面部表情的行为智能,以及机器人与人类交流问题,首次将口形及其与语音协调问题引入到表情机器人系统,并进行研究.在已研制成功的具有面部表情及视觉仿人头像机器人系统"H&Frobot-Ⅱ"基础上,根据人面部运动肌肉解剖学及Ekman面部表情编码系统FACS,论述了口部动作驱动点设置、口形驱动机构及控制方法,设计、研制了语音及口形系统;最后给出了机器人"H&Frobot-Ⅲ"的语音识别与口形协调实验结果,其口形与人讲同样话时口形能够很好地吻合,验证了语音与口形系统的可行性,从而为进一步研究机器人表情智能奠定了技术基础.     

仿人面部表情机器人的控制系统设计

介绍了基于AT89S52单片机的仿人面部表情机器人的运动控制系统硬、软件结构.通过对人类个性面部表情的分析,设计了面部机构的控制算法.通过实验完成了7路舵机的运动控制并实现了各个不同的面部表情.为进一步研究智能面部表情机器人提供了一定的基础.     

仿人机器人头颈协调系统的研制

研制出仿人机器人头颈协调系统,主要包括仿人机器人和控制系统。仿人机器人具有22个自由度,控制系统采用上下位机结构,并完成包含四种工作模式的人机软件界面。在ADAMS软件中,对眼球圆周转动以及眼颈协调运动进行运动学仿真。实验结果表明,在头颈协调系统中,机器人的面部器官能够逼真地再现8种基本表情,结合颈部运动,可以实现更多丰富多样的表情,比如愧疚、仰天大笑及傲慢等,头颈协调运动能够使得机器人实现对小球和人脸的可靠性检测和跟踪。     

基于机器人视觉的服务机器人表情识别研究

开发了一种基于机器人视觉的表情识别系统。系统首先基于人脸肤色及Gabor纹理特征精确定位人脸区域,其次用Gabor小波变换提取表情特征并设计基于支持向量机的表情分类器,最终实现对7种人脸基本表情的识别。实验表明,该方法在室内环境下能够实时地识别表情并具有较高的识别成功率。     

基于舵机驱动的一种仿人面部表情机器人的结构设计

仿人面部表情机器人研究难点之一是在有限空间内完成机械结构设计。文章选用舵机作为驱动,完成了一个结构精简、空间利用率高、成本低的仿人面部表情机器人的结构设计。该机器人外形尺寸接近真人,包含眉毛、眼睑、眼睛和下颌4个运动模块,由7个舵机驱动。整个设计在UG中三维建模并进行运动仿真,机器人能实现多个类人的基本表情。     

仿人面部表情机器人研究现状与展望

仿人面部表情技术在实现仿人机器人与人的情感交流上起着非常重要的作用.文中首先对美国汉森机器人技术公司和麻省理工学院、日本早稻田大学和东京理科大学,以及我国哈尔滨工业大学的表情机器人研究进行了分析比较.然后讨论了表情机器人研究在FACS理论、仿人头部机械设计和机器人情感等方面的关键技术.最后对表情机器人发展中亟待解决的问题及趋势做了展望.     

红外面部表情热像图的特征分析

表情识别是近年来关于生物识别研究的热点课题之一,在心理学研究和计算机人性化方面具有深远意义.传统的通过面部特征和五官的相对位置进行表情识别方法由于受到光线和被测物表面复杂度的影响,并未有大的研究突破.本文根据表情的变化与面部温度分布的变化的关系提出了基于红外测温的表情识别方法,用通过分析面部温度区域分布的变化来分析表情的变化情况,用功能性分析的方法解决了传统方法困扰多年的问题.本文以人面部的红外热像图为研究对象,采用数学形态学方法,通过提取与分析热像图特征区域的整体几何特征和局部几何特征,进行了表情识别的研究.提出了温度直方图和基于鼻尖温度最低法的概念.本文中主要实现的方法有数学形态学的膨胀、腐蚀、开运算和闭运算,以及利用数学形态学手段进行二值图像的边缘检测.同时实现了面积、周长、似圆度和夹角的自动计算,作为分析特征区域的整体和局部几何特征的参数向量.通过数据分析,发现随着表情变化,这些几何特征变化明显,并呈现一定的规律性,说明利用红外热像图研究表情识别是可行的.利用红外热像图进行表情识别,可以不受光线、肤色的影响,人脸区域和特征区域提取简单易行.本文主要利用了面部温度的分布变化进行了表情识别探索性研究,可以辅助心理学研究、高危病人检测和计算机人性化的发展等等.同时,根据温度分布变化同样可以进行人体生理功能的监测,辅助疾病的及时诊断和治疗.     

基于HyperWorks仿人机器人面部表情仿真

仿人机器人面部表情的实现是人机交互的重要组成部分,为了实现仿人机器人的面部表情,首先通过观察日本女性JAFFE的大量照片,分析面部表情的动作特征,在原有的7种基本表情模型的基础上,增加感兴趣这种表情,将人的基本表情分为8种。然后根据基本表情的面部动作特征,设计机器人面部表情特征点。在Solid Works中建立三维模型,借助于Hyper Works有限元软件对8种基本面部表情仿真分析,得出在弹性皮肤上驱动的载荷参数,为机器人样机表情的实现提供了一定的依据。     

6R型串联机器人控制系统的软件实现

基于Windows系统平台和VC6．0编程环境,结合ACR9000运动控制器实现了机器人模块化控制系统的设计。整个系统能够实现机器人示教、机器人运动指令生成、指令识别与运动再现以及运动状态监控等功能。此控制系统在自主研发的多功能6R型串联机器人平台上运行平稳。     

基于AAM的人脸痛苦表情分析与识别

现阶段的人脸表情识别多围绕着6种基本表情展开,在其基础上的对人脸痛苦表情的研究在医学、交通领域很有意义。本文借鉴基本面部表情识别方法,建立主动外观模型（AAM）提取面部表情特征,采用几何归一化方法对AAM搜索过程进行优化,缩短了搜索时间,提高了搜索的准确率。分类部分采用支持向量机（SVM）设计痛苦与平静、痛苦与高兴、痛苦与疲劳的表情分类器,并对因采用不同核函数造成的支持向量机分类结果进行了讨论与分析。实验结果表明,RBF核函数具有最好的分类效果。     

一种仿人机器人面部的结构设计

介绍一种仿人机器人面部的机械结构设计。对产生每种面部表情所需的运动形式和范围进行了分析 ,设计出了眉毛、眼睛、嘴和下颌 4个运动模块。机器人面部的运动是由 2 3个步进电机来驱动的 ,通过这些运动 ,机器人面部就能产生像人一样的表情。     

Vision guided dual arms robotic system with DSP and FPGA integrated system structure

Usually, a humanoid robot has two arms and stereo vision system to execute human daily actions. It has complicate mechanism and mechatronics control system structure. The hardware control structure should be planned ingeniously to execute the complicate computation of 3D image processing and manipulate a multi degree of freedom dual arms motion control, especially for mobile robot system. Here a 7 DOF dual arms robot with FPGA hardware control structure and a digital signal processor (DSP) based CMOS stereo vision system are designed and built in our lab. The intelligent fuzzy sliding mode control strategy is employed to establish the visual guided robotic motion control software. This low cost humanoid robotic system has compact control structure and mechanism integration for mobile application purpose. Object detecting and tracking schemes in 3D space were developed for locating the target position and then guided the robot arm to pick and place objects or track the specified moving target. Experimental results show that this delicate robotic system has basic humanoid function.     

A face robot actuated with artificial muscle based on dielectric elastomer

Face robots capable of expressing their emotional status, can be adopted as an efficient tool for friendly communication between the human and the machine In this paper, we present a face robot actuated with artificial muscle based on dielectric elastomer By exploiting the properties of dielectric elastomer, it is possible to actuate the covering skin, eyes as well as provide human-like expressivity without employing complicated mechanisms The robot is driven by seven actuator modules such eye, eyebrow, eyelid, brow, cheek, jaw and neck module corresponding to movements of facial muscles Although they are only part of the whole set of facial motions, our approach is sufficient to generate six fundamental facial expressions such as surprise, fear, angry, disgust, sadness, and happiness In the robot, each module communicates with the others via CAN communication protocol and according to the desired emotional expressions, the facial motions are generated by combining the motions of each actuator module A prototype of the robot has been developed and several experiments have been conducted to validate its feasibility     

基于表情辅助的假手脑控方法

针对传统纯意念运动想象脑控范式和稳态视觉诱发脑控范式存在范式训练难度高、设备集成复杂及高成本、不易随身携带等问题,借助表情辅助脑电信号适应性广、识别率高和易于便携化系统集成的优势,提出了基于表情辅助的假手脑控方法;研究构建了一种基于表情辅助的假手便携可穿戴脑控系统,包括硬件选型设计与系统组建,及表情辅助脑电信号分类识别算法和假手控制算法的设计研究与软件模块开发等,实现提眉、皱眉、左撇嘴和右撇嘴4种辅助表情脑电信号的检测识别,对应完成假手的手指张开、手指闭合、手腕内旋和手腕外旋4个动作的控制,并进行在线实验验证。结果表明：基于表情辅助的假手脑控方法不仅优于传统的稳态视觉诱发脑控范式（去掉了系统中原所必须的稳态视觉诱发器）,而且优于纯意念运动想象脑控范式,平均在线识别与控制准确率高于85%。     

基于Gabor小波的2D人脸表情的合成

人脸图像合成是新一代人机交互中的重要技术。传统的三维模型加生理模型的方法可以生成真实的人脸表情图像,但计算复杂度很高。文章提出一种基于Gabor小波的用于人脸逼真表情图像合成的新方法,利用Gabor小波变换滤波器提取人脸表情图像特征,生成逼真表情图像。从实验结果来看该方法可以仅利用1张训练集内、外的人脸图像合成出该人在不同表情下逼真的脸部表情图像,同时可以合成库内的人在新表情下的表情图像。     

Laboratory-level telesurgery with industrial robots and haptic devices communicating via the internet

With recent advances in data communications and robotic engineering, surgical robots have evolved into telerobotic surgical platforms that permit surgeons to operate on patients from remote locations using robotic instruments. Even so, telesurgical systems need to be improved by considering haptic sense or force feedback. In this study, a laboratory-level telesurgical system with force feedback was developed using industrial robots and commercial haptic systems operating over the Internet. Telesurgery via high-bandwidth UDP/IP communication was successfully conducted on objects mimicking human organs by the surgical robot system commanded by a surgeon 40 km away. During the test experiment, the surgeon could feel the interaction between the instruments and the tissues. The time delay was less than 45 ms with very little discrepancy between the command of the haptic device and the movement of the robot. This technology is useful for developing a clinically applicable telesurgical robot system that could be used in various emergency situations.