基于自动获取彩色目标的手臂运动轨迹跟踪

将计算机视觉应用于对示教者动作的分析,控制机器人完成动作轨迹的复现,成为机器人智能化的一个研究方向。针对机器人模仿示教者动作的视觉需求,提出一种基于自动获取彩色目标的目标跟踪算法。该算法在L*a*b空间采用k均值聚类算法对彩色图像分类;在HSV空间基于H分量采用直方图门限法识别彩色目标,最后采用camshift算法实现在图像序列中对目标轨迹的跟踪。通过对人体手臂关节点运动轨迹跟踪的实验表明,该算法能自动准确地识别多个彩色目标,并自动生成手臂关节运动轨迹,是机械臂模仿示教者动作的关键技术之一。     

基于实时视频感知的虚拟体育交互系统

针对疫情常态化背景下,传统体育项目受场地、器材等限制,市场上相关产品价格昂贵、可扩展性不足等问题,提出了一种基于实时视频感知的虚拟体育交互系统.该系统设计视频数据采集模块和人体关节点提取模块,结合OpenPose获取人体的关节点坐标,实时捕捉人体手势以及肢体动作.动作语义理解模块包括运动动作理解和绘图动作理解.前者根据运动中肢体关节点的相对位置关系,识别运动动作语义.后者将手腕部关节点绘图动作轨迹生成为草图图像,使用AlexNet进行识别分类,解析为对应的绘制动作语义.该模型在边缘端设备的分类准确率为98.83%.采用基于Unity设计的草图游戏应用作为可视化交互界面,实现在虚拟场景中的运动交互.该系统使用实时视频感知交互方式实现居家运动健身,无需其他的外部设备,具有更强的参与度和趣味性.     

Kinect与Darwin机器人的联合调试与仿真平台的设计与实现

机器人模仿学习是机器人技术的重要研究方向之一。针对机器人动作模仿学习,设计了Kinect和Darwin-OP2机器人的联合调试与仿真平台。该平台主要包括图像采集模块、运动控制模块和3D模型仿真模块,具有人体姿态解算、机器人实时状态监控及姿态仿真、与下位机网络通信及远程实时跟踪控制等功能。测试结果显示,该平台响应迅速、网络通信机制稳定、交互界面友好,能较好地实现机器人动作模仿学习。     

基于Kinect跑步机系统

研发了一种基于Kinect的跑步机系统,并提出了跑步系列动作识别算法. 该系统基于Unity游戏引擎、3DSMax、Maya、Photoshop建模和平面设计软件开发,运用微软Kinect体感设备和个人电脑获取人体跑步时各种动作的骨骼点数据,结合运动特征分析研发了基于骨骼绑定的跑步、挥手、跳跃、蹲下各种动作的识别算法,通过对人体动作的识别从而实现人机交互的跑步健身游戏娱乐运动. 实验数据表明基于骨骼绑定的动作识别算法的有效性,该跑步机系统硬件设备体积小,它通过人的肢体动作而不是鼠标键盘来操作跑步机软件,同时结合了跑步健身和游戏娱乐等功能,部分代替了传统跑步机的作用,具有很好的体感交互效果和实用价值,研究成果可以用于更多的人机互动应用领域.     

基于深度图像的人体动作识别方法

为解决人体动作识别中的复杂背景和自遮挡问题,对深度图像进行研究,从深度图像中获取20个人体骨架关节点,在此基础上将动作时间序列的关节角度变化作为人体运动的特征模型。通过改进的动态时间规整算法计算不同动作之间关节角度变化序列的相似性,进行动作识别,以缓解传统DTW算法病态校准的问题。将识别方法在采集的动作数据库和MSR Action3D数据进行验证,实验结果表明,该方法能达到90%以上的识别率。     

面向人机交互的快速人体动作识别系统

针对在Kinect平台利用人体动作进行人机交互的时效性问题,提出了一种基于时间序列相似性的快速人体动作识别方法。通过Kinect获取人体全身20个关节点,提取关键点的空间三维坐标,转化成特征向量,该特征向量模型能很好地对全身动作进行表示;在动作识别方面提出了一种快速动态时间弯曲距离（Fast Dynamic Time Warping,F-DTW）算法,解决了因动作速度不同导致的两时间序列在时间轴上不一致的问题,通过引入下界函数和提前终止技术对算法进行加速优化,解决动作识别的时延问题,从而能快速地控制机器人;定义20种动作进行识别,平均识别速度较传统算法大大提高,验证了方法的有效性,满足与机器人交互的要求。     

基于自然语义模型的机器人视觉障碍识别系统

针对机器人在完成基于自身采集的视觉图像障碍识别过程中,由于障碍图像特征复杂,障碍视觉特征带有识别二义性,会发生识别错误;提出了一种基于歧义约束自然语义模型的机器人视觉图像障碍识别系统设计方法,建立了一套完整的硬件模块设计方案,并用约束自然语言软件设计方法实现了机器人视觉障碍二义性歧义消除;实验结果证明,该系统在机器人视觉智能障碍识别方面很好地消除了存在的二义性,提高了识别的准确度.     

利用Kinect的人体动作视觉感知算法

提出了一种面向类人机器人的人体动作视觉感知算法,提高了利用Kinect作为视觉输入设备捕捉到的人体动作数据的精度.首先,通过逆运动学方程将捕捉到的关节位移信息转换成角度信息.然后,以角速度和角加速度的变化为依据,将长时间的运动自动分割成独立片段,并用相关向量机原理估计出高精度的角度轨迹.最后,用角度轨迹的空间相似性、时间相似性、平滑度等指标对该算法进行了评估,并在NAO机器人平台上对算法处理后的动作进行了实验验证.实验结果表明,该算法有效提高了动作感知的时空相似性和轨迹平滑度,为高精度的动作模仿奠定了基础.     

基于双DSP结构的动态手势红外遥控系统

为了在红外遥控系统中实现手势交互,设计了一种基于双DSP结构的具有动态手势视觉识别功能的红外遥控系统。针对手势识别图像算法的复杂性,系统采用了一种流水线式的动态图像处理模式并提出了一种基于双端口RAM通信的双DSP图像处理硬件系统结构。结构前级负责实时采集图像数据及手势图像预处理,后级结合以帧差法为核心的手势识别算法负责动作识别处理,从而节省单DSP需要的等待时间,手势图像处理任务同步进行,加快动态图像处理的速度。另外,双DSP结构使得系统资源得到有效分配,复杂处理算法同步运行,再配合自学习红外遥控模块实现红外遥控功能。实验结果表明,系统一次手势动作的最短识别时间为1.5 s,动作识别的准确率达到93.75%,具有良好的稳定性和可操作性。     

基于限幅加权骨骼节点滤波的体感交互技术

为了改善机器人的操作方式,提高体感交互的识别精度,提出了一种基于限幅加权骨骼节点滤波的体感交互技术。首先利用Kinect传感器获取深度场景信息,并通过骨骼追踪技术处理所获得的深度信息以此匹配人体各个关节,建立人体各关节的3D坐标;然后采用空间向量映射的形式计算出各关节转动角度,并利用本文所提出的限幅加权滤波算法,即通过对采集并计算出的关节转动角度进行限幅加权滤波处理,减少了骨骼噪声的影响;最后将转动角度转化为控制指令,通过蓝牙串口将控制指令发送给机械臂控制器,操控机械臂舵机转动。实验结果表明,该方法能够实现体感交互效果,机械臂随人体手臂运动的识别率为96.3%,且限幅加权滤波算法能有效减少骨骼噪声影响。     

Robust place recognition based on omnidirectional vision and real-time local visual features for mobile robots

Topological localization is especially suitable for human–robot interaction and robot’s high level planning, and it can be realized by visual place recognition. In this paper, bag-of-features, a popular and successful approach in pattern recognition community, is introduced to realize robot topological localization. By combining the real-time local visual features proposed by ourselves for omnidirectional vision and support vector machines, a robust and real-time visual place recognition algorithm based on omnidirectional vision is proposed. The panoramic images from the COLD database were used to perform experiments to determine the best algorithm parameters and the best training condition. The experimental results show that the robot can achieve robust topological localization with high successful rate in real time by using our algorithm.     

Vision-based short range interaction between a personal service robot and a user

Interaction between a personal service robot and a human user is contingent on being aware of the posture and facial expression of users in the home environment. In this work, we propose algorithms to robustly and efficiently track the head, facial gestures, and the upper body movements of a user. The face processing module consists of 3D head pose estimation, modeling nonrigid facial deformations, and expression recognition. Thus, it can detect and track the face, and classify expressions under various poses, which is the key for human–robot interaction. For body pose tracking, we develop an efficient algorithm based on bottom-up techniques to search in a tree-structured 2D articulated body model, and identify multiple pose candidates to represent the state of current body configuration. We validate these face and body modules in varying experiments with different datasets, and the experimental results are reported. The implementation of both modules can run in real-time, which meets the requirement for real-world human–robot interaction task. These two modules have been ported onto a real robot platform by the Electronics and Telecommunications Research Institute.     

基于肢体动作序列三维纹理特征的情绪识别

情绪识别在人工智能领域具有广阔的应用前景,目前基于人脸表情的情绪识别已经相对成熟,而根据人类肢体动作进行情绪识别的研究却不多。通过VLBP和LBP-TOP算子从三维空间中提取图像序列的肢体动作特征,分析愤怒、无聊、厌恶、恐惧、高兴、疑惑和悲伤7种自然情绪的特点,并用参数优化的支持向量机对情绪分类识别,识别率最高能够达到77.0%。实验结果表明,VLBP和LBP-TOP算子具有较强的鲁棒性,能有效的从肢体动作中识别人的情绪。     

Kinematic design optimization of a parallel ankle rehabilitation robot using modified genetic algorithm

Rehabilitation robotics is an evolving area of active research and recently novel mechanisms have been proposed to reinstate complex human movements. Parallel robots are of particular interest to researchers since they are rigid and can provide enough load capacity for human joint movements. This paper proposes a soft parallel robot (SPR) for ankle joint rehabilitation. Kinematic workspace analysis is carried out and the singularity criterion of the SPR’s Jacobian matrix is used to define the feasible workspace. A global conditioning number (GCN) is defined using the Jacobian matrix as a performance index for the evaluation of the robot design. An optimization problem is formulated to minimize the GCN using modified genetic algorithm (GA). Results from simple GA and modified GA are compared and discussed. As a result of the optimization, an optimal robot design is obtained which has a near unity GCN with almost uniform distribution in the entire feasible workspace of the robot.     

时空域融合的骨架动作识别与交互研究

在人体骨架结构动作识别方法中,很多研究工作在提取骨架结构上的空间信息和运动信息后进行融合,没有对具有复杂时空关系的人体动作进行高效表达。本文提出了基于姿态运动时空域融合的图卷积网络模型(PM-STFGCN)。对于在时域上存在大量的干扰信息,定义了一种基于局部姿态运动的时域关注度模块(LPM-TAM),用于抑制时域上的干扰并学习运动姿态的表征。设计了基于姿态运动的时空域融合模块(PM-STF),融合时域运动和空域姿态特征并进行自适应特征增强。通过实验验证,本文提出的方法是有效性的,与其他方法相比,在识别效果上具有很好的竞争力。设计的人体动作交互系统,验证了在实时性和准确率上优于语音交互系统。     

矢量场逐次逼近的康复机器人柔顺交互控制

为了实现康复机器人的主动柔顺交互,提出了一种基于矢量场逐次逼近的控制模型;设计了矢量场逐次逼近系统,可输出机器人关节期望位移,该输出能与输入的扭矩、表面肌电及脑电等信号在振幅、频率和相位上保持同步,且通过调节遗忘因子参数值,可改变主动柔顺交互的积极性;利用自行设计的穿着型下肢康复机器人样机进行柔顺辅助实验,以验证所提出控制模型的有效性;通过FFT（Fast Fourier transformation）频谱对机器人关节扭矩的组成成分进行了分析,并采用基于最小二乘法的参数辨识方法实施了重力补偿,以便康复机器人实时控制.实验结果表明,该控制模型对于实现康复机器人与人之间的柔顺交互是有效的.     

Natural human–robot musical interaction: understanding the music conductor gestures by using the WB-4 inertial measurement system

This paper presents an inertial measurement unit-based human gesture recognition system for a robot instrument player to understand the instructions dictated by an orchestra conductor and accordingly adapt its musical performance. It is an extension of our previous publications on natural human–robot musical interaction. With this system, the robot can understand the real-time variations in musical parameters dictated by the conductor’s movements, adding expression to its performance while being synchronized with all the other human partner musicians. The enhanced interaction ability would obviously lead to an improvement of the overall live performance, but also allow the partner musicians, as well as the conductor, to better appreciate a joint musical performance, thanks to the complete naturalness of the interaction.     

基于人脸识别与光流追踪的移动机器人视觉导航方法

针对移动机器人视觉导航中跟踪目标丢失的问题,提出了基于人脸识别与稀疏光流算法(KLT)结合的移动机器人视觉导航方法(FR-KLT视觉导航方法)。采用OpenCV库中的Haar特征提取人脸识别算法实时检测识别目标人脸,通过Harris角点检测获取目标人体特征点,对目标人体进行精准定位;KLT光流追踪法测算目标移动趋势,并预测目标下一刻大致位置。目标人体位置变动时移动机器人对目标进行实时追踪导航。通过Pioneer-LX机器人在真实环境下试验,验证了该方法准确识别并跟踪目标的实时性和有效性。     

基于无模型自适应的外骨骼式上肢康复机器人主动交互训练控制方法

设计了一种基于无模型自适应的外骨骼式上肢康复机器人主动交互训练控制方法.在机器人与人体上肢接触面安装力传感器采集人机交互力矩信息作为量化的主动运动意图,设计了一种无模型自适应滤波算法使交互力矩变得平滑而连贯;以人机交互力矩为输入,综合考虑机器人末端点与参考轨迹的相对位置和补偿力的信息,设计了人机交互阻抗控制器,用于调节各关节的给定目标速度;设计了将无模型自适应与离散滑模趋近律相结合的速度控制器完成机器人各关节对目标速度的跟踪.仿真结果表明,该控制方法可以实现外骨骼式上肢康复机器人辅助患者完成主动交互训练的功能.通过调节人机交互阻抗控制器的相应参数,机器人可以按照患者的运动意图完成不同的主动交互训练任务,并在运动出现偏差时予以矫正.控制器在设计实现过程中不要求复杂准确的动力学建模和参数识别,并有一定的抗干扰性和通用性.     

Robot teaching system based on hand-robot contact state detection and motion intention recognition

This paper presents a robot teaching system based on hand-robot contact state detection and human motion intent recognition. The system can detect the contact state of the hand-robot joint and extracts motion intention information from the human surface electromyography (sEMG) signals to control the robot's motion. First, a hand-robot contact state detection method is proposed based on the fusion of the virtual robot environment with the physical environment. With the use of a target detection algorithm, the position of the human hand in the color image of the physical environment can be identified and its pixel coordinates can be calculated. Meanwhile, the synthetic images of the virtual robot environment are combined with those of the physical robot scene to determine whether the human hand is in contact with the robot. Besides, a human motion intention recognition model based on deep learning is designed to recognize human motion intention with the input of sEMG signals. Moreover, a robot motion mode selection module is built to control the robot for single-axis motion, linear motion, or repositioning motion by combining the hand-robot contact state and human motion intention. The experimental results indicate that the proposed system can perform online robot teaching for the three motion modes.