基于力敏传感器的假肢手倾斜抓握滑动检测

为了防止假肢手因受干扰而导致抓握失稳,分析并建立倾斜抓握状态下的假肢手抓握力模型,提出一种基于力敏传感器和短时傅里叶变换的滑动检测方法,对不同干扰下的滑动检测进行了实验研究。结果表明:在不同抓握角度下,运用力敏传感器和短时傅里叶变换,能够实时有效地检测出被抓握物体滑动情况,从而可以进一步实施防滑控制。     

基于高斯过程模型的指节图像识别方法

在基于图像的人机交互智能装配的手势识别与动作跟踪中,手部关节的图像定位是基础,并且关节信息的准确性对手势描述和行为识别与理解有直接影响.针对指节图像特征分布具有较强随机性,利用同态滤波进行图像预处理,以增强图像特征.基于高斯过程模型对手部指节图像二类特征进行学习,用样本对象的聚类测度,学习数据分布的特征模型,将学习获得的两类特征模型作为图像特征的检测器,检测结果即为图像的两个似然值.将经过正负类样本标记过的两种模型似然值作为输入,直接依据估计结果对手部关节图像进行检测识别.通过对不同位置处的手部关节识别分析和测试库检测,结果表明,本文所述方法可以直接得到后验概率的分布,提高了目标识别的准确性和效率.     

机器人视觉交流中的手势识别仿真

手势识别问题,是人与机器人交互中的关键部分。机器人视觉交流中的手势识别,对动作的准确跟踪是识别的难点,主要因为,人在做动作时,与机器人的反应之间存在较为明显的滞后性,对动作的跟踪很难及时准确,造成对整体的图像跟踪存在滞后性,导致传统的分析手势识别方法无法面向快速变化的群体手势特征,也无法进行准确的识别,提出了一种基于手部肤色特征的CAMSHIFT手势识别算法,通过色度直方图模型划分手部皮肤像素和非皮肤像素,获取手部肤色模型,采用摇动检测方法定位人手,依据手部肤色模型对所获取的手部区域进行分割,得到手部区域的二值图,使用改进的CAMSHIFT算法对手势进行跟踪,通过模式识别的方法对群体人手特征进行识别。实验结果说明,所提方法针对群体中的手势进行准确的识别,识别率高于93%,具有较高的应用价值。     

基于YOLOv3-HM的手部姿态估计方法研究

二维手部姿态估计是人机交互领域的一项关键技术。为增强复杂环境下系统鲁棒性,提高手势姿态估计精度,提出一种基于目标检测和热图回归的YOLOv3-HM算法。首先,利用YOLOv3算法从RGB图像中识别框选手部区域,采用CIoU作为边界框损失函数;然后,结合热图回归算法对手部的21个关键点进行标注;最终,通过回归手部热图实现二维手部姿态估计。分别在FreiHAND数据集与真实场景下进行测试,结果表明,该算法相较于传统手势检测算法在姿态估计精度和检测速度上均有所提高,对手部关键点的识别准确率达到99.28%,实时检测速度达到59 f/s,在复杂场景下均能精准实现手部姿态估计。     

虚拟手抓握动作的Petri网模型及其仿真实现

虚拟手的运动建模是三维人机交互研究中的一个关键问题.虚拟人在执行维修作业的过程中,不可避免地需要徒手抓握操作对象或维修工具.为此,该文提出了一种基于位置/变迁Petri网的虚拟人手抓握动作模型.该方法以关节化虚拟手的几何建模和关节约束分析为基础,描述了抓握动作的Petri网模型,通过仿真循环叠代和关节插值计算,实现关节链上各个关节的运动控制,并基于面向对象的技术设计实现了典型抓握动作.最后,基于人体建模与仿真软件Jack,设计并实现了一个虚拟手抓握动作的Petri网,仿真和实验结果表明所述方法简便易行,能够满足虚拟维修作业的要求.     

基于RGB-D摄像头的实时手指跟踪与手势识别

近些年,基于视觉的手部跟踪与手势识别一直是人机交互和计算机视觉等领域的研究热点。传统方法主要是使用单目或多目RGB摄像头等设备获得手部位置、方向等信息,但RGB摄像头易受到复杂背景、光照变化、纹理的限制,导致其准确性、实时性和鲁棒性都较差。随着可获得场景深度信息的家用RGB-Depth(RGB-D)摄像头的发展和上市,可以利用深度信息较好地克服上述环境问题。首先定义了一个基于RGB-D摄像头的3D交互空间,根据深度信息将手部区域从复杂背景、多变的光照条件下进行分割;然后提出了一种基于深度摄像头的手指识别和跟踪方法,该方法基于手部轮廓对人手及手指进行识别和跟踪;最后通过对手指位置和轨迹的跟踪进行手势识别,从而实现人机交互。对提出的方法进行的实验验证了它的准确性、实时性和鲁棒性。     

多视觉信息融合的内河航道智能监控系统

探讨了利用动态图像理解技术对内河船舶的交通状况进行监控,采用多视觉传感器数据融合技术对跟踪的船舶对象进行特写抓拍;通过对交通流信息的实时采集、处理、跟踪与分析,得到内河航道中交通状态信息,如船舶流量、船舶速度、通航密度等重要基础信息。通过对抓拍到的船舶对象图像进行船名牌识别和吃水深度的估算,得到被跟踪船舶对象的基本属性数据和载重量等重要内河管理基础信息,为航运管理部门进行水域交通管理和交通规划提供决策依据。此外,通过自定义感兴趣监控区域以及监控对象来减少图像处理时间,提高系统实时处理能力及鲁棒性。实验结果表明,系统可以实现对船舶稳定跟踪,并对船舶进行特写抓拍和识别,识别准确率高,最终实现吨位估算。     

基于Leap Motion指尖位置的手势提取和识别技术研究

Leap Motion是最近推出的一款比较新颖的手部信息采集设备,它能够高精度、高帧率地跟踪捕获手部信息,基于此特性,本文阐述了一种基于指尖位置和方向信息进行手势提取和识别的研究方案。采用Leap Motion传感器进行手势的三维空间坐标信息采集,从中提取指尖坐标及方向向量信息,建立手势识别模型,构建手势特征数据。对特征数据进行归一化处理后输入到支持向量机进行训练,实现对特定手势的识别。实验结果表明,提出的手势识别方案平均识别精度达到97.33%,具有较高的准确性和鲁棒性。     

基于多模态融合的动态手势识别研究

针对复杂环境中动态手势识别精度低且鲁棒性不强的问题，提出一种基于多模态融合的动态手势识别算法TF-MG。TF-MG结合深度信息和三维手部骨架信息，利用2种不同网络分别提取对应特征信息，然后将提取的特征融合输入分类网络，实现动态手势识别。针对深度信息运用运动历史图像方法，将运动轨迹压缩到单帧图像，使用MobileNetV2提取特征。针对三维手部骨架信息采用门控循环神经单元组成的DeepGRU对手部骨架信息进行特征提取。实验结果表明，在DHG-14/28数据集上，对14类手势识别精度达到93.29%,对28类手势识别精度达到92.25%。相对其他对比算法实现了更高的识别精度。     

基于定量反馈理论的时滞系统自抗扰控制参数整定

工业过程对象普遍存在时滞、模型参数不确定性和外部扰动多等特点,传统Smith预估控制方法难以设计出满足期望性能的鲁棒控制器.针对模型参数不确定性和外部扰动,本文采用自抗扰控制技术进行估计和补偿.针对系统存在时滞的特点,本文提出改进Smith预估器结构,提升扩张状态观测器对于扰动估计的实时性.在此基础上,本文以一阶时滞系统为例提出了控制器参数整定方法.首先根据最优参数选取准则确定预估器模型,然后在等效模型框架下采用定量反馈理论整定自抗扰控制器参数,确保控制系统达到预期性能指标.在仿真实验中,将所提出方法与几种常见时滞系统控制方法进行比较,通过设定值跟踪、抗扰及蒙特卡罗实验验证了所提出方法具有良好抗扰能力与鲁棒性.