基于Kinect深度信息与骨骼信息的手指尖识别方法

针对基于视频的手势识别技术对手掌轮廓和指尖信息要求较高的问题,提出了一种基于图像深度信息和人体骨骼信息的手指指尖识别方法和手掌轮廓检测算法。采用微软Kinect摄像头获取深度信息和人体骨骼信息,并将每个骨骼点的三维信息转换成深度图上的二维信息。根据人体骨骼信息快速找到手掌的位置,并利用基于深度阈值的轮廓检测算法将手掌轮廓和弯曲手指轮廓从背景图像中分割出来。利用k曲率算法检测到手指指尖的位置。实验结果证明,该方法可以高效地检测出伸直和弯曲手指的轮廓,识别出人体的手指,并且该方法可在黑暗的环境下进行。     

基于Digiclops立体视觉系统的单指指尖跟踪

提出一种复杂背景下检测单指指尖位置的方法,该方法使用Digiclops立体视觉系统采集图像,并得到手指区域的子图像。对于手指正指的情况,可迅速计算出指尖的位置;对于手指侧指的情况,在手指图像基础上,设计一种鲁棒的指尖检测算法定位出指尖的位置。实验表明,该方法对指尖位置检测准确,用该方法处理每一帧图像,可实时跟踪指尖,从而实现了基于指尖跟踪的感知用户界面系统。     

PSD相位法测量技术研究

PSD(Position-Sensitive Detector)相位检测技术具有处理电路简单、检测精度高、抗干扰能力强等优点,具有良好的应用前景.依据PSD的传输线模型,通过Matlab数值模拟和实验得出PSD两电极的相位差-光点位置有显著的线性;分别用40 kHz,60 kHz的正弦调制光激励PSD得到相位-光点位移实验曲线.通过实验,得出影响相位法检测精度的因素主要有PSD输出电压随入射光强非线性变化,PSD光敏面光电参数不一致,光源干扰等.研究工作对相位法的应用提供了一定的参考依据.     

坦克炮口弯曲变形量自动测量装置

鉴于传统坦克炮口弯曲量测量效率低、精度差,而且不具备实时性的缺点,提出一种基于PSD(位置灵敏探测器)的坦克炮口弯曲量自动测量装置。该装置通过与安装在炮口端的反射镜配合,对炮口的弯曲变形量进行检测。然后通过对PSD光敏面上的光点位置变化,输出相应的模拟量,再经过信号放大、整形、采集、滤波等数字化处理后,实时输出炮口弯曲修正量,发送给火控计算机进行弹道修正。经过该装置提供的炮口弯曲量的实时修正,可有效提高坦克的射击命中率。     

基于Kinect骨骼信息和改进重心距离法的指尖识别

针对肤色识别易受环境影响问题,提出了一种基于Kinect骨骼信息和改进重心距离法的手指指尖识别方法。首先采用微软Kinect摄像头获取人体骨骼信息,并将双手坐标点的三维信息转换成彩色图上的二维信息进行手掌区域的提取。然后利用OpenCV基于肤色检测算法将手掌轮廓从背景图像中分割出来。最后针对重心距离法鲁棒性差的特点提出一个改进因子。实验结果证明,该方法可以高效地检测出手指的指尖位置,识别出人体的手指。实验结果表明该方法能有效排除类肤色区域和手指轮廓不足对指尖检测造成的影响,具有较高的检测精度。     

基于Kinect骨骼信息和改进重心距离法的指尖识别

针对肤色识别易受环境影响问题,提出了一种基于Kinect骨骼信息和改进重心距离法的手指指尖识别方法。首先采用微软Kinect摄像头获取人体骨骼信息,并将双手坐标点的三维信息转换成彩色图上的二维信息进行手掌区域的提取。然后利用OpenCV基于肤色检测算法将手掌轮廓从背景图像中分割出来。最后针对重心距离法鲁棒性差的特点提出一个改进因子。实验结果证明,该方法可以高效地检测出手指的指尖位置,识别出人体的手指。实验结果表明该方法能有效排除类肤色区域和手指轮廓不足对指尖检测造成的影响,具有较高的检测精度。     

面向手势动作捕捉的传感器设计及主从手运动映射

本文针对人手和机器人灵巧手在运动学上尺寸的不一致现象带来的主从手指尖运动空间映射的不一致性进行研究.基于聚氨酯拉伸应变传感器构建了测量手指关节弯曲角度的数据手套.通过建立主从手的运动学模型,基于旋转矩阵理论及正向运动学提出了一种指尖运动轨迹计算方法及手势动作捕捉算法.基于正向运动学及逆向运动学的指尖运动映射算法建立了主从手的指尖运动空间轮廓.建立虚拟实验场景,分别针对关节角度映射算法、手势动作捕捉算法及指尖运动映射算法进行了一系列试验.通过实验得出基于聚氨酯的拉伸应变传感器具有良好的时间响应特性及电学稳定性,基于手势动作捕捉算法能够获取主从手的指尖运动空间轮廓,指尖运动轨迹的计算误差控制在2.8 mm以内.结果证明了基于手势动作捕捉算法以及指尖运动映射算法能够实现主从手指尖运动空间的一致性.     

基于光波导的传感驱动一体化软体康复手

针对刚性手功能康复外骨骼机器人适应性差,存在安全隐患问题,该文设计了基于光波导的传感驱动一体化软体康复手控制系统,用于辅助患者手部的康复。通过顺应性融入自制柔性光纤传感器使手指弯曲角度和气腔内压力的反馈信号更加精准。其次,采用一体化多腔室手指的设计方法,使不同手指不同关节弯曲,其结构简单、易于控制,具有良好的被动柔性。然后,结合柔性光纤传感器对软体康复手进行闭环反馈控制,使手部动作更加灵活。最后,实验结果验证了基于光波导的软体手部康复机器人控制系统整体结构小型化,且柔顺性高,患者穿戴更方便。     

二维位置敏感器件(PSD)的畸变校正算法研究

光电位置敏感探测器(PSD)是对信号光的位置直接检测的光电传感器,它的原理是计算光的权重来测量光的位置,直接输出的是模拟电流信号。但PSD的非线性严重影响着其应用的准确性。由于四边电极的影响,会使靠近边缘附近产生严重的非线性。就如何对PSD进行畸变校正进行了研究。通过对插值算法的研究,提出了用双调和样条插值算法来校正PSD产生畸变的离散点。通过仿真分析,校正后的均方误差能达到2.29μm。与神经网络方法相比,该方法有了较大的提高,效果令人满意。     

基于PSD的水利工程变形监测系统设计及室内检验

为高精度实现水利工程变形测量,设计一套基于PSD的变形监测系统。将激光器安装在水利工程易出现变形的位置上,通过实时观察照射在PSD表面的光斑位置变化,测出水利工程水平和竖直方向的微位移。对PSD输出的信号进行处理,利用单片机对转换后的4路信号进行位置计算,并用遗传算法与LM-BP神经网络法相结合的模型对PSD进行非线性校正,将位置结果显示在数码管和系统界面上。监测系统在模拟水利工程环境的室内已检验设计功能,同时PSD作为新型传感器,分辨力高,信号处理简单,可代替其他监测设备广泛用于水利工程的变形监测。     

气动肌肉驱动的柔顺机器人操作手的设计和实现

以气动肌肉为主要驱动器,设计了一个柔顺机器人操作手,在腕部和手部两个不同的关节,使用了两种不同型号的气动肌肉,分别采取了两种不同的传动方式．给出了腕部俯仰关节的位置控制策略．建立了手指的静力学模型,以此为基础,分析了气动肌肉的输入压力与指端夹持力的关系．实验结果表明,该机器人操作手可实现对物体安全、柔顺的抓取操作．     

人机交互装配中手部指形轮廓信息检测方法

人机交互装配系统中人体手部生物特征的识别与描述是手部装配动作描述与行为理解的基础。在肤色建模与识别、指节特征模型学习的基础上,通过肤色识别结果给出的模板轮廓坐标,计算轮廓链的局部转角比率和逐点向量积,描述基于逐点比较法的指节处的轮廓特征,结合手指生物结构的经验判据,对指尖与指根位置进行检测与推断,实现手指轮廓特征点的初步识别,通过指形拟合完成手指初步定位,为指形平面位姿分析提供基础。在手部多特征检测的基础上进行图像信息融合,结合指节学习模型与自适应阈值识别的指节位置检测,对指形的定位信息进行修正以提高检测的准确性。实验测试结果表明,该手部指形轮廓信息检测方法可行。     

Development and kinematics/statics analysis of rigid-flexible-soft hybrid finger mechanism with standard force sensor

A prototype of a rigid-flexible-soft hybrid finger mechanism with a standard force sensor is developed, and its kinematics and statics are studied systematically. First, its structure performances are analyzed, its equivalent mechanism is constructed and the degree of freedoms of the equivalent mechanism with constant or variable length of the flexible rod are analyzed. Second, the kinematics formulas are derived for solving the position, the velocity, the acceleration of the fingertip in the equivalent mechanism with a constant length of the flexible rod. Third, the statics formulas are derived for solving the various forces applied onto the fingertip, the key links and the sensor as the flexible rod with or without deformation. Fourth, the theoretical solutions of the equivalent mechanism are verified by its simulation mechanism. Finally, its experiment measuring system is built up, and its several merits are proofed by the measured results.     

一种大屏幕人机交互系统的实现方法

针对利用双目立体视觉技术实现大屏幕人机交互系统时摄像头标定复杂的问题, 提出一种大屏幕人机交互系统的实现方法。由两个摄像头负责采集用户手部的图像,获取指尖的二维图像位置坐标,通过透视投影模型,由测量所得的两个摄像头之间的距离、大屏幕左边与摄像头之间的距离、摄像头离地面的高度、大屏幕底边离地面的高度等数据,求出地面上与指尖成像在同一位置的地面坐标,由摄像头的位置及地面坐标求出一条直线,两条直线相交获取指尖空间坐标,由指尖空间坐标选取与屏幕对应的二维平面坐标,经物理坐标到逻辑坐标转换求出手指指向屏幕的实际坐标,实现大屏幕的定位。定位完成后,采用指尖检测方法检测视频图像中指尖是否存在,以此判断食指弯曲和伸开的点击操作。指尖空间坐标的计算方法虽然存在误差,但由于用户在操作过程中能够实时看到鼠标的位置,因此该误差对用户是透明的,而这种方法以简单的、近似的求解避免了复杂的摄像头标定过程,便于系统工程的实施。     

基于视觉的手指空间位置检测技术

为了摆脱传统交互方式的局限性,指出了用人的指示行为作为人机交互输入方式所带来的直观性和方便性.在指示行为的视觉识别过程中,手指的空间位置检测是极为关键的.为了识别人的指示行为,重点从人手的视觉检测方法、手指和指尖的空间定位两个方面系统地阐述了手指空间位置检测技术,对各种方法的适用性及其优缺点进行了分析与归纳,并说明了基于视觉的手指空间位置检测的一般过程,探讨了指示行为在人机交互中的应用现状及前景.     

气动机器人多指灵巧手——ZJUT Hand

总结了现有灵巧手的缺点,例如结构复杂、难以控制等,并在此基础上提出了一种新型的气动驱动多指灵巧手,命名为ZJUT Hand.基于一种新型的气动柔性驱动器FPA,设计了气动刚柔性弯曲关节及侧摆关节;在此基础上给出了一种4自由度气动拟人手指;为了获得较高的模块化集成度,将5个完全相同的手指装配在拟人手掌上,构成具有5个手指、20个自由度的ZJUT Hand的本体结构;采用仿生学优化方法确定ZJUT Hand的结构参数,并对其本体结构进行了抓持仿真实验.仿真结果表明:ZJUT Hand能够对圆柱、长条形、球形等典型形状的物体实现抓持,并能够模拟人手实现对捏、夹持、勾拉等复杂拟人手形.详细设计了ZJUT Hand的力/位传感系统.完成了ZJUT Hand的抓取实验,结果表明:ZJUT Hand能够对典型形状目标物体实现稳定抓取.最后,简单总结了ZJUT Hand的特色之处.     

SMA丝驱动的手指康复机器人设计及实验研究

为了研制一种轻便、可穿戴的仿生手指康复机器人,在分析手指肌肉骨骼生物参数及致动机理的基础上,设计了一种形状记忆合金丝(Shape Memory Alloy, SMA)驱动的软体柔性手指康复机器人,建立了其运动学和力学模型。以手套为结构设计的原型,通过控制SMA丝的收缩来模拟手指肌肉肌腱的收缩,从而实现辅助手指屈曲伸展运动的功能。试验研究了手指康复机器人的运动性能和抓握性能。试验结果表明,手指柔性康复机器人最大弯曲角度接近正常人手关节角度,最大指尖力可达18N,能完成日常所需的屈曲伸展以及抓握功能。     

一种结合曲率与平行向量的实时指尖检测方法

根据手指几何形状大致平行的特性,本文提出一种基于曲率和平行向量 来进行手指检测的新方法。该方法首先利用深度图像信息从复杂背景环境中迅速分割出手 部;然后依据形态学操作和中值滤波进行平滑处理后提取边缘,再根据曲率定位拟指尖点; 最后采用平行向量特性排除误检点。实验结果表明,该方法在不同手指运动状态,不同光照 强度,以及复杂环境背景下均能实时定位指尖位置,指尖位置识别率可达98.64%。     

Development of multi-fingered dexterous hand for grasping manipulation

In this paper, a developed multi-fingered dexterous hand with flexible tactile skin is described. The dexterous hand has 5-fingers with 6-DOFs and each finger is equipped with a small harmonic drive gear and a fine high-power mini actuator. To achieve the goal of grasping with high accuracy, each fingertip is covered with the tactile array sensors for determination of the force between the finger and the grasped object. Some preliminary experiments are conducted to illustrate the performance of the grasping of the developed dexterous hand.