SkinGest: artificial skin for gesture recognition via filmy stretchable strain sensors*

ABSTRACT

Stretchable sensors are promising in the field of wearable robotics. To date, it is still a challenge to design an artificial skin with thin and sensitive stretchable sensors. In this paper, we present a new artificial skin, SkinGest, integrating filmy stretchable strain sensors and machine learning algorithms for gesture recognition of human hands. The presented sensor has a sandwich structure consisting of two elastomer layers on the outside and one soft electrode layer in the middle. Based on the improved fabrication process, we make the sensor’s thickness down to 150?µm, while keeping the gauge factor (GF) up to 8. Then, we integrate the machine learning algorithms (using LDA, KNN and SVM classifiers) with the stretchable sensors in our SkinGest system for gesture recognition. Supported by the experimental data from different subjects, our SkinGest system succeeds in identifying American sign language 0–9 with an average accuracy of 98%. The results demonstrate that the proposed SkinGest system provides a promising platform for future potential virtual reality and sign language recognition applications.     

基于单目摄像头的3D动态手势交互

传统的手势交互都需要借助于Leap Motion或Kinect等专用交互设备。以图像通道转换、二值化等图像处理方式提取手势,以手势平面坐标值的变化获取手势的平面移动信息,以手势面积的变化解决了手势深度的问题。通过绘制手势轮廓结合自创的图像匹配算法计算不同图像的匹配率,用最高匹配率选择相对应的手势运动信息。通过摄像头坐标系到3D场景坐标系之间的转换,结合三维图形的几何变换计算变换矩阵,实现手的空间移动与旋转。在不借助专用的手势交互设备的情况下,实现单目摄像头的动态手势交互。     

对偶树复小波与空域信息的手势识别分类研究

为提高手势识别中特征获取的有效性,本文提出空域特征与对偶树复小波变换特征相结合的融合特征,主要包括水平位置、竖直位置、长宽比、矩形度、Hu矩7个分量,及11维空域特征与对偶树复小波变换的16维特征进行融合后得到的27维特征。针对分类器优化算法,提出进行训练样本优选的最优距离-支持向量机(BD-SVM)分类方法。最后的实验结果表明,对“1~9”手势进行测试,当采用径向基核函数时,平均识别精度最高,为90.33%,平均识别时间为0.026 s,说明所提出的方法能够较好地进行静态手势识别,具有较高的训练速度和辨识精度。     

基于Kinect深度图像信息的手势轨迹识别及应用

为实现基于Kinect深度图像信息的手势轨迹识别,提出了一种基于隐马尔可夫模型(HMM)的手势轨迹识别的方法。首先采用新型Kinect传感器获取图像深度信息;然后通过OpenNI的手部分析模块获得手心的位置,提取轨迹特征;最后利用隐马尔可夫模型训练有效的轨迹样本并实现轨迹的识别。实验结果证明,该方法能有效地识别手势轨迹,并可用于控制智能轮椅的运动。     

多重触控技术研究综述*

多重触控技术提出一种以用户为中心的自然高效的交互方式,它在个人便携式信息产品、公共信息查询、教育、游戏、展览、指挥决策等领域都具有广泛的应用前景。对多重触控技术近年来的发展进行了比较详细的论述,根据硬件平台的分类分析了该方向的进展情况,并对当前该研究方向上的主要研究内容和未来研究趋势进行了比较详细的分析。     

手势识别技术在PLC控制中的应用

手势识别是新一代的人机交互技术,而LeapMotion是这一领域的代表设备。该文通过OPC技术,将LeapMotion与西门子S7-1200 PLC融合在一起,开发了一款手势控制PLC软件,实现了一种创新的工业控制交互技术。应用实例证明:新系统能够识别手势,实现原组态软件的所有功能,如控制电机的正、反转和速度调节等,改造成本不大,对于不方便使用鼠标、键盘和触摸屏操作的工况有很大的帮助。     

基于深度学习的动态手势识别方法

为了提高动态手势的识别准确率,并避免动态手势的数据预分割和后输出处理过程,设计了一种融合卷积神经网络(CNN)和双向长短时记忆(BiLSTM),引入连接主义时间分类(CTC)作为损失函数的串联型网络模型。使用CTC训练网络来判断输入流中的类标签,以完成动态手势的识别工作。在公开视频手势数据集Jester和通过Kinect自建的包含9个动态手势的数据集上进行了实验验证,结果表明提出的串联型融合网络模型在Jester上能得到较高的识别率,并且引入CTC算法用于手势识别领域是可行的,该方法高效且具有很高的识别率,对9个动态手势最好识别正确率可达98.11%。     

基于PC-TV智能家居控制系统设计

设计了一种基于嵌入式微控制器、PC-TV、物联网应用的智能家居控制系统.采用红外控制与无线网络结合方式,能够实现控制家居中各种设备的一体化控制.在人机交互上,保留按键操作,增加了语音控制模式,可通过简单的手势动作进行控制操作.用户可以通过PC-TV软件给主节点添加计划任务,设定自动的开关灯时间、拉窗帘时间、开关窗时间等.     

基于支持向量机数据分析红外手势识别方法研究

该文提出了利用支持向量机结合仿生六点手势模型优化红外体感控制设备手势识别的方法。采集空间手势信息,仿生六点手势模型提取手势特征向量,利用支持向量机分类及校对数据,引用核函数将低维空间不可分信息映射至高维空间实现线性可分。结果表明,运用基于支持向量机的红外体感设备手势方法能有效识别手势,减轻计算机通信的传输负荷。     

液压挖掘机工作装置姿态检测

通过对倾角传感器工作原理的分析及液压挖掘机工作装置运动的研究,阐述了怎样利用双轴倾角传感器完成对液压挖掘机工作装置的姿态定位问题,为实现液压挖掘机的智能化提供了前提条件。