复杂背景下多特征结合的深度学习手势识别

科学技术的快速发展使得基于深度学习的人机交互已经得到广泛的应用。手势识别作为人机交互领域的重要组成部分,同样具有重要的研究意义和应用价值。通过对传统的手势识别方法进行研究,发现主要是利用肤色检测算法实现手势识别和分类,但是传统方法在针对具有复杂背景的手势图像时会出现识别效果差等问题。为解决这一问题,提出一种基于卷积神经网络的肤色特征和边缘特征结合的手势识别方法。首先,在YCrCb颜色空间采用椭圆肤色模型和Otsu阈值肤色识别算法获取手势肤色特征,经算法判断后,对手势肤色图像采用改进Canny边缘检测算法获得手势边缘特征。其次,提出一种边缘填充方法对手势边缘图像处理,得到手势轮廓完整的手势边缘图像。最终,采用逻辑运算和形态学运算得到手势分割图像,并输入卷积神经网络进行训练和识别。实验结果表明,该方法在复杂背景下具有较好的手势识别效果,在NUS-II数据集上的平均识别率为98.83%。     

基于表观特征的手势识别研究

手势识别在人机交互与虚拟现实中有重要应用,本文提出一种新的基于Zernike矩和傅里叶描绘子联合表观特征的手势识别方法。依据YCbCr色彩空间的肤色检测,分割出手势;对手势分割后的图像计算Zemike矩和傅里叶描绘子,选取Zernike矩和傅里叶描述子构成联合特征向量;构建一个多层感知器神经网络分类器,进行手势识别。构建一个含有2000样本的数据集来验证算法,实验结果显示手势识别准确率达到98．9％.     

基于HS-CrCb空间的手指数量检测方法研究

手势识别成为未来人机交互的重要方式,本文主要对复杂背景下手指数量的检测方法进行研究。首先通过对比分析不同颜色空间下的手势区域提取方法,提出一种基于 HS-CrCb 肤色模型的手势区域提取方法,并在实验中提取了更清晰和完整的手势区域;其次,采用凸缺陷、手势形状以及手指夹角等特征对手势进行建模和手指数量检测,算法能准确识别出不同手势下对应的手指数量。在Qt和OpenCV环境下建立算法平台,算法在实验测试中取得了良好的效果,具有较好的工程参考和应用价值。     

基于PCA降维的分层超限学习机手势识别方法

针对原始超限学习机在手势识别应用中欠缺良好的泛化性能和鲁棒性等问题,运用主成分分析(PCA)算法降低手势数据维数简化数据结构,并引入以超限学习机为基础,根据多层感知器理论拓展的分层超限学习机作为分类器应用于手势识别.PCA算法提取手势图像的主要特征,通过分层超限学习机的稀疏自动编码和分层训练,获得原始输入的多层稀疏表达,使自动编码后的输出近似原始输入,最大限度地减少重构误差,提高特征分类的精度.实验表明,与原始的超限学习机相比,具有更好的泛化性能,更快的识别速率以及更高的识别精度,提高了整体的学习性能.     

基于测量的量子图像识别研究

目前,已有的量子相似度比较算法:1)逐个比较图像对应位置的像素值;2)将两幅图像分别用量子态表示,再将两幅图像进行连接(意味着将两个量子态连接成一个态),再进行相关的量子操作。所提出的比较算法,是在不连接图像的基础上,将图像用量子态表示,进行控制交换(c-Swap)操作,再进行量子测量,根据测量结果判断两幅图像的相似度。将所提的量子相似度比较算法应用到量子手势识别中,实验结果表明所提算法在识别问题上具有可行性。在经典领域中,手势识别的流程比较复杂。而在量子领域中,无需提取手势的颜色、纹理、特征等步骤,直接可以将手势进行二值化表示,再根据所提的图像相似度算法来实现手势识别。     

基于深度学习的动态手势识别方法

为了提高动态手势的识别准确率,并避免动态手势的数据预分割和后输出处理过程,设计了一种融合卷积神经网络(CNN)和双向长短时记忆(BiLSTM),引入连接主义时间分类(CTC)作为损失函数的串联型网络模型。使用CTC训练网络来判断输入流中的类标签,以完成动态手势的识别工作。在公开视频手势数据集Jester和通过Kinect自建的包含9个动态手势的数据集上进行了实验验证,结果表明提出的串联型融合网络模型在Jester上能得到较高的识别率,并且引入CTC算法用于手势识别领域是可行的,该方法高效且具有很高的识别率,对9个动态手势最好识别正确率可达98.11%。     

支持自定义的多粒度动态手势识别方法研究

大多数手势识别研究往往仅考虑手部的运动轨迹,无法全面的对动态手势特征进行描述。在深度分析了驱动手势的各关节特征影响度的前提下,使用了多粒度的动态手势识别方法,同时,针对大部分手势识别研究不考虑用户自定义手势问题,提出了一种改进的动态时间规整(DTW)方法。实验结果表明,该方法可以较好的识别不同粒度下的手势,以及在自定义模式下准确的识别出非模板库中的手势,从而实时的向模板库中添加新手势。     

基于Mask R-CNN与SG滤波的手势识别关键点特征提取方法

手势识别是人机交互的重要手段.为了精确识别手势并摒除光照等环境干扰,同时减除由于手部高维运动造成的关键点剧烈抖动的问题,提出一种基于基于蒙版区域的卷积神经网络(Mask Region-based convolutional neural network,Mask R-CNN)与多项式平滑算法(Savitzky-Golay,SG)的手势关键点提取方法.该方法首先对输入的红绿蓝(RGB)三通道图像进行特征提取与区域分割,获得手部的实例分割与掩码.然后利用ROIAling及功能性网络进行目标匹配,标记出22个关键点(21个骨骼点+1个背景点).将标记后结果送入SG滤波器进行数据平滑,并进行骨骼点的重新标定.从而得到稳定的手势提取特征.对模型进行对比实验,结果表明,该方法能够最大程度摒除环境干扰,并精准提取关键点.与传统基于轮廓分割的手势关键点提取相比,模型的鲁棒性大大提高,识别精度达到93.48％.     

基于动态贝叶斯网络的手势识别

研究了动态手势的识别技术,实现人机交互。采用HSV空间的肤色模型实现手势定位,光流场算法进行手势追踪,具有较好的快速性、准确性和鲁棒性。提出应用链码描述手势运动矢量,双手相对位置标量以及双手与脸的相对位置标量,将多条链码作为动态手势的特征进行提取。建立了一个动态手势识别的动态贝叶斯网络模型,将一部分手势链码作为训练样本,通过对DBNs的推理学习实现手势识别。实验构建动态手势识别系统,可应用于多媒体、智能电器或幻灯片控制之中。     

基于三维视觉特征的数字手势语义识别新方法研究

为了解决现有手势识别易受背景噪声干扰和算法较为复杂的问题,提出一种基于3D视觉的数字手势语义识别方法。首先,通过RealSense 3D相机采集手部区域的RGB图像和深度图像,并结合深度信息和肤色信息,对手势进行分割;其次,对手势图像进行形态学滤波后,得到手势区域的轮廓凸包面积比、凸缺陷数、手指夹角和关键点连线比值等特征参数;最后,通过分析不同手势独有的特征参数,实现准确的手势识别。对数字0～9的手势分别进行50次识别实验,手势分割准确率为100%,手势识别准确率为98.5%。实验表明该方法准确可靠,数字手势识别效果理想。     

Numerical fitting‐based likelihood calculation to speed up the particle filter

The likelihood calculation of a vast number of particles forms the computational bottleneck for the particle filter in applications where the observation model is complicated, especially when map or image processing is involved. In this paper, a numerical fitting approach is proposed to speed up the particle filter in which the likelihood of particles is analytically inferred/fitted, explicitly or implicitly, based on that of a small number of so‐called fulcrums. It is demonstrated to be of fairly good estimation accuracy when an appropriate fitting function and properly distributed fulcrums are used. The construction of the fitting function and fulcrums are addressed respectively in detail. To avoid intractable multivariate fitting in multi‐dimensional models, a nonparametric kernel density estimator such as the nearest neighbor smoother or the uniform kernel average smoother can be employed for implicit likelihood fitting. Simulations based on a benchmark one‐dimensional model and multi‐dimensional mobile robot localization are provided. Copyright © 2015 John Wiley & Sons, Ltd.     

Independent component analysis for EEG source localization

We consider a spatiotemporal method for source localization, taking advantage of the entire EEG time series to reduce the configuration space we must evaluate. The EEG data are first decomposed into signal and noise subspaces using a principal component analysis (PCA) decomposition. This partitioning allows us to easily discard the noise subspace, which has two primary benefits: the remaining signal is less noisy, and it has lower dimensionality. After PCA, we apply independent component analysis (ICA) on the signal subspace. The ICA algorithm separates multichannel data into activation maps due to temporally independent stationary sources. For each activation map we perform an EEG source localization procedure, looking only for a single dipole per map. By localizing multiple dipoles independently, we substantially reduce our search complexity and increase the likelihood of efficiently converging on the correct solution     

Robust Mapping for Mobile Robot Based on Immobile Area Grid Map Considering Potential Moving Objects

Mobile robots need Simultaneous Localization and Mapping (SLAM) for autonomous movement in human living environments. The occupancy grid map used in SLAM is a conventional method which makes a map by an occupancy probability in each grid. This method renews a map based on whether an object is observed or not. In order to remove moving objects from a map, an additional method is required. However, conventional methods deal only with actually moving objects, and potential moving objects (e.g., standing humans) are mapped as static objects. Furthermore, only binary states, used or not used, are given to each object in map updating. This paper proposes the immobility area grid map to represent a map by an immobility probability in each grid. The proposed method renews a map based on the identification of observed objects by a robot's sensors, in addition to whether an object is observed or not. We introduce the map update parameter, which is set adaptively from the certainty of identification result of the object. Observed objects can take continuous states, truly static—unknown—truly moving, according to the parameter value. Potential moving objects are not mapped if the parameter takes values corresponding to moving objects. The experimental results show robust mapping in dynamic environments including potential moving objects.     

矢量地图在浙江电力GIS中的应用研究

随着浙江电力GIS建设的不断推进,矢量地图得到越来越广泛的应用。但在工程实践中,因地图更新不及时、原图质量不达标、地图加工不专业等原因,矢量地图应用无法满足所有GIS业务需求。文章结合浙江电力GIS矢量地图应用现状,提出了长期的、系统的矢量地图应用规划。首先,对矢量地图的应用架构和物理架构等关键技术点,展开了分析研究;其次,针对工程实施中的重要环节,如地图更新、地图加工、坐标转换等,提出了工作思路。     

基于Hough空间的移动机器人全局定位算法

提出了一种基于Hough变换的移动机器人全局定位方法。在机器人执行全局定位的初始阶段,将给定的环境栅格地图通过离散Hough变换转换为Hough空间中形成参考地图,并建立全局地图的Hough能量谱函数;而机器人在定位过程中通过激光传感器数据实时构建局部地图,并转换到Hough空间建立局部地图的Hough能量谱函数;构建全局和局部地图的Hough能量谱相关函数,通过局部最大化该函数求出两个地图间的旋转角度集。基于求得的角度集,对局部地图进行旋转配准,与全局地图一起构建Hough变换相关函数,通过局部最大化该函数可求出两个地图间的平移集合;应用求得的旋转角度集和平移集合,很容易估计机器人在全局地图中的位姿分布,通过不连续的几个时刻的位姿更新最终能够实现机器人全局定位。实验结果证明了该方法的有效性。     

配电网安全域的二维图谱

提出了配电网安全域(DSSR)图谱的概念,并绘制了无源配电网和2种典型有源配电网的DSSR二维图谱。首先,给出了DSSR图谱的定义和绘制方法。DSSR图谱是某一类型配电网所有可能的安全域二维图像的集合,包含了域的象限、形状等图像特征。然后,针对无源配电网、高渗供电网(容量渗透率约为40%)和自给网(容量渗透率约为100%),分别绘制其N-0(正常运行)和N-1的2套DSSR图谱。最后,对比分析了不同渗透率下的DSSR图谱变化规律。DSSR图谱的建立使得DSSR二维图像研究更具系统性,有助于直观理解配电网安全运行范围的几何特征。     

无先验地图条件下电力管廊无人机自主巡检方法研究

针对无先验地图条件下电力管廊无人机自主巡检能力不足的问题,本文提出了一种不依赖先验地图的无人机巡检方法。首先,无人机搭载激光雷达,通过SLAM（Simultaneous Localization and Mapping）算法进行实时场景构图,并基于RRT（Rapidly-exploring Random Tree）算法对构建的全局栅格地图进行边界搜索;其次,针对传统RRT算法难以判断环境地图完整性、保障巡检全面性的问题,提出了一种基于数字图像处理的边界检测方法。通过Canny算子对实时构建的地图进行边缘检测,并对地图进行完整性评估。最后,为验证本文提出方法的有效性,在江苏无锡处某220kV电力管廊的仿真模型中进行验证,分别采用RRT算法和本文改进算法进行自主巡检测试,结果表明本文提出的算法相比RRT算法可提升21.8%的巡检覆盖率。     

基于MapX的电子地图系统的设计和开发

MapX是MapInfo公司生产的建立在对象链接与嵌入技术基础上的ActiveX组件。介绍了地图控件MapX的数据结构、功能接口以及运行机制,并且以上海市电子地图系统的开发为例,说明了用MapX开发电子地图系统的主要功能的实现方法,详细介绍了在MapX中开发鹰眼图的过程。     

改进的最大似然期望最大化超声CT重建方法

针对超声CT重建问题,提出了一种基于高斯分布的最大似然期望最大化方法,并采用非最小最优化的方法来设置迭代的初始值。由于高斯分布更加符合测得时间信息的分布规律,所以基于高斯分布的新算法比传统基于泊松分布的最大似然期望最大化算法更加精确。所采用的非最小最优化方法能够减少迭代次数,有利于提高重建质量和计算效率。为了检验新算法,对三维温度场进行了仿真重建实验,结果表明,改进后的最大似然期望最大化算法具有更小的平均误差,能够得到更精确的重建图像。     

室内移动机器人的三层规划导航策略

针对室内移动机器人导航问题，提出一种包括全局规划层、局部路径优化层、反应式导航．控制层的导航策略。根据已知环境建立全局拓扑地图，为机器人提供全局导航信息；根据机器人当前位置，从全局地图中提取信息生成采用有向线段描述的局部地图，在机器人运行过程中，不断利用传感器信息更新局部地图，并根据图中有向线段之间的拓扑关系获得机器人的局部路径点，机器人采用传感器信息、地图信息、历史轨迹信息的反应式导航方法趋向局部路径点。仿真试验表明，导航策略可以产生优良的运行轨迹，并确保机器人在复杂环境中安全运行。