非特定人手语数据生成及其有效性检测

根据手势手语的特点,提出了手语语言学和人体运动学相结合的非特定人手语数据的生成和检测方法.首先,Mean-Shift算法有控制生成强度的优点,将改进的Mean-Shift算法应用于手形数据通道的生成,以保持手势手语的语言学特性,并应用关键手形的音韵标记进行数据有效性的检测;其次,为了丰富手语手势动作的运动特性,将改进的遗传算法应用于与运动相关的数据通道进行数据生成,并应用拉班舞谱对其进行数据有效性检测;最后,提出了基于原始样本的检测实验框架,使得所提出的检测方法适用于语言类的多类别数据检测问题.实验结果表明,所提出的非特定人手语数据的生成和检测方法是有效的.     

手势手语力效分析

在非特定人手语识别研究中,数据差异性带来的矛盾已使其成为一个亟待分析的问题.从人体运动学、语言学等角度对手语理解,是解决差异性矛盾进而推动非特定人手语识别的有效途径.文章以运动观测科学规则,特别是拉班的力效理论为基础,归纳了造成手语数据差异的因素,提出了手势手语力效要素的定义和描述方法;继而给出了非特定人手语数据的归整策略,规整后的数据用于训练与识别.在多种实验环境下进行的评估结果表明,识别的效果得到了明显的提升.     

非特定人手语识别进展及关键问题研究思路

非特定人手语识别是推动手语系统实用化所必须解决的问题.在非特定人手语识别研究中,训练数据的缺乏和非特定人手语数据的差异性矛盾给原有研究框架的有效性带来了挑战.提出了非特定人手语识别新的研究框架,并给出了解决问题的策略与思路.这些问题的解决将对中国手语识别及其他相关领域具有非常重要的意义.     

基于手势数据分析的地方手语动画合成方法研究*

为了在现有的手势数据基础上合成新的地方手语手势,采取对这些手势数据进行运动相似性分段和动态聚类自动获取具有时序特征的基本手形类数据以及结合手臂状态数据的方法,最后生成新的地方手语手势动画数据。这不仅节省了重新采集数据需要的昂贵设备和大量工作,而且也能达到手势表达准确性的目的。     

面向广电节目的虚拟人手语合成显示平台研究

基于中国手语合成技术的虚拟人手语视频显示平台技术是一个全新的课题.为了满足广电新闻节目对手势运动流畅性要求,实现了一种上下文相关的手势运动平滑算法,该方法能够充分利用前后两帧的差异来实现手势运动的平滑过渡,其视觉感观效果较传统插值算法更加平滑自然;同时提出了一种基于统计和规则相结合的手势运动重定向算法,在统计方法的基础上针对不同骨架大小以及运动特性进行规则约束,使得标准模型手势运动数据应用到新模型上而不失其准确性;最后,通过扩展基本手语词表达形式并基于alpha融合技术实现了面向广电新闻节目的虚拟人手语合成显示平台并取得很好的结果.     

非特定人手语识别问题中的合成数据驱动方法

针对手语识别研究中训练样本缺乏,提出了一种衍生数据的方法,有效地解决了动态多数据流手语训练用样本合成问题.利用mean-shift算法可以方便、快捷地得到密度函数梯度的变化方向,从而控制衍生的方向和强度.算法同时考虑到合成样本尽可能包含非特定人的信息及其有效性,对数据所实现的变形不会被识别系统的初始化过程逆转.合成数据驱动的效果受模型的容量、合成的强度与方向影响.在多种实验环境下对驱动效果进行评估,识别率有所提高,在某些例子中提高明显.     

一种新的手势运动数据重定向方法

提出了一种新的重新定向手势运动数据的方法.它把通过运动捕获设备捕获的手势数据重新定向到具有不同大小和比例的虚拟人模型上,从而生成与原运动含义相同且真实自然的动画.首先通过手势特征分析在人体上选择关键敏感点和次关键敏感点,然后利用提出的基于空间相对位置的方法确定重定向后敏感点的位置,最后采用改进的逆运动学方法实现了手势运动的重定向.实验表明,提出的方法使得中国手语合成系统的可懂度提高30%以上.     

基于SRN/HMM的非特定人连续手语识别系统

手语识别是通过计算机提供一种有效而准确的机制将手语翻译成文本或语音。目前最新发展水平的手语识别系统在实际应用中应解决非特定人连续手语问题。提出一种将连续手语识别分解成各弧立词识别的分治方法，用于非特定人连续手语识别。把精简循环网（simple recurrent network,简称SRN）作为连续手语的段边界检测器，把SRN分段结果作为隐马可夫模型（hidden Markov models,简称HMM）框架中的状态输入，在HMM框架里使用网格Viterbi算法搜索出一条最佳手语词路径。实验结果表明，该方法的识别效果比单纯使用HMM要好。     

基于音系学模型的手语理解

该文试图模拟人脑处理手势信号的过程,设计了一个混合的深层神经网络模型来解决基于音系学模型的手语理解问题,即手语音韵信息到文本转换的问题。为此该文首先综合了手语语言学里同时性和序列性这两个观点的长处,提出了一个手语音系学的改进模型,并针对难点设计了基于音系学模型的手语理解算法。直接从语言学的音韵特征推断手语文本,相比从视觉特征推断出手语文本是一个很大的飞跃。实验验证了该认知计算技术的有效性,为实现类人智能奠定了技术基础。     

文本驱动的聋哑人手语合成系统

主要介绍作者在文本驱支的聋哑人手语合成研究领域取得的研究成果,给出了手语、手势的形式化定义,介绍了设计、实现的文本驱动的聋哑人手语合成的结构和手语合成过程,提出了虚拟三维人手及手臂的抽象结构、手及手臂的运动控制模型、手语参数的获取方法,手势库的建立方法以及手及手臂的运动控制算法;给出了详细的实验结果及结论。     

改进SSD算法在中国手语识别上的应用

基于计算机视觉的手语识别技术能为聋校双语教学带来很大的便利。近年来,随着深度学习技术的蓬勃发展,手语识别的准确率和速度有了极大的提高。与使用颜色标记和外界技术（如Kinect手心定位技术）的方法不同,提出一种改进的SSD（Single-Shot Multibox Detector）网络,对手势进行目标检测完成中国手语识别。针对手部小目标,将SE-Net嵌入SSD中的特征层进行通道权重分配,改进损失函数更好地应对正负样本不均衡问题,使用mixup进行数据增强,将手势识别结果在中国手语关键手势模板库中进行匹配,从而完成动态手语识别。实验证明,该算法在手语识别上具有较高的准确率和识别速度。     

Bangla language modeling algorithm for automatic recognition of hand-sign-spelled Bangla sign language

Because of using traditional hand-sign segmentation and classification algorithm,many diversities of Bangla language including joint-letters,dependent vowels etc.and representing 51 Bangla written characters by using only 36 hand-signs,continuous hand-sign-spelled Bangla sign language(BdSL)recognition is challenging.This paper presents a Bangla language modeling algorithm for automatic recognition of hand-sign-spelled Bangla sign language which consists of two phases.First phase is designed for hand-sign classification and the second phase is designed for Bangla language modeling algorithm(BLMA)for automatic recognition of hand-sign-spelled Bangla sign language.In first phase,we have proposed two step classifiers for hand-sign classification using normalized outer boundary vector(NOBV)and window-grid vector(WGV)by calculating maximum inter correlation coefficient(ICC)between test feature vector and pre-trained feature vectors.At first,the system classifies hand-signs using NOBV.If classification score does not satisfy specific threshold then another classifier based on WGV is used.The system is trained using 5,200 images and tested using another(5,200×6)images of 52 hand-signs from 10 signers in 6 different challenging environments achieving mean accuracy of 95.83%for classification with the computational cost of 39.972 milliseconds per frame.In the Second Phase,we have proposed Bangla language modeling algorithm(BLMA)which discovers all"hidden characters"based on"recognized characters"from 52 hand-signs of BdSL to make any Bangla words,composite numerals and sentences in BdSL with no training,only based on the result of first phase.To the best of our knowledge,the proposed system is the first system in BdSL designed on automatic recognition of hand-sign-spelled BdSL for large lexicon.The system is tested for BLMA using hand-sign-spelled 500 words,100 composite numerals and 80 sentences in BdSL achieving mean accuracy of 93.50%,95.50%and 90.50%respectively.     

论中国手语的分类词谓语

分类词谓语是手语中一种独特的语言现象。中国大陆学者对分类词谓语的研究刚开始涉足,尚未见到系统的研究报道。该文试图从语言学的角度对中国手语分类词谓语做了语义认知分析,首先结合Talmy的动态事件和代形词的分析,解释中国手语的分类词谓语现象,分析主体和背景的代形词如何形成以达到手语同时性和序列性要求,并由此确定主体代形词和背景代形词通常是由非运动的手形组成;另一方面也说明中国手语与汉语的相互影响,对“动作”和“位于”这两类的手语代形词做了较为详细的描述及分类。     

基于细胞神经网络的快速手语视频分割方法

为实现感兴趣区手语视频编码,提高通话效率,提出一种基于细胞神经网络(CNN)的快速手语视频分割方法。该方法首先利用肤色信息特征进行基于CNN的肤色检测,检测出手语视频中的肤色区域;然后对肤色检测结果,利用帧差法进行基于CNN的运动检测,获得初始的手势区域;最后采用形态学处理方法进行空洞填充和边界平滑,实现了手语视频图像序列中的面部和手部区域的分割。研究结果表明,该方法能够快速准确地进行手语视频分割。     

手语识别、翻译与生成综述

手语研究是典型的多领域交叉研究课题,涉及计算机视觉、自然语言处理、跨媒体计算、人机交互等多个方向,主要包括离散手语识别、连续手语翻译和手语视频生成.手语识别与翻译旨在将手语视频转换成文本词汇或语句,而手语生成是根据口语或文本语句合成手语视频.换言之,手语识别翻译与手语生成可视为互逆过程.文中综述了手语研究的最新进展,介...     

基于ICF和多级分类器的交通标志检测

针对传统的基于积分通道特征(ICF)和Adaboost交通标志检测算法,召回率过低和误检率过高的问题,提出了一种两阶段交通标志检测方法.第一阶段对ICF进行谱聚类并结合Adaboost算法学习得到目标感兴趣区域(ROI);第二阶段对所获得的感兴趣区域进行直方图均衡化,利用尺度不变特征变换(SIFT)描述子与支持向量机(SVM)分类器相结合,提高了目标区域检测的准确性.通过德国交通标志数据集(GTSDB)的验证,结果表明:采用SICF-Adaboost +SIFT-SVM构建的交通标志级联分类器检测算法相对于传统的ICF-Adaboost算法召回率高且误检率低,适用于真实场景下的交通标志检测.     

快速鲁棒的交通标志检测方法

如何从实景中有效地提取出交通标志是交通标志识别系统的关键,在分析中国道路限速交通标志的颜色和几何形状两种先验特征的基础上,以一种新的颜色滤波方法为基础,获得红色像素在Lab颜色空间中聚类范围的椭圆模型,提取出图像中的红色区域,得到二值化图像,然后采用基于梯度信息的Hough变换圆检测方法获得二值化图像中的圆和椭圆区域,从而实现一种将交通标志先验特征与机器学习算法相融合的智能检测方法。     

基于肤色分割与改进VGG网络的手语识别

传统的手语识别仅仅依靠人工选取的底层特征完成识别, 难以适应手语图像背景的多样性, 本文提出了一种综合多要素的手语肤色分割与改进VGG网络的手语识别方法. 对采集到的手语图像利用椭圆模型进行初步分割, 根据最大连通域排除背景中的类肤色区域并用质心定位的方法去除手部区域以外的肤色区域, 从而实现手语图像准确分割. 在原有VGG网络的基础上减少卷积及全连接的层数对VGG网络进行改进, 减少了所需的存储容量和参数数量. 将分割后的手语灰度图像作为网络的输入, 采用改进的VGG网络建立手语的识别模型. 通过比较不同结构的网络模型对手语图像的识别率, 表明改进的VGG网络能够有效进行特征学习, 对手语图像的平均识别率都达到97%以上.     

基于SOFM/HMM模型的非特定人手语识别系统

手语识别是通过计算机提供一种有效而准确的机制将手语翻译成文本或语音。目前最新发展水平的手语识别系统在实际应用中应该解决非特定人手语识别问题。该文在分析非特定人手语识别特点－数据多且差异大、模型训练难收敛、对不同人数据的特征提取需求更迫切－的基础上，提出了SOFM／HMM模型，将自组织特征映射（SOFM）很强的特征提取功能和隐马可夫模型（HMM）良好的处理时间序列属性结合在一个新颖的框架下，并把该模型应用到非特定人中国手语识别中，实验结果表明，SOFM／HMM模型手语识别率比传统的HMM模型提高近5％。