基于手机传感器轨迹的路面地物检测方法

针对传统路面地物信息采集方法存在的数据采集周期长、成本高等问题,提出了一种基于手机传感器轨迹的城市路面地物检测方法.利用手机记录车辆行驶过程中各传感器数据的变化,分析经过姿态校正后的加速度数据,研究加速度变化与路况之间的联系,构建BP神经网络模型,并使用已采集数据对模型进行训练,以识别路面地物.实验结果表明,基于手机传感器轨迹的路面地物检测方法具有快速准确地检测路面地物信息的能力,且地物检测准确率大于85％,能够较为准确地检测路面地物,文中基于手机姿态传感器对手机加速度传感器姿态进行了实时矫正,利用手机垂直于路面的加速度变化检测路面地物,因此所提方法具有手机加速度传感器姿态无关性,此外,所提方法对硬件设备要求低、数据采集效率高,降低了路面地物信息采集的成本,具有广泛的应用前景.     

结合多传感器信息分析的手机用户认证方案

针对手机个人信息安全的保护,设计了一种基于传感器信息分析的用户认证方案。利用内置加速度传感器和触摸屏传感器采集用户数据,对电话接听、触屏滑动操作、待机状态等行为进行特征分析,运用动态时间规整算法分别进行分类识别。考虑单一特征局限于特定状态导致识别结果的稳定性较差,进一步引入多元线性回归方法构建融合判定模型,有效提高了个体区分度。该方案不需要特定的硬件设备配置,满足实际场景中用户使用舒适性要求,实验仿真结果验证了方案的有效性,能够准确辨别用户本人对手机的控制状况。     

MEMS惯性传感器ADIS16355在姿态测量中应用研究

为了实现惯性导航控制,需获取控制对象的姿态角信息,设计了基于MEMS惯性传感器集成模块ADIS16355的姿态测量系统。该姿态测量系统采用ADIS16355作为惯性测量单元,利用加速度计对重力向量的观测来修正陀螺给出的姿态信息,卡尔曼滤波实现传感器信息融合以计算运动载体的姿态角。介绍了ADIS16355的基本功能模块,阐述了两种传感器融合测量实时姿态角的方法并给出了卡尔曼滤波算法迭代过程,基于ARMv7架构的Cotex-M3微处理器设计了姿态测量系统硬件。采用AHRS500GA对该姿态测量系统性能进行了测量姿态角的验证实验,测试结果表明,该姿态测量系统能在动态条件下准确地测定运动物体实时姿态角,其误差一般在?1?左右。     

MEMS惯性传感器ADIS16355在姿态测量中的应用

设计了基于微电子机械系统(Microelectro mechanical system,MEMS)惯性传感器集成模块ADIS16355的姿态测量系统。该姿态测量系统采用ADIS16355作为惯性测量单元,利用加速度计对重力向量的观测来修正陀螺给出的姿态信息,卡尔曼滤波实现传感器信息融合以计算运动载体的姿态角。介绍了ADIS16355的基本功能模块,阐述了两种传感器融合测量实时姿态角的方法并给出了卡尔曼滤波算法迭代过程。基于ARMv7架构的Cotex-M3微处理器设计了姿态测量系统硬件。采用AHRS500GA对该姿态测量系统性能进行了测量姿态角的验证实验。测试结果表明,该姿态测量系统能在动态条件下准确地测定运动物体实时姿态角,其误差一般在±1°左右。     

改进Yolov5的手语字母识别算法研究

手语是聋哑人进行信息交流的重要手段，而手语字母是手语的基本组成单元，手语字母识别也是人机交互的重要组成部分.手语识别作为一种新的人机交互方式，被广泛应用到虚拟现实系统.而现有的检测设备价格昂贵，检测方法精度低，检测速度慢，不能满足实时检测的要求，且在不同的设备间移植困难.Yolov5网络具有检测精度高，检测速度快，便于移植等优点，现以Yolov5网络为基础进行改进，融入SE通道注意力机制和ASFF自适应特征融合机制，并对数据集进行处理，增加在强光下带有投影以及复杂背景和进行灰度处理过的图片，使Yolov5对于图像高层的语义信息以及对底层的轮廓、边缘、颜色、形状信息利用的更加充分.与改进前的Yolov5模型相比，改进后的Yolov5-ASFF-SE模型在检测速度基本保持不变的前提下，检测精度提高了5.8%,平均检测精度MAP提高了6%,结果表明，改进的Yolov5-ASFF-SE模型能够实时，准确的对手语字母进行识别，且方便的移植到手机等便携设备中，方便聋哑人之间的交流，对未来人机交互的发展也具有一定的参考价值.     

一种基于特征增强和决策融合的人体行为识别方法

利用三轴加速度传感器进行人体行为识别一直是传感器数据处理、模式识别领域的研究热点。加速度数据往往存在着多种动作数据难以区分的情况,特别是走、上楼、下楼这3个动作数据非常相似,这给正确识别这3种人体动作带来了较大的难度。提出一种基于特征增强与决策融合的行为识别方法,通过对部分特征值进行增强处理和对多个分类结果进行决策融合来识别走、上楼、下楼这些难以区分的相似动作。实验验证,所提方法可克服由于加速度数据的相似性而导致的动作识别正确率低、识别误差大的情况,有效提高人体行为识别率,且可在实际应用中实时识别人体行为动作。     

面向聋哑人群的无障碍交流辅助系统设计研究

为了减少聋哑人与正常人交流的障碍,让聋哑人能更好地表达自己的想法和情感,提出了一种无障碍交流辅助系统并提出终端设备的设计策略。该系统利用手势识别技术采集手语动作,利用情感识别技术采集实时情感,利用语音和增强现实技术进行信息输出,同时利用情感化设计的方法对系统和设备进行优化,以帮助聋哑人更好地融入社会。     

基于随机自适应方法的多传感器融合算法

针对基于熵理论的贝叶斯信息融合技术需要进行无穷区间的积分运算,容易出现数值不稳定的问题,提出一种基于随机自适应方法的多传感器融合算法。利用传感器测量值之间的差值自适应地建立传感器的后验概率分布模型;结合互信息的理论实时识别和剔除伪测量值,避免求熵时的积分计算;将该方法分别应用于集中式融合方案和分布式融合方案中得到了两种新的数据融合方法。仿真实验结果表明,在存在伪测量值的情况下,该算法性能明显优于一般的贝叶斯融合方法。     

一种基于隐变量模型的聚类算法用于气体传感器阵列数据的模式识别

聚类分析方法是一种无需先验信息即能探索数据内在分类结构信息的模式识别方法,已经被广泛应用到气体传感器阵列的模式识别研究中.该文提出了基于隐变量模型的聚类算法对两组金属氧化物半导体(MOS)传感器阵列数据进行模式识别.数据处理结果表明,该方法能准确的对两组传感器阵列数据中对应不同气体物质的样本进行分类识别.     

基于LSTM的多维度特征手势实时识别

手势识别广泛应用于传感领域,主要有基于计算机视觉、基于深度传感器与基于运动传感器等3种手势识别方式。基于运动传感器的手势识别具有输入数据少、速度快、直接获取手部三维信息的优点,逐渐成为当前的研究热点。传统基于运动传感器的手势识别本质为模式识别问题,其准确率严重依赖于先验经验提取的特征数据集。与传统的模式识别方法不同,深度学习可以在很大程度上减少人工启发式提取特征的工作量。为解决传统模式识别存在的问题,文中提出一种基于长短期记忆网络(LSTM)的多特征手势实时识别方法,通过充分的实验验证了该方法的性能。该方法首先定义了5种基本手势和7种复杂手势的手势库,基于手部姿态的运动学特征,进一步提取角度特征和位移特征,随后利用短时傅里叶变换(SFTF)提取传感器数据的频域特征,将3种特征输入深度神经网络LSTM中进行训练,从而对采集的手势进行分类识别。同时为了验证所提方法的有效性,通过自设计的手持式体验棒收集了6名志愿者的手势数据作为实验数据集。实验结果表明,提出的识别方法对于基本手势和复杂手势的识别准确率达到94.38%,与传统的支持向量机、K-近邻法和全连接神经网络相比,识别精度提升了近2%。     

基于ANN/HMM的中国手语识别系统

手语是聋哑人使用的语言。它是由手形动作辅之以表倩姿势为符号构成的比较稳定的表达系统,是一种靠动作／视觉交际的特殊的语言。一方面,手语识别可以作为健全人与聋哑人之间的翻译,为聋哑人提供更好的服务;另一方面,作为人体语言理解的一部分,手语识别可作为人机交互的一种手段。该文实现了基于ANN／HMM的手语识别系统,采用ANN方法建立了关于手形、位置、方向的特征映射器,并在建立手形特征映射器的过程中,给出了多特征多分类器融合算法。实验证明,基于ANN／HMM的手语识别系统是可行及实用的。     

An algorithm on sign words extraction and recognition of continuous Persian sign language based on motion and shape features of hands

Sign language is the most important means of communication for deaf people. Given the lack of familiarity of non-deaf people with the language of deaf people, designing a translator system which facilitates the communication of deaf people with the surrounding environment seems to be necessary. The system of translating the sign language into spoken languages should be able to identify the gestures in sign language videos. Consequently, this study provides a system based on machine vision to recognize the signs in continuous Persian sign language video. This system generally consists of two main phases of sign words extraction and their classification. Several stages, including tracking and separating the sign words, are conducted in the sign word extraction phase. The most challenging part of this process is separation of sign words from video sequences. To do this, a new algorithm is presented which is capable of detecting accurate boundaries of words in the Persian sign language video. This algorithm decomposes sign language video into the sign words using motion and hand shape features, leading to more favorable results compared to the other methods presented in the literature. In the classification phase, separated words are classified and recognized using hidden Markov model and hybrid KNN-DTW algorithm, respectively. Due to the lack of proper database on Persian sign language, the authors prepared a database including several sentences and words performed by three signers. Simulation of proposed words boundary detection and classification algorithms on the above database led to the promising results. The results indicated an average rate of 93.73 % for accurate words boundary detection algorithm and the average rate of 92.4 and 92.3 % for words recognition using hands motion and shape features, respectively.     

基于SOFM/HMM模型的非特定人手语识别系统

手语识别是通过计算机提供一种有效而准确的机制将手语翻译成文本或语音。目前最新发展水平的手语识别系统在实际应用中应该解决非特定人手语识别问题。该文在分析非特定人手语识别特点－数据多且差异大、模型训练难收敛、对不同人数据的特征提取需求更迫切－的基础上，提出了SOFM／HMM模型，将自组织特征映射（SOFM）很强的特征提取功能和隐马可夫模型（HMM）良好的处理时间序列属性结合在一个新颖的框架下，并把该模型应用到非特定人中国手语识别中，实验结果表明，SOFM／HMM模型手语识别率比传统的HMM模型提高近5％。     

基于传感器校正与融合的农用小型无人机姿态估计算法

实时姿态信息获取是运用农用小型无人机(Unmanned aerial vehicle, UAV)进行变量作业控制的重要环节,本文采用STM32单片机、微机电系统(Micro-electro mechanical system, MEMS)加速度计、陀螺仪、磁强计和无线收发模块设计出农用小型无人机姿态实时解算系统,文中对三轴数字传感器的校正方法以及基于四元数和梯度下降法的多传感器融合姿态估计做了详细地介绍与推导.结果表明,在72MHz时钟频率下模拟集成电路总线(Inter-integrated circuit, ⅡC)传感器数据采集及滤波消耗6.2ms,迭代步长取0.8,一次姿态解算消耗约0.96ms,数据更新频率可达100Hz,能满足实时性要求.经测试在静态时俯仰角和翻滚角输出的平均绝对误差小于1.5,偏航角平均绝对误差小于2.9,小幅震动条件下的俯仰角、翻滚角和偏航角平均绝对误差增加1~2左右.这表明该传感器校正方法与姿态融合算法实用有效,能为农用小型无人机的飞行控制与变量作业实施提供准确的姿态数据.     

采用深度图像信息和SLVW的手语识别

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和SLVW的算法。该方法将Kinect作为手语视频采集设备,在获取彩色视频的同时得到其深度信息;计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势进行准确跟踪;使用基于深度积分图像的Ostu算法分割手势,并提取其SIFT特征;构建了SLVW词包作为手语特征,并用SVM进行识别。通过实验验证该算法,其单个手语字母最好识别率为99.87%,平均识别率96.21%。     

面向广电节目的虚拟人手语合成显示平台研究

基于中国手语合成技术的虚拟人手语视频显示平台技术是一个全新的课题.为了满足广电新闻节目对手势运动流畅性要求,实现了一种上下文相关的手势运动平滑算法,该方法能够充分利用前后两帧的差异来实现手势运动的平滑过渡,其视觉感观效果较传统插值算法更加平滑自然;同时提出了一种基于统计和规则相结合的手势运动重定向算法,在统计方法的基础上针对不同骨架大小以及运动特性进行规则约束,使得标准模型手势运动数据应用到新模型上而不失其准确性;最后,通过扩展基本手语词表达形式并基于alpha融合技术实现了面向广电新闻节目的虚拟人手语合成显示平台并取得很好的结果.     

基于手语视觉单词特征的手语字母识别研究

为有效识别手语字母,提出一种手语视觉单词(SLVW)的识别方法。采用Kinect获取手语字母视频及其深度信息,在深度图像中,通过计算获得手语手势的主轴方向角和质心位置以调整搜索窗口,利用基于深度图像信息的DI_CamShift方法对手势进行跟踪,进而使用基于深度积分图像的Ostu方法分割手势,并提取其尺度不变特征变换数据。将局部特征描述子表示的图像小区域量化生成SLVW,统计一幅手语图像中的视觉单词频率,用词包模型表示手语字母,并用支持向量机进行识别。实验结果表明,该方法不受颜色、光照和阴影的干扰,具有较高的识别准确性和鲁棒性,对复杂背景手语视频中的30个手语字母的平均识别率达到96.21%。     

大规模连续中国手语数据集的创建与分析

绝大多数健听人不懂手语导致听障人在找工作、就医、法律咨询等各生活、工作领域中遇到了极大的沟通障碍，而手语翻译员需要提前预约，成本也非常高，所以很多科研工作者都开始利用机器学习来开发手语自动翻译器，但其中的大部分研究都因为受到了数据集规模和质量的影响而效果不佳。为解决上述矛盾和问题，创建了目前全球最大的中国连续手语数据集，并使用了考虑身体关节的位置、面部表情及手指关节的端到端的深度学习模型进行有效训练。结论突显了现代深度学习技术在识别复杂手语方面的巨大优势，针对较小子集的BLEU-4已达到30.8。     

多层DGMM识别器在中国手语识别中的应用

手语是聋人使用的语言,是由手形动作辅之以表情姿势由符号构成的比较稳定的表达系统 ,是一种靠动作/视觉交际的语言.手语识别的研究目标是让机器“看懂”聋人的语言.手 语识别和手语合成相结合,构成一个“人-机手语翻译系统”,便于聋人与周围环境的交 流.手语识别问题是动态手势信号即手语信号的识别问题.考虑到系统的实时性及识别效率, 该系统选取Cyberglove型号数据手套作为手语输入设备,采用DGMM(dynamic Gaussian mixt ure model)作为系统的识别技术,并根据中国手语的具体特点,在识别模块中选取了多层识 别器,可识别中国手语字典中的274个词条,识别率为97.4%.与基于单个DGMM的识别系统比 较,这种模型的识别精度与单个DGMM模型的识别精度基本相同,但其识别速度比单个DGMM的 识别速度有明显的提高.