时空特征与通道注意力融合的视觉手势识别技术

为了解决双流融合网络对动态手势关键帧及手部轮廓特征检测不足的问题,提出一种手势时空特征与通道注意力融合的动态手势识别方法.首先,在双流融合网络中引入有效通道注意力(eficient channel attention,ECA)增强双流识别算法对手势关键帧的关注度,并利用双流中的空间卷积网络和时间卷积网络分别提取动态手势中的空间和时序特征;其次,通过ECA在空间流中选取最高关注度的手势帧,利用单发多框检测器技术(single shot multibox detector,SSD)提取相应手部轮廓特征;最后,将手部轮廓特征与双流中提取的人体姿态特征、时序特征融合后分类识别手势.该方法在Chalearn 2013多模态手语识别数据集上进行了验证,准确率为66.23％,相比之前在该数据集上仅使用RGB信息进行双流识别的方法获得了更好的手势识别效果.     

基于关键帧的双流卷积网络的人体动作识别方法

针对视频序列中人体动作识别存在信息冗余大、准确率低的问题,提出基于关键帧的双流卷积网络的人体动作识别方法.该方法构建了由特征提取、关键帧提取和时空特征融合3个模块构成的网络框架.首先将空间域视频的单帧RGB图像和时间域多帧叠加后的光流图像作为输入,送入VGG16网络模型,提取视频的深度特征;其次提取视频的关键帧,通过不断预测每个视频帧的重要性,选取有足够信息的有用帧并汇聚起来送入神经网络进行训练,选出关键帧并丢弃冗余帧;最后将两个模型的Softmax输出加权融合作为输出结果,得到一个多模型融合的人体动作识别器,实现了对视频的关键帧处理和对动作的时空信息的充分利用.在UCF-101公开数据集上的实验结果表明,与当前人体动作识别的主流方法相比,该方法具有较高的识别率,并且相对降低了网络的复杂度.     

基于动作轮廓特征的人体动作识别

提出了一种人工挑选关键帧的人体动作识别方法.先从标准视频中提取出能代表姿势的关键动作,然后对待测视频中每一帧图像中人体动作和关键动作比较分类来确定动作时间的相关度和相似度.实验结果表明人工挑选关键帧具有数量少和动作代表性强的特性,基于动作轮廓特征的人体动作识别方法在识别速度上比传统的方法快,识别率也较高.     

基于Kinect的跌倒行为识别算法

根据人体跌倒时的骨架特征,提出了一种人体跌倒行为识别方法.首先,依据跌倒行为的定义,将人体的头部和重心节点作为表征跌倒行为的特征参数,通过Kinect传感器获取人体骨架信息; 其次,采用滑动窗口和阈值方法确定行为的发生阶段,并提取其运动特征向量; 最后,通过人工神经网络对本文提取的跌倒行为特征进行训练和识别.实验结果表明,本文提出的方法高效准确,识别率达到90.5%.     

基于先验的动作视频关键帧提取

针对运动视频关键帧提取结果运动表达能力差的问题,以健美操运动视频关键帧提取为例,将先验语义引入到视频片段分割和关键帧提取特征提取等过程中,提出基于先验的运动视频关键帧提取算法。该算法采用韵律特征和动作节拍连续性等先验知识,将健美操动作视频分解成不同长度的动作视频片段,并利用Hog人体分类器从每一帧图像中识别出人体边界框;通过人体模板将人体边界框分割为16个运动块,并采用光流法计算每个运动块的基本运动方向;通过比较运动块基本运动方向的差异实现了动作视频关键帧提取。实验证明,该方法在保证关键帧视频压缩的情况下,具有更好地动作概括力。     

基于注册和多尺度表观模型的三维头部跟踪

针对人体大范围运动下的头部姿态跟踪问题,提出一种基于尺度不变特征变换（SIFT）局部描述符注册和多尺度表观模型的三维头部姿态跟踪方法.基于SIFT局部描述符的注册算法通过在两帧灰度图像间进行特征点匹配计算两帧间的头部运动,在两帧人脸图像的尺度有一定变化时仍可得到精确结果.多尺度视角表观模型可以减少大范围跟踪时的误差累积,该模型在线选取具有不同头部姿态的关键帧,并通过多次注册的方法来减少当前帧的误差累积.实验结果表明,该方法不仅跟踪结果准确（均方根（RMS）误差为4 °）,而且在人体前后运动约1 m和头部进出摄像机视角情况下均很鲁棒.     

基于视觉Transformer时空自注意力的工人行为识别

针对人机协作特殊场景中工人行为识别的问题，提出基于Transformer网络的视频人体行为识别模型，利用Transformer网络核心的自注意力机制，减少网络的结构复杂度，提升网络的性能.模型在提取图像空间特征的基础上，增加时间特征的分析，从空间和时间2个维度实现对视频数据的处理.在处理后的数据中提取分类向量传入分类模块，得到最终的识别结果.为了验证模型的有效性，分别在公开数据集UCF101和实验室采集的工人常规行为（自建）数据集上进行人体行为识别实验.实验结果显示，在UCF101上模型平均识别准确率为93.44%，在自建数据集上模型平均识别准确率为98.54%.     

一种基于CSI的人体动作计数与识别方法

WiFi信道状态信息（CSI）被广泛应用于被动式（非侵入式）人体行为判断,为使用现有商用设备实现人体连续动作计数与识别,提出了一种Wi-ACR方法.先利用阈值和活动指标检测出一组连续动作发生的区间和时间,再通过peak-find算法统计出动作的数量,并确定每个动作的开始和结束时间;再分别采用基于波形特征的动作识别模型和基于统计特征的动作识别模型,得到动作识别结果.实验评估结果表明,Wi-ACR对动作计数的准确率可达95%,两类识别模型对于2个动作（深蹲和走）的平均识别精准率为90%.     

基于轮廓特征的人体行为识别

提出了一种以运动人体轮廓为特征,基于模板匹配的人体行为识别方法。首先,利用背景差分法和阴影消除技术提取运动人体轮廓;定义一种边界点-半径的轮廓描述方法,将时变的二维轮廓形状转换为对应的一维距离向量;以成本函数为特征向量,利用谱系聚类方法提取行为序列的关键姿态;最后,将关键姿态编码为行为字符串,利用编辑距离度量测试序列与标准序列间的相似性。实验结果表明,利用本文方法对人的6种日常行为进行识别,正确识别率达到84.3%以上,具有简单实用的特点。     

以轮廓为对象的体态特征情绪分类与预测

采用摄像机对人体行为进行采集,基于OpenCV库对人体行为进行特征提取,在已有学者研究的基础上,拓展所采集低层运动特征,引入PAD情绪量表对个体进行评估.采用中国民族音乐作为情绪诱发素材,对10名受试者进行正、中、负性情绪诱发,受试者通过外显行为将自身情绪自然表达出来;通过PAD情绪量表评估每段诱发素材的情绪状态,视频采集该情绪状态下受试者的行为;采用轮廓法提取视频中个体行为的体态特征,主要包括个体轮廓相对面积及变化特征;结合情绪量表的评估结果,采用支持向量机对个体体态特征所蕴含的情绪进行分类学习,实现体态特征的情绪预测.结果实现了体态特征的情绪分类,且以正、负性情绪为类别进行体态特征分类的情绪预测准确率达到76.92%.     

基于区域合并与轮廓模型的图像序列人物轮廓分割

为解决受图像背景复杂度影响,分水岭算法较难高精度实现图像序列中人物轮廓的分割与追踪这一问题,提出了利用颜色空间转换的区域合并实现目标轮廓区域的划分、并基于人物头部轮廓信息生成人物领域轮廓模型的方法。通过对人物领域边界线生成的初步轮廓模型进行高斯函数的卷积运算,生成形态轮廓模型的有效对象模板,实现图像序列的人物领域中不依靠序列差分和移动向量亦能在图像序列中追踪移动对象。基于颜色空间转换的区域合并和轮廓模型算法,可满足视频背景变动并且背景复杂的情况下对图像序列中的人物轮廓进行有效分割。实验结果验证了本算法的有效性与鲁棒性,可有效而稳定实现图像序列中人物轮廓的分割。     

目标识别的极指数栅格方法

在极对数坐标下常常通过傅立叶变换得到目标的轮廓不变量来识别目标,提取的特征量多且花费的时间长,因此提出了一种新的目标识别的极指数栅格方法,该方法首先将直角坐标中的目标映射到极对数坐标下,把包围变换中心的目标轮廓变换成一维目标曲线,然后提取曲线的结构特征,包括目标的跨度、目标曲线面积比率和目标曲线分布状况,这些结构特征具有旋转、缩放、平移不变性,用BP网络对3个二维目标进行学习和识别,实验证明,利用结构特征进行识别得到了较好的识别效果,并且花费的时间少,但是本方法仅适用于没有滚动和扭动的单个运动目标识别。     

复杂背景下的篮球识别

针对篮球比赛视频分析应用,提出了一种多层次的篮球对象识别方法.利用篮球颜色一致性较好的特点,通过彩色训练提取篮球颜色的统计范围,根据该统计范围得到图像中可能的篮球区域;根据篮球轮廓为圆的特点,采取方向滤波器和Hough变换相结合的方法提取可能轮廓区域中的圆形轮廓,得到候选篮球;最后,利用篮球典型的纹理特征,采用模板匹配的方法对候选篮球进行确认.实验结果证明了该算法的有效性,且多层次算法可推广应用于其他球类对象识别.     

采用SOM算法的软体机械臂三维形状实时感知

为实现软体机械臂精确的三维形状实时估计,奠定变形控制与应用的基础性工作,针对三段式软体机械臂,提出了一种基于自组织映射(Self-organizing map, SOM)算法的三维空间形状实时感知方法。首先,对ZED双目相机捕捉到的左、右图像帧进行图像预处理,得到左、右二值图像,并实时提取软体机械臂的二维轮廓数据。然后,采用SOM算法对轮廓数据进行聚类,有序得到软体机械臂二维中心线的多个骨干点,并与K均值,高斯混合模型以及细化3种中心线提取算法进行了对比研究,进一步表明SOM算法更适用于解决软体机械臂复杂形状的中心线辨识。最后,通过基于双目视差的三角测距模型完成软体机械臂的三维形状重构。该算法还采用数据降采样、SOM参数优化等方法,提高算法框架的实时性能。针对软体机械臂连续形变过程,进行了实时形状传感实验和对比验证实验。实验结果表明,该算法具有较高的形状感知精度和较好的实时跟踪效果。不仅如此,与其他文献中提出的形状检测算法相比,该算法也具有较好的性能。     

基于形状先验与轮廓预定位的目标分割

针对单帧图像中特定目标的分割一直面临着由于背景复杂和光照变化等因素带来的分割精度偏低的问题,提出一种基于轮廓预定位的先验局部二值拟合(local binary fitting,LBF)算法,用于人体上肢图像的分割.首先,利用浅层卷积神经网络对上肢形状模板进行筛选和预定位,得到分割目标的粗轮廓曲线;然后,利用基于先验形状的LBF算法对粗轮廓曲线进行演化,得到分割目标的精确轮廓曲线.实验结果显示算法的成功率在90%以上,表明该方法对于背景复杂和光照变化情况下的特定目标分割具有良好的效果.     

An approach for complex activity recognition by key frames

A new method for complex activity recognition in videos by key frames was presented. The progressive bisection strategy(PBS) was employed to divide the complex activity into a series of simple activities and the key frames representing the simple activities were extracted by the self-splitting competitive learning(SSCL) algorithm. A new similarity criterion of complex activities was defined. Besides the regular visual factor, the order factor and the interference factor measuring the timing matching relationship of the simple activities and the discontinuous matching relationship of the simple activities respectively were considered. On these bases, the complex human activity recognition could be achieved by calculating their similarities. The recognition error was reduced compared with other methods when ignoring the recognition of simple activities. The proposed method was tested and evaluated on the self-built broadcast gymnastic database and the dancing database. The experimental results prove the superior efficiency.     

基于NNE技术的手臂运动模式识别算法研究

本文将神经网络集成(Neural network ensemble,NNE)算法应用于人体手臂运动模式识别领域中,通过对手臂不同运动模式下的表面肌电信号(sEMG)的采集、分析与处理,识别出与其对应的手臂运动模式。主要利用小波包分解(WPD)算法提取表面肌电信号的时-频特征向量,利用集成神经网络对表面肌电信号特征向量进行模式识别;神经网络集成模型由Bagging算法生成,参与集成的个体神经网络均为BP神经网络,集成神经网络的输出由单个神经网络的输出通过相对多数投票法产生。最后,对手臂4个不同运动模式下的表面肌电信号进行了模式识别实验。实验结果表明,与个体神经网络相比,集成神经网络可以显著地提高手臂动作的识别率,证明了将神经网络集成技术用于手臂运动模式识别的有效性和可行性。     

基于U-Net的颅内出血识别算法

针对颅脑计算机断层成像（CT）影像中脑出血的分析和识别，提出采用神经网络模型U-Net与轮廓识别相结合的方法提取脑实质区域，通过阈值分割算法分析血块的图像纹理特征，并过滤软组织、脑组织和脑脊液等无关生理组织结构，实现对颅内出血点的精确定位，最后采用插值方法将出血区域进行三维重建，对血块的三维形态作出评估.在天津市某医疗机构提供的500例颅脑CT数据上进行了验证测试，实验结果表明，该算法达到97.4%的目标识别准确率，能够为脑出血诊断提供参考.