采用自适应变异粒子群优化SVM的行为识别

为了提高对视频序列中人体行为的识别能力,建立了基于局部特征的动作识别框架。通过时空特征提取及编码和SVM分类器参数优化两部分对该框架所涉及算法进行了研究。首先,采用Harris3D检测器获取时空兴趣点(STIP),以方向梯度直方图(HOG)和光流方向直方图(HOF)对STIP进行描述,并引入Fisher向量实现对特征描述子的编码;由于固定参数下SVM动作分类模型存在泛化能力不足的问题,将粒子群算法应用于各动作分类器参数寻优过程中,针对种群多样性逐代变化的特点,构建粒子聚集度模型,并利用其动态调节各代粒子的变异概率;最后,利用KTH和HMDB51数据集对所提方法进行验证。结果表明,所提自适应变异粒子群算法(AMPSO)能够有效避免种群陷入局部最优,具备较强的全局寻优能力;在KTH和HMDB51数据集上的识别准确率分别为87.50%和26.41%,优于其余2种识别方法。实验证明,AMPSO算法收敛性能良好且整体识别框架具有较高的实用性和准确性。     

构建多尺度深度卷积神经网络行为识别模型

为了减化传统人体行为识别方法中的特征提取过程,提高所提取特征的泛化性能,本文提出了一种基于深度卷积神经网络和多尺度信息的人体行为识别方法。该方法以深度视频为研究对象,通过构建基于卷积神经网络的深度结构,并融合粗粒度的全局行为模式与细粒度的局部手部动作等多尺度信息来研究人体行为的识别。MSRDailyActivity3D数据集上的实验得出该数据集上第11~16种行为的平均识别准确率为98%,所有行为的平均识别准确率为60.625%。结果表明,本方法能对人体行为进行有效识别,基本能准确识别运动较为明显的人体行为,对仅有手部局部运动的行为的识别准确率有所下降。     

采用PHOG融合特征和多类别Adaboost分类器的行为识别

为了解决类能量图易受人体运动时间和位置移动等因素影响而难以有效描述动作细节特征的问题,本文提出了一种基于类能量图金字塔梯度直方图(PHOG)融合特征和多类别Adaboost分类器的人体行为识别方法。该方法首先对经过躯体配准的运动人体目标轮廓图像构造平均运动能量图(AMEI)和增强的运动能量图(EMEI),分别提取其分层梯度方向直方图(PHOG)特征并进行串联融合,作为一种多层次的行为特征描述;然后使用基于查找表的LUT-Real Adaboost算法设计多类别分类器,实现图像中人体行为动作的识别。实验结果显示其在典型的人体动作数据集DHA上的正确识别率达97.6%,高于其它采用单一特征描述和SVM等分类器的方法。表明该方法将整体与局部特征相结合,可以有效描述不同尺度下的动作细节特征,增强了人体行为特征的描述能力,提高了识别性能。     

基于四元数时空卷积神经网络的人体行为识别

传统卷积神经网络(CNN)只适用于灰度图像或彩色图像分通道的特征提取,忽视了通道间的空间依赖性,破坏了真实环境的颜色特征,从而影响人体行为识别的准确率。为了解决上述问题,提出一种基于四元数时空卷积神经网络(QST-CNN)的人体行为识别方法。首先,采用码本算法预处理样本集所有图像,提取图像中人体运动的关键区域;然后将彩色图像的四元数矩阵形式作为网络的输入,并将CNN的空间卷积层扩展为四元数空间卷积层,将彩色图像的红、绿、蓝通道看作一个整体进行动作空间特征的提取,并在时间卷积层提取相邻帧的动态信息;最后,比较QST-CNN、灰度单通道CNN(Gray-CNN)和RGB 3通道CNN(3Channel-CNN)3种方法的识别率。实验结果表明,所提方法优于其他流行方法,在Weizmann和UCF sports数据集分别取得了85.34%和80.2%的识别率。     

人体下肢应激微反应自动识别

由于现有的动作识别方法不能直接用于人体微反应动作识别,本文基于人体下肢微反应动作特点,构建了一种时空金字塔韦伯局部描述子并设计了基于字典学习的人体下肢微反应自动识别算法。该方法利用时空金字塔韦伯局部描述子提取每一类人体下肢微反应动作特征,使用主成分分析法对特征降维;然后,建立每一类动作子字典并将子字典串联形成总的动作字典;最后,通过实验分析了金字塔级数L,降维后每类动作特征维数d_(PCA),每类动作子字典原子个数n_(Atom),以及稀疏阈值C等参数对识别结果的影响,并确定最优参数值L=3,d_(PCA)=30,n_(Atom)=40,C=10。实验结果表明,提出的算法对10种人体下肢微反应动作的识别率均在0.83~0.91之间,平均识别率达到0.86,高于其他动作识别算法。设计的算法更适用于人体下肢微反应动作分类,并可有效提高分类识别率。     

基于迁移学习的手部离散动作识别方法研究

表面肌电传感器作为新一代机器人人机交互接口设备,目前已在航空航天、军工应用、康复医疗、工业生产等多种环境中表现出巨大的应用潜力和价值。研究发现,表面肌电信号在识别手势动作时,若面临传感器移位、动作用户变化等问题,动作识别准确率将急剧下降,模型可复用能力变差。针对这一情况,提出一种基于小型辅助集的迁移学习建模方法。利用MMD算法对源领域数据集与目标领域数据集的高维距离进行评价,通过TCA算法缩小二者在全局特征上的边缘分布差异,引入小型辅助集对待测数据集创建伪标签,改进了迁移成分分析在数据条件分布相似性上的不足。以多名受试者作为研究对象,验证提出算法的适应性和合理性。肌电控制实验表明,新场景下受试者仅需进行小量训练(仅占源领域数据4%),迁移学习融合模型准确率可提高至80%以上。     

基于时空采样的卷积长短时记忆网络模型及其应用研究

鉴于人体动作识别在现实社会中的重大意义,为了进一步提高动作识别的能力,在研究长短时记忆神经网络及卷积神经网络的基础上,建立时空相关的卷积长短时记忆网络模型,该模型不仅具有LSTM的时序建模能力,还具有CNN刻画局部特征空间的能力,同时具备时空特性。运用该模型在KTH数据库上进行实验,并提出三种时间采样方式,最后与他人的方法进行比较,发现该模型在KTH动作识别上取得了较高的识别率。     

基于双向LSTM的复杂环境下实时人体姿势识别

提出了一种基于双向长短时记忆网络(long short-term memory, LSTM)的实时人体姿势识别方法。将OpenPose作为人体姿态估计模块获取人体的二维关节点数据,根据数据缺失情况判断人体是否处于遮挡状态。对于非遮挡情况,构建基于双向LSTM的分类器,将初始的二维关节点信息送入分类器进行人体姿势识别;对于遮挡状态,利用深度摄像机内参进行三维映射,构建躯干向量和关节角度,使用主成分分析对上述高维特征进行处理后送入分类器进行人体姿势识别。在KTH数据集以及实验室收集的包含5种人体姿势的数据集上进行验证,结果表明,该算法在非遮挡情况下准确率较传统模型以及深度学习模型分别取得了2.63%和1.08%的提升。在遮挡情况下准确率较传统模型取得了5.6%的提升。实现了在复杂环境下的人体姿势识别。     

基于力度无关鲁棒特征的肌电手势识别方法

为了减小肌肉收缩力变化对肌电信号模式识别的影响,提出了DCSP特征。该特征首先通过CSP算法得到最大化类与类之间距离的空间投影矩阵,然后对投影后的新信号进行差分和归一化处理,最终通过非相关线性判别分析将数据投影到类内距离最小、类间距离最大的低维空间而得到。在两个数据集上验证基于DCSP特征的肌电手势识别正确率,第1个数据集包含10名完整肢体受试者的数据,第2个数据集包含9名上肢截肢者的数据。在识别率测试的4个方案中,DCSP特征的识别正确率均高于CSP特征,在全部力训练,全部力测试的方案上取得最高的识别率(数据集1:95.83%,数据集2:86.93%),相比CSP特征(数据集1:89.01%,数据集2:70.03%),分类准确率分别提升6%和16%。在特征空间分布的2个测试方案上,DCSP特征比CSP特征都具有更小的类内距离和更大的类间距离。相比较于其他研究的识别正确率,DCSP特征比现有的力度鲁棒特征提升了约5%(数据集1)和8%(数据集2),并且性能不依赖于分类器类型。     

云边协同外观质量人工智能检测系统的设计与实现

传统的产品外观质量检测过程需要人工干预，较低的检测精度和自动化程度阻碍了产线节拍加速，成为提升效率的瓶颈。为充分挖掘工业场景数据的潜在价值，建立了空调外观质量检测图像公开数据集SDU-Haier-AQD,并在IEEE DataPort网站予以公开。基于该数据集，提出一种改进的快速精简的目标检测模型FT-Yolo,在11个空调机型、16个外观质量标注类别检测任务的识别准确率超过97%,产品外观检测时间可缩减90%以上，实现了对外观质量关键点的自动检测与精准快速识别。进一步研发新型云边协同模式产品外观质量人工智能检测系统，依托云边协同机制完成系统边缘节点和底层生产线线体与云端工业互联网平台的高效互联交互，实现了空调外观质量数据的实时采集、传输、智能检测和云端存储管理。     

基于粒子群优化算法的水源微生物自动识别

水源微生物检测在水源生物安全监测等方面具有非常重要的意义，而传统的显微镜观测等方法存在效率低、需要专业人员操作等不足，为此提出了一种水源微生物自动识别方法。采集水样，并制作水源微生物图像集，编写全自动与半自动两种图像分割算法用于提取目标微生物区域，并提取6种图像特征。基于以上特征数据，研究水源微生物识别模型的优化问题：首先，优化部分特征参数；接着，融合所有特征，建立粒子群优化算法的支持向量机（support vector machine optimized by particle swarm optimization, PSO-SVM）微生物识别模型，并与其他识别算法进行比较。结果表明，相比于其他3种算法，PSO-SVM能更有效地识别各种微生物，其平均识别率达到97.08%。     

基于Mixup数据增强的CNN-GRU深度学习电火花线切割放电状态识别

针对电火花线切割放电状态识别中，数据集样本较少导致训练模型准确率不高的问题，提出基于Mixup数据增强的CNN-GRU网络算法。该算法首先使用Mixup数据增强对原始的电火花波形数据进行数据增强，通过线性插值对数据进行混合，得到新的扩容之后的数据集；随后使用增强的数据集训练CNN-GRU模型，并用该模型进行分类。经实验表明，使用Mixup数据增强的CNN-GRU模型能有效的识别出数据中的“时序特征”与“局部特征”，且模型的准确率达到了96%。     

多尺度超图卷积骨架动作识别网络

动作识别是计算机视觉基础任务之一,骨架序列包含了大部分的动作信息,因此基于骨架的动作识别算法受到很多学者关注。人体骨架在数学上是一个天然的图,所以图卷积被广泛应用于动作识别。但普通的图卷积只聚合两两节点间的低阶信息,不能建模多节点间的高阶复杂关系。针对此问题,本文提出一种多尺度超图卷积网络,在空间和时间两个维度聚合更丰富的信息,提高动作识别准确度。多尺度超图卷积网络采用编解码结构,编码器使用超图卷积模块聚合超边中多个节点间的相关信息,解码器使用超图融合模块恢复原始骨架结构,另外基于空洞卷积设计了多尺度时间图卷积模块以更好地聚合时间维度运动信息。NTURGB+D和Kinetics数据集上的实验结果验证了算法的有效性。     

低分辨率红外感知系统的人体行为数据增强

针对目前公开的人体行为红外数据集较少的问题，本文设计了基于生成对抗网络和基于3D人体红外模型的两种数据增强方法，以快速扩充现有的红外人体行为数据集。搭建了改进的生成网络模型AC-WGAN并添加了网络优化策略，以生成高质量的红外热图；利用Unity 3D引擎搭建表征红外特征及运动信息的人体模型，模拟红外阵列传感器成像原理，实现了给定人体模型及传感器方位信息便能自动生成大量且多样化数据的功能。基于数据增强后的数据集训练和测试卷积神经网络，实验结果表明，网络对不同行为的感知准确度达到80%以上，且显著提高了网络对陌生数据的识别能力，所设计的数据增强方法对于扩充人体行为红外数据集有效。     

融合多维时频特征的环境声识别

针对单一的时频特征无法完全表征声信号在时频域上演变过程,从而导致环境声识别性能差的问题。首先,以对数梅尔和耳蜗时频特征为基础,提出一种在时、频两个维度上的一阶差分特征,用于表征声信号在时频域中能量变化的动态关系;然后融合对数梅尔、耳蜗及其一阶差分特征形成多维时频特征;最后,构建卷积神经网络充分提取更具判别性的特征信息,并使用DS证据理论进行信息融合,提出一种新的环境声识别模型。在ESC-10和ESC-50数据集上分别达到了96%与85.3%的识别率,比先进的DS-CNN模型分别提升了3.4%和2.2%,比人耳识别性能分别提升0.3%和4%。实验结果表明,所提出的模型在环境声识别任务能够达到较好的识别效果。     

基于PX-LBP和像素分类的装配体零件识别研究

针对机械产品装配维修诱导中零件和装配体的识别、监测问题,对装配体零件识别及装配监测进行了研究,对LBP算子进行了改进,提出了一种基于像素局部二值模式(PX-LBP)和像素分类的装配体零件识别及装配监测方法。首先将LBP算子与像素分类融合,提出了PX-LBP算子;然后对深度图像进行了PX-LBP特征提取,生成了训练集和测试集;最后训练随机森林分类器,并利用训练好的随机森林分类器实现了对测试集深度图像的像素分类,生成了像素预测图像,通过像素预测图像与标记图像对比实现了装配体零件的识别及装配过程的监测。研究结果表明:该方法对于模型深度图像的像素识别率可达到98.81%,对于真实装配体深度图像的像素识别率也可达到77.51%;该方法兼具了一定的实时性与鲁棒性,可用在装配维修诱导、装配监测和自动化装配邻域中。     

基于YOLOv5与迁移学习的目标检测和机械臂抓取位姿估计

针对传统机器学习算法视觉识别准确率低、运行时间缓慢等问题,研究针对家庭场景中机器人做家务的场景,利用RGB图像信息为输入,完成对目标物体的抓取位姿估计。以目标检测模型YOLOv5s为基础,利用其轻便、速度快的优点,结合数据增强以及迁移学习搭建网络架构,搭建家庭场景数据集;将少量训练样本进行数据增强后,利用迁移学习将模型在目标数据集上训练,同时微调参数,将目标物体的定位信息通过坐标变换转换为机械臂的抓取位姿,控制机械臂最终以固定抓取姿态完成抓取任务;最后,通过搭建实验平台,操纵UR5机械臂进行实际抓取实验,验证了算法的有效性。提出的基于目标检测的方法速度快、实时性高、误/漏识别率小于2%,应用在机械臂抓取上可以高效地完成任务。     

基于三维卷积神经网络的工作流识别方法

鉴于传统的依赖于目标物体检测与跟踪的动作识别方法很难适用于复杂的生产制造环境,为了实现有效的工作流识别,从运动物体的检测与分割、视频序列中多视图特征向量的提取及工人生产动作的分类识别3方面入手,提出基于3D卷积神经网络的工作流识别框架。给出计算模型与相应的算法,并进行了系统的对比实验。通过实验发现,该方法比传统的隐Markov方法和其他方法在识别速度上提升了32%,在识别率上也提升了9%。     

一种基于深度学习图像超分的环形靶标稳定检测方法

为提高远距离、大倾角条件下环形靶标的识别率与定位精度,提出了一种基于深度学习图像超分的环形靶标稳定检测方法。通过真实图像与合成图像的混合数据集来构建多角度、多距离的图像空间集合,采用像素损失与感知损失来改进图像超分辨率模型的损失函数,从而实现图像的高分辨率重建,丰富靶标轮廓的图像细节,利用已训练好的图像超分模型重建图像,最后使用传统的检测算法识别与定位环形靶标。实验结果表明,环形靶标识别率可提高40%,靶标定位精度可提高8.47%。     

利用几何特征和时序注意递归网络的动作识别

为提高基于人体骨架(Skeleton-based)的动作识别准确度,提出一种利用骨架几何特征与时序注意递归网络的动作识别方法。首先,利用旋转矩阵的向量化形式描述身体部件对之间的相对几何关系,并与关节坐标、关节距离两种特征融合后作为骨架的特征表示;然后,提出一种时序注意方法,通过与之前帧加权平均对比来判定当前帧包含的有价值的信息量,采用一个多层感知机实现权值的生成;最后,将骨架的特征表示乘以对应权值后输入一个LSTM网络进行动作识别。在MSR-Action3D和UWA3D Multiview Activity II数据集上该方法分别取得了96.93%和80.50%的识别结果。实验结果表明该方法能对人体动作进行有效地识别且对视角变化具有较高的适应性。