线上线下结合的实时手势跟踪系统

手势识别跟踪一般采用线下训练分类器,不能有效检测跟踪形变的手势,针对手势形变及在窗口的暂时性消失等问题,提出了一种通过线下训练结合线上提取样本对分类器进行训练的检测方法,同时采用跟踪一检测一学习(TLD)的方法不断对跟踪器的结果进行纠正.试验结果表明,本算法对手势形变、短暂消失具有很好的适应性,与TLD算法相比较具有更好的稳定性.     

基于视觉注意的视频可伸缩ROI算法

如何合理进行码率分配达到充分利用码率资源目的,提高视频的主观视觉质量一直是视频编码领域研究的关键问题。本研究首先提出一种基于人眼视觉注意检测模型,该模型的核心思想是针对人眼不同时间段内进行眼动策略分析;然后结合显著计算得到图像注视区域结果得到SVC增强层码率分配算法。实验测试结果表明本研究提出的算法与现有其他算法相比具有更为有效的模拟人眼视觉注意的特性,在有限网络带宽条件下使得人眼视觉效果得到显著提升。     

基于视觉注意的动态阈值分割算法

提出一种基于视觉注意机制的动态阈值选取方法.首先按人眼视觉注意特点计算各图块的显著性特征值,根据显著性特征值将图像块进行分类,然后利用最大类间方差法和多尺度的自适应阈值方法分别实现不同灰度特性区域的图像动态分割.实验结果表明:该方法能够实现图像多阈值的自动选取,不受照明条件的影响,能够获得满意的二值分割效果     

基于图论的视觉注意模型

为了模拟人眼的视觉搜索结果,提出了一种基于图论的自底向上的视觉注意计算模型.在计算显著图的过程中,构造了马尔可夫矩阵并计算图中每个顶点的度.由马尔可夫矩阵和度的计算提取出图像在颜色、亮度和方向3个特征方面显著的区域,最后生成显著图.实验仿真结果表明:与部分的视觉注意模型相比,本文模型具有目标检测能力强和计算量小的优点     

Robust visual tracking algorithm based on Monte Carlo approach with integrated attributes

To improve the reliability and accuracy of visual tracker,a robust visual tracking algorithm based on multi-cues fusion under Bayesian framework is proposed.The weighed color and texture cues of the object are applied to describe the moving object.An adjustable observation model is incorporated into particle filtering,which utilizes the properties of particle filter for coping with non-linear,non-Gaussian assumption and the ability to predict the position of the moving object in a cluttered environment and two complementary attributes are employed to estimate the matching similarity dynamically in term of the likelihood ratio factors;furthermore tunes the weight values according to the confidence map of the color and texture feature on-line adaptively to reconfigure the optimal observation likelihood model,which ensured attaining the maximum likelihood ratio in the tracking scenario even if in the situations where the object is occluded or illumination,pose and scale are time-variant.The experimental result shows that the algorithm can track a moving object accurately while the reliability of tracking in a challenging case is validated in the experimentation.     

一种基于视频的手势识别算法

研究了一种基于视频的手势识别算法,该算法利用均值法去除噪声,根据物体颜色配合最大类间方差法对目标和背景进行区分,并使用BP神经网络进行手势的分类.实验表明,该算法对部分典型手势识别的准确率达到74.7％,具有较高的实际应用价值.     

整体特征通道识别的自适应孪生网络跟踪算法

针对孪生网络目标跟踪算法仅使用特征提取网络提取特征,在遮挡、旋转、光照与尺度变化中容易出现跟踪失败的问题,提出整体特征通道识别的自适应孪生网络跟踪算法. 将高效的通道注意力模块引入ResNet22孪生网络中,提高特征的判别能力. 使用整体特征识别功能计算全局信息,提取更为丰富的语义信息,提高跟踪算法精度. 同时,引入自适应模板更新机制,解决遮挡与长期跟踪导致的模板退化问题. 为了验证所提方法的有效性,在OTB2015、VOT2016与VOT2018等公开数据集上进行测试,并与其他跟踪算法进行对比. 结果表明,所提算法在精确度与成功率上表现较好,在背景杂乱、旋转、光照与尺度变化等情况中表现稳定.     

基于视觉注意模型和SIFT的交通标志识别方法

为了提高交通标志的识别速度和识别率,提出了一种基于视觉注意模型和SIFT特征的交通标志识别方法.首先基于视觉注意模型提取颜色特征,找出交通标志可能的候选区域,然后对候选区域进行SIFT特征提取,与标准交通标志图像库进行相似度计算,可实现快速准确的检测与识别.与传统方法相比,具有无需精确分割、计算量小、体现仿生学特性等优点.在采自国内外的两组交通标志图像库上进行交通标志识别测试,都得到了良好的效果.     

基于双通道混合3D-2D RBM模型的手势识别

为了挖掘基于视频的动态手势识别问题中手势的固有时空表示,提出一种3D-2D受限玻尔兹曼机（restricted Boltzmann machine,RBM）模型,以便建模手势视频数据的时空相关信息.特别地,为了更好地描述动态手势的时空特征,提出传统手工定义特征与3D-2D RBM结合的混合特征表示方法,该方法首先提取Canny-2D HOG表观特征以及光流-2D HOG运动特征,然后基于3D-2D RBM进一步学习动态手势潜在的高层时空语义特征,提升动态手势的特征描述力.融合手势外观判别和运动判别的双通道融合判别改进了单通道分类的能力.在公开的剑桥手势数据集上的实验验证了所提方法的有效性和优越性.

     

利用超像素混合投票的在线目标跟踪算法

针对复杂场景下目标跟踪中目标出现的外观特征变化和遮挡问题,提出一种结合超像素和广义霍夫变换的在线实时目标跟踪算法.该算法从上下文中提取局部特征作为支持因子,构建一个混合的判别产生式对象模型.利用该模型,通过霍夫投票预测目标的中心位置,再通过判别式投票对目标和背景进行概率估计.对图像进行超像素分割,将之前的投票结果映射到对应的超像素,生成基于超像素的概率分布图像.采用贝叶斯跟踪框架,根据后验概率最大化,在概率分布图像基础上确定目标的位置.实验表明,该算法在复杂环境下目标跟踪的过程中对目标发生的形变和遮挡现象有很强的鲁棒性,能够实现准确稳定的在线目标跟踪.     

基于视觉-磁引导的无人机动态跟踪与精准着陆

针对无人机通过视觉对地面动态目标跟踪过程中视角固定易丢失目标,以及在着陆过程中由于成像畸变严重、画面不稳定导致定位精度差的问题,提出随动视觉跟踪的跟踪控制策略和基于视觉联合磁引导的获取无人机高精度相对位姿的方法. 在跟踪过程中,设计新型信标图案供无人机进行视觉识别获取目标的方位,识别速度可以达到5 ms/帧,通过随动视觉跟踪完成实时跟踪. 在着陆过程中,在动态目标上设置磁源,利用无人机检测磁场特性并通过BP神经网络解算相对位置;在信标图案内设置平行线特征,用于近镜头时辅助视觉解算相对角度. 在获取无人机相对位姿后,进行相应的运动控制即可完成着陆. 实验结果表明,跟踪过程稳定可靠,抗干扰能力强;着陆精度高,着陆误差小于2 cm.     

基于ShuffleNetv2-YOLOv3模型的静态手势实时识别方法

针对移动端平台下计算资源有限、存储空间小的特点,提出高效的ShuffleNetv2及YOLOv3集成网络静态手势实时识别方法,以减小模型对硬件的计算能力需求. 通过将轻量化网络ShuffleNetv2代替Darknet-53作为主干网络,减小模型的计算复杂度. 引入CBAM注意力机制模块,加强网络对空间和通道的关注度. 采用K-means聚类算法,重新生成Anchors的长宽比和数量,使重新生成的Anchors尺寸对目标进行精确定位来提高模型的检测精度. 实验结果表明,提出算法在手势识别上的平均识别准确率为99.2%,识别速度为44帧/s,单张416×416图片在GPU上的推理时间为15 ms,CPU上的推理时间为58 ms,模型所占内存为15.1 MB. 该方法具有识别精度高、识别速度快、内存占用率低等优点,有利于模型在移动终端上部署.     

基于校正神经网络的视频追踪算法

针对现有基于深度学习的视频追踪算法关注深层特征而忽略浅层特征以及追踪网络没有对每帧追踪结果进行检测的问题,提出基于校正神经网络的视频追踪算法。该算法包含追踪网络和校正网络。在追踪网络中,考虑到深层特征和浅层边缘特征的融合,设计一个多输入的残差网络,学习目标和对应的高斯响应图之间的关系,从而获得目标对象的位置信息。在校正网络中,设计浅层链式判别网络,将两个网络的追踪结果进行比较,根据比较结果对追踪网络进行在线更新。本算法既考虑了深层特征,又避免了细节信息的丢失;同时,对追踪结果进行评判,防止网络更新中延续错误信息。对比试验说明本研究所提的追踪算法比现有的一些追踪方法取得更好的追踪结果。     

Two-level searching tracking algorithm based on fast Fourier transform

In order to solve the problems of appearance change, scale and rotation change in the visual tracking, a two-level searching tracking algorithm based on Fast Fourier Transform(FFT)is proposed. It achieves two-level searching by establishing the object's kernel ridge regression model in the Cartesian coordinates and log-polar coordinates, respectively, and the efficiency can be improved by transforming the operation into the frequency domain based on FFT. First, the kernel ridge regression model is constructed in the Cartesian coordinate and the object's center position is obtained by the exhaustive search method based on the circular structure matrix. Then, it transforms the object area to the log-polar coordinates and searches the shift using the kernel ridge regression model in the log-polar coordinates. Finally, the object's state is calculated according to the searching results and the object's model is updated. Experimental results indicate that the proposed algorithm not only can obtain a distinct improvement in coping with the appearance change, scale and rotation change, but also have a high tracking efficiency.     

基于各向异性高斯分布的视觉跟踪算法

为了提高使用传统特征的有效卷积操作算法（ECOhc）的跟踪性能,提出基于各向异性高斯分布的视觉跟踪算法. 该方法根据不同目标的形状比构造水平和垂直方向上带宽不同的各向异性高斯函数,利用该函数训练跟踪器预测目标位置,提高算法的跟踪精度;提取颜色直方图特征跟踪预测新的目标位置,并在决策层加权融合2个预测位置,进一步提高跟踪精度. 在标准数据集OTB-100、VOT2016中测试算法,本研究算法在数据集OTB-100上的平均距离精度为89.6%,平均重叠率为83.7%,比ECOhc算法分别提高4.67%、6.62%;本研究算法在数据集VOT2016上的平均期望重叠率为33.3%,比ECOhc算法提高3.42%. 所提算法能有效提高目标跟踪的精度,在遇到遮挡、光线变化、变形等干扰时仍能稳定跟踪目标.     

基于深度信息的动态手势识别算法

针对目前手势识别方法计算复杂、特征量提取不可靠等问题,提出基于Kinect传感器深度信息快速动态手势识别算法。通过Kinect的深度摄像头获取深度图像,利用阈值分割法对深度图像进行预处理;结合深度信息,利用OpenCV函数库来提取前景;选用动态时间规整(dynamic time warping)算法计算测试行为模板与参考行为模板之间的相似度以实现样本的分类;最终结合OpenNI和OpenCV,在VS2010环境下实现了该算法。与其他算法相比,该算法改进动态手势特征的提取方法和分类过程,能够快速跟踪手部,有效分割手势。实验结果表明,本方法对具有时空特性的动态手势有很高的识别率,在不同光照和复杂背景下具有较好的鲁棒性。     

基于多高斯相关滤波的实时跟踪算法

针对分层卷积特征目标跟踪算法实时性不足和单分类器对目标表观变化适应能力差的问题,提出多高斯相关滤波器融合的实时目标跟踪算法. 为了加快跟踪算法,提取VGG-19网络的Pool4和Conv5-3层的多通道卷积特征,通过稀疏采样减少卷积特征通道数;为了防止特征减少造成精确度下降,利用不同高斯分布样本训练多个相关滤波器,并对所有分类器预测的目标位置进行自适应加权融合,提高算法对目标姿态变化的鲁棒性;采用稀疏模型更新策略,进一步提高算法速度,使算法具有实时性. 在OTB100标准数据集上对算法进行测试,结果表明,该算法的平均距离精度为86.6%,比原分层卷积特征目标跟踪算法提高了3.5%,在目标发生遮挡、形变、相似背景干扰等复杂情况时具有较好的鲁棒性;平均跟踪速度为43.7帧/s,实时性更好.     

基于双目视觉跟踪的三维拼接技术

为了扩大三维面形测量的视场,提出了基于双目视觉跟踪的三维拼接技术。采用了两套双目测量系统,一个为全局的跟踪系统,一个为测量系统。在测量系统上固定一个7×7棋格靶标作为中介,将每次测量系统测得的物体三维点坐标转换到统一的全局坐标系下完成拼接。测量系统采用的是投影格雷码结构光加上双目视觉原理的方法获得物体三维点坐标,实验结果证明了该方法的可行性和有效性。     

MPE-YOLOv5:面向边缘计算的轻量化YOLOv5手势识别算法

针对边缘设备计算和存储能力差的问题,本文对传统YOLOv5模型中用于特征提取的主干网络CSPDarkNet53进行轻量化处理,提出了一种轻量化MPE-YOLOv5手势识别算法,以实现模型在低功耗边缘设备上的部署;针对轻量化模型提取特征较少而导致的难以识别大尺度变换目标和微小目标问题,对M-YOLOv5网络设计添加有效通道注意力机制(efficient channel attention, ECA),以缓解因特征通道减少而导致的高层特征信息丢失的问题;同时增加针对微小目标的检测层,提高对微小目标手势的敏感度;并选用EIoU作为预测锚框的损失函数,以提高模型的定位精度。本文在自制数据集和NUS-Ⅱ公共数据集上验证了MPE-YOLOv5算法有效性,并将MPE-YOLOv5算法与轻量化后的M-YOLOv5算法和原始的YOLOv5算法在自制数据集上进行了对比实验。实验结果表明,改进算法的模型参数量、模型大小和计算复杂度分别是原算法的21.16%、25.33%和27.33%,平均精度可达97.2%;与轻量化模型M-YOLOv5相比,MPE-YOLOv5能够在保持原来效率的同时,使平均精度提升8.7...     

方向直方图对手势图像鲁棒性的仿真

通过利用图像的方向直方图作为手势的特征向量来进行手势的分类和识别,这种方法不仅简单而且计算速度快,同时对于图像光线和形状的变化具有较强的鲁棒性。通过仿真,证明了此方法在手势识别的过程中(当手势在不同光线和手势平移变化时)对于手势图像的变化具有很强的鲁棒性。