面向物流仓库的多目标视频跟踪

为了解决物流仓库复杂环境下多目标跟踪的问题,本文提出一种融合了背景建模的Camshift算法,并在算法跟踪过程中加入目标运动信息。首先根据跟踪目标获得目标颜色概率密度图像;然后根据背景建模获得的背景图像对概率密度图像进行滤波处理;在Camshift每次迭代过程中,引入运动信息,通过加权融合获得最优位置;在多目标跟踪过程中,将当前帧中已跟踪完成的目标在概率密度图像中滤除,减少对其它目标的干扰。通过实验表明,在物流仓库运送轨道上的物品跟踪的实际应用中,本文算法对复杂背景干扰和相似目标的相互干扰,有很好的处理能力。     

基于边缘直方图的粒子滤波跟踪算法及其实现

以颜色直方图为特征的运动目标跟踪算法容易受到光线变化及视场内其它同色目标的干扰.采用运动目标的边缘方向直方图作为特征,利用序列重要性采样原理和粒子滤波算法实现了对人体运动目标的跟踪.实验显示了该算法在光线变化及存在同色目标干扰时能够有效跟踪目标.在算法实现过程中,采用积分图计算边缘方向直方图,减少了计算时间,提高了计算速度,达到了实时跟踪的效果.     

一种基于运动阴影的目标检测算法

运动阴影常被误划为目标并干扰目标的分割和跟踪,所以阴影检测在许多图像监控系统中都非常重要.本文研究传统阴影检测算法.针对传统算法受特定条件约束不能自动适用于不同场景的不足,提出一种在场景特征未知情况下的阴影检测算法.算法综合考虑颜色信息、空间信息和纹理信息,利用阴影的颜色、空间和纹理属性在待分析区域中确定其造成的颜色形变,通过使用颜色形变补偿和纹理校正检测到运动阴影.基于不同图像的实验结果表明该方法的有效性.     

基于压缩感知的实时手势检测和跟踪算法

基于计算机视觉的实时手势检测与跟踪算法是人机交互领域的一项关键技术,传统的手势检测与跟踪算法将检测和跟踪分成两个独立的模块进行,检测与跟踪结果受手势姿态变化、目标遮挡、运动模糊以及外界环境干扰等因素的影响。提出了一种基于压缩感知的实时手势检测和跟踪算法,将基于检测得到的手势信息与基于压缩感知跟踪算法得到的目标信息进行有效融合,从而实现有效的手势检测与跟踪,与传统算法相比,该算法能实现手势跟踪自动初始化和跟踪错误后自我恢复功能。实验结果表明,提出的算法能对手势运动进行快速、连续、准确的识别,满足人机交互的要求。     

连续同色调背景下运动目标自适应跟踪

针对传统的Meanshift算法在连续的同色调背景干扰下无法准确、持续跟踪目标的问题,提出一种基于Kalman-optical flow(KOF)的改进Meanshift目标跟踪算法。首先,通过基于色调空间的光流检测对Meanshift窗口区域内的特征点进行建模,获得其图像坐标;然后,利用Kalman滤波的速度预估排除背景特征点,得到基于目标模型特征点的空间约束条件;最后,将得到的空间约束条件结合传统Meanshift算法中的色调约束条件,构建新的反投影直方图,并将新的反投影图作为Meanshift的概率密度图进行迭代,从而完成目标跟踪。实验表明,在连续的同色调背景区域的干扰下,该算法仍可以准确、持续地跟踪目标。     

基于卷积神经网络优化TLD运动手势跟踪算法

针对TLD（Tracking-Learning-Detection）算法在光照变化不均、遮挡严重、跟踪目标模糊等情况下会出现跟踪失败的问题，提出一种基于卷积神经网络优化TLD运动手势跟踪算法。选取手势特征作正样本，其背景作负样本，获取手势HOG特征并投入到卷积神经网络中加以训练，得到手势检测分类器，从而确定目标手势区域，实现手势的自动识别；再利用TLD算法对手势进行跟踪与学习，对正负样本进行估计检测并实时校正，同时运用SURF特征匹配更新跟踪器。实验结果验证，该算法对比TLD经典算法跟踪精度提高了4.24%，增强了运动手势的跟踪效果，相比经典跟踪算法拥有更高鲁棒性。     

基于OpenCV的摄像头动态手势轨迹识别及其应用

利用OpenCV计算机视觉库在vs2008平台上设计了一个基于实时摄像头的集动态手势检测、动态手势跟踪、动态手势轨迹识别的应用.首先,该应用基于静止的背景更新,利用背景差分检测运动手势,再结合颜色直方图的粒子滤波进行动态手势跟踪,最后利用隐马尔可夫模型(HMM)进行运动轨迹识别.在运动检测部分结合了背景差分图与通过颜色直方图获得的反投影图,达到比较满意的实时运动检测效果;在运动手势跟踪部分,改进的颜色直方图的粒子跟踪能够在经过类肤色人脸的干扰后迅速地找回运动手势,基本达到了跟踪的要求,但是同时对于HMM识别轨迹时需要的运动轨迹序列采集造成了影响;在识别轨迹部分,HMM的训练达到了识别的要求,但是识别的效果主要取决于实时运动轨迹序列的采集工作与采集方法的优化.     

基于CamShift和Kalman组合的改进目标跟踪算法

针对应用CamShift算法进行目标跟踪过程中,当目标被严重遮挡、目标被与目标颜色相近的背景干扰时易丢失跟踪目标的问题,提出了一种基于CamShift和Kalman滤波组合的改进跟踪算法;为克服目标因严重遮挡而丢失的缺陷,利用自适应算法改进了传统的CamShift算法,扩大了搜索窗口,使运动目标位于搜索窗口内;为解决目标因颜色相近背景干扰而丢失的问题,改善跟踪准确率,利用卡尔曼滤波预测目标运动空间位置,作为下一帧搜索窗口的质心坐标;基于上述改进,利用C++语言,研发了改进的CamShift目标跟踪软件模块,给出了该模块的算法流程;实验结果表明,改进后的目标跟踪算法能有效地克服传统CamShift算法的缺陷,大大提高运动目标跟踪的准确性;所提的算法可以应用于运动小车跟踪,人脸识别等领域。     

利用基于颜色的自适应形状模型实现手势跟踪*

提出了一种基于颜色的自适应形状模型,并利用该模型实现了图像序列中的实时手势跟踪.跟踪算法基于自适应的颜色模型实现准确的手部轮廓提取,并利用基于二维颜色模型的粒子滤波器实现序列图像中跟踪目标的运动估计.实验结果表明了基于颜色的自适应形状模型对凸形与凹形手部轮廓均能达到准确的手部轮廓提取,并能满足图像序列手势跟踪的实行性要求.     

基于CamShift和Kalman滤波混合的视频手势跟踪算法*

提出了一种基于CamShift和Kalman滤波混合的跟踪算法,实现了对视频图像中动态手势的跟踪。在跟踪过程中,CamShift利用手势的颜色直方图模型,将图像序列通过一个肤色概率查找表转换为肤色概率分布图,结合运动信息和肤色概率分布,初始化一个搜索窗的大小和位置,并根据上一帧跟踪的结果自适应调整搜索窗口的位置和大小,从而定位出当前图像中手势的中心位置。在CamShift算法基础上利用Kalman滤波对搜索窗口进行运动预测。实验表明,该算法快速准确可靠,并且较好地处理了跟踪过程中大面积肤色干扰问题,对复杂     

多特征带宽自适应Mean Shift目标跟踪算法

在传统均值漂移跟踪算法中,其核函数带宽缺乏较好的自适应调整特性,且易受背景色干扰。为此,提出一种多特征带宽自适应目标跟踪算法。采用颜色和纹理信息创建特征模型,在最优目标位置区域投影,以生成概率密度分布图,通过计算获得目标密度块的长度和宽度,从而自适应调整核函数带宽,用椭圆锁定目标,椭圆形状参数由目标概率密度的矩运算获得。实验结果表明,该算法能够有效适应目标缩放、旋转等复杂运动,并能抵御一定光照变化及背景色干扰影响。     

Handy: A real-time three color glove-based gesture recognizer with learning vector quantization

This paper presents Handy, a real-time hand gesture recognizer based on a three color glove. The recognizer is formed by three modules. The first module, fed by the frame acquired by a webcam, identifies the hand image in the scene. The second module, a feature extractor, represents the image by a nine-dimensional feature vector. The third module, the classifier, is performed by means of learning vector quantization. The recognizer, tested on a dataset of 907 hand gestures, has shown very high recognition rate.     

Research on gesture recognition of smart data fusion features in the IoT

With the rapid development of Internet of things technology, the interaction between people and things has become increasingly frequent. Using simple gestures instead of complex operations to interact with the machine, the fusion of smart data feature information and so on has gradually become a research hotspot. Considering that the depth image of the Kinect sensor lacks color information and is susceptible to depth thresholds, this paper proposes a gesture segmentation method based on the fusion of color information and depth information; in order to ensure the complete information of the segmentation image, a gesture feature extraction method based on Hu invariant moment and HOG feature fusion is proposed; and by determining the optimal weight parameters, the global and local features are effectively fused. Finally, the SVM classifier is used to classify and identify gestures. The experimental results show that the proposed fusion features method has a higher gesture recognition rate and better robustness than the traditional method.

     

Visual recognition of pointing gestures for human–robot interaction

In this paper, we present an approach for recognizing pointing gestures in the context of human–robot interaction. In order to obtain input features for gesture recognition, we perform visual tracking of head, hands and head orientation. Given the images provided by a calibrated stereo camera, color and disparity information are integrated into a multi-hypothesis tracking framework in order to find the 3D-positions of the respective body parts. Based on the hands’ motion, an HMM-based classifier is trained to detect pointing gestures. We show experimentally that the gesture recognition performance can be improved significantly by using information about head orientation as an additional feature. Our system aims at applications in the field of human–robot interaction, where it is important to do run-on recognition in real-time, to allow for robot egomotion and not to rely on manual initialization.     

基于手势特征融合的操作动作识别

针对动态复杂场景下的操作动作识别,提出一种基于手势特征融合的动作识别框架,该框架主要包含RGB视频特征提取模块、手势特征提取模块与动作分类模块。其中RGB视频特征提取模块主要使用I3D网络提取RGB视频的时间和空间特征;手势特征提取模块利用Mask R-CNN网络提取操作者手势特征;动作分类模块融合上述特征,并输入到分类器中进行分类。在EPIC-Kitchens数据集上,提出的方法识别抓取手势的准确性高达89.63%,识别综合动作的准确度达到了74.67%。     

A Real-Time Approach to the Spotting, Representation, and Recognition of Hand Gestures for Human–Computer Interaction

Aiming at the use of hand gestures for human–computer interaction, this paper presents a real-time approach to the spotting, representation, and recognition of hand gestures from a video stream. The approach exploits multiple cues including skin color, hand motion, and shape. Skin color analysis and coarse image motion detection are joined to perform reliable hand gesture spotting. At a higher level, a compact spatiotemporal representation is proposed for modeling appearance changes in image sequences containing hand gestures. The representation is extracted by combining robust parameterized image motion regression and shape features of a segmented hand. For efficient recognition of gestures made at varying rates, a linear resampling technique for eliminating the temporal variation (time normalization) while maintaining the essential information of the original gesture representations is developed. The gesture is then classified according to a training set of gestures. In experiments with a library of 12 gestures, the recognition rate was over 90%. Through the development of a prototype gesture-controlled panoramic map browser, we demonstrate that a vocabulary of predefined hand gestures can be used to interact successfully with applications running on an off-the-shelf personal computer equipped with a home video camera.     

连续动态手势的时空表观建模及识别

论述了复杂背景下连接动态手势的分割、建模及识别;融合手势运动信息和皮肤颜色信息,进行复杂背景下的手势分割;通过结合手势的时序信息、运动表观以及形状表观,提出动态手势的时空表观模型,并提出基于颜色、运动以及形状等多模式信息的分层次融合策略抽取时空表观模型的参数,最后,提出动态时空规整算法用于手势识别,实验表明,利用上述提出的手势分割、建模、特征参数抽取及识别方法识别１２种手势,平均识别率高达９７％。