基于轨迹行为模式特征的视频拷贝检测算法

为了有效地利用视频的时域运动信息来提高视频拷贝检测的精度和鲁棒性,提出一种基于特征点轨迹行为模式的拷贝检测算法.首先从视频连续帧中提取特征点轨迹的行为模式特征,然后采用视觉关键词典技术构造视频的运动特征,最后基于运动特征的相似度进行视频拷贝检测.该算法在TRECVID标准数据集上取得了较高的检测精度.实验分析表明,基于轨迹的运动特征具有较强的描述区分能力,对各种常见的拷贝变化具有鲁棒性.     

快速三维人耳提取与识别

针对现有三维人耳提取与识别算法中存在处理时间长、识别率低的问题,提出一种快速三维人耳提取方法和2种三维人耳识别方法.三维人耳提取时,使用不变特征迭代最近点算法使人耳与平均耳对齐,完成位置和姿态的归一化,然后用掩膜提取出三维人耳.第一种=三维人耳识别方法结合人耳深度和曲率信息,采用主元分析算法进行降维.然后用最近邻分类完成识别;第二种三维人耳识别方法则使用不变特征迭代最近点算法对齐测试耳与原型耳,利用配准误差完成人耳识别.实验结果表明,第一种人耳识别方法识别率较高、计算速度很快,第二种人耳识别方法可达到很高的识别率.     

基于深度学习的人体动作识别方法

对基于机器视觉的人体动作识别的成果进行研究,为提高视频数据集中人体动作的识别率,提出一种改进的深度网络模型。采用稠密光流方法处理数据,结合二维卷积神经网络(2DCNN)、三维卷积神经网络(3DCNN)和长短期记忆神经网络(LSTM)对动作特征进行提取,利用Softmax分类器识别分类。通过KTH数据集进行实验对比验证,分析结果表明,改进模型相比其它已有模型具有更高的识别率,动作识别效果更优。     

一种视频驱动的三维虚拟人动画实现方法

研究实现三维人体动画具有广泛的应用前景和实用意义,提出了一种二维视频驱动的三维人体动画实现方法。基于动态帧的关键帧提取算法从二维视频中构建了二维关键帧集合;基于二维关键帧构建二维人体骨骼模型;利用小孔成像原理和勾股定理计算得到关节特征点的深度坐标,从而得到了反映人体动画的三维数据。实验结果表明,该方法生成的三维人体动画形象逼真、成本低、提高了运动生成的实时性,能够应用于虚拟现实、计算机游戏、三维视频游戏制作等领域。     

基于群组与密度的轨迹聚类算法

现有基于密度的聚类方法主要用于点数据的聚类,不适用于大规模轨迹数据。针对该问题,提出一种利用群组和密度的轨迹聚类算法。根据最小描述长度原则对轨迹进行分段预处理找出具有相似特征的子轨迹段,通过两次遍历轨迹数据集获取基于子轨迹段的群组集合,并采用群组搜索代替距离计算减少聚类过程中邻域对象集合搜索的计算量,最终结合群组和密度完成对轨迹数据集的聚类。在大西洋飓风轨迹数据集上的实验结果表明,与基于密度的TRACLUS轨迹聚类算法相比,该算法运行时间更短,聚类结果更准确,在小数据集和大数据集上的运行时间分别减少73.79%和84.19%,且运行时间的减幅随轨迹数据集规模的扩大而增加。     

改进KNN算法对人体身份的识别

为了理解特征学习过程、减少数据存储和提高识别率,提出使用Kinect v2的面部数据和骨骼数据作为数据集和一种改进KNN算法对人体身份的识别。使用Kinect v2提取出人体脸部特征点和骨骼关节点的三维位置信息,通过提取出的特征点的坐标计算出理解性强的特征信息如眼宽、臂长等。利用一种改进的截断均值聚类方法,通过排序把奇异值分布到数据集两端,截取数据集中间特征以抑制奇异值,利用基于匹配识别准确度的改进KNN算法对人体身份进行预测。实验结果表明提出的聚类方法匹配识别准确度更高,改进的分类方法也提高了识别的准确率。     

基于聚类匹配的移动机器人地图实时创建算法

提出了一种基于模式识别聚类思想的数据点集匹配算法.该匹配算法具有传统迭代匹配算法和非迭代匹配算法的优点,匹配速度快,精度高.结合上述匹配算法,给出了一种基于激光测距仪的移动机器人环境地图实时创建方法.该方法使用从环境数据中提取出的特征点来完成两组激光数据点集的匹配,进而完成环境地图的创建.利用本实验室自主研发的救援机器人平台对该算法进行了验证,实验结果表明,该算法能够完成室内环境下移动机器人实时准确有效的环境地图创建.     

基于运动目标三维轨迹重建的视频序列同步算法

提出一种利用运动目标三维轨迹重建的视频时域同步算法.待同步的视频序列由不同相机在同一场景中同时拍摄得到,对场景及相机运动不做限制性约束.假设每帧图像的相机投影矩阵已知,首先基于离散余弦变换基重建运动目标的三维轨迹.然后提出一种基于轨迹基系数矩阵的秩约束,用于衡量不同序列子段间的空间时间对准程度.最后构建代价矩阵,并利用基于图的方法实现视频间的非线性时域同步.我们不依赖已知的点对应关系,不同视频中的跟踪点甚至可以对应不同的三维点,只要它们之间满足以下假设:观测序列中跟踪点对应的三维点,其空间位置可以用参考序列中所有跟踪点对应的三维点集的子集的线性组合描述,且该线性关系维持不变.与多数现有方法要求特征点跟踪持续整个图像序列不同,本文方法可以利用长短不一的图像点轨迹.本文在仿真数据和真实数据集上验证了提出方法的鲁棒性和性能.     

基于局部重建的点云特征点提取

为了有效地提取点云数据中的特征信息,针对采自分片光滑曲面的散乱点云数据,提出一种基于局部重建的鲁棒特征点提取方法.首先基于局部邻域的协方差分析计算每个数据点的特征度量,并通过阈值过滤获取初始特征点集合;然后在每个初始特征点的局部邻域内构建不跨越特征区域,以反映该点局部特征信息的三角形集合;再利用共享近邻算法对构造的三角形法向进行聚类,得到对应局部区域数据点的分类集合;最后对每一类点集拟合平面,通过判断该点是否同时落在多个平面来进行特征点提取.实验结果表明,该方法简单、稳定,对局部邻域选取的大小不敏感,具有一定的抗噪能力;能够在有效提取显著特征的同时,尽可能多地保留相对较弱的特征.     

基于机器视觉的足球射门视频图像轨迹跟踪方法

为提高对足球射门视频图像的自动识别和动作纠正能力,提出一种基于机器视觉和特征提取的足球射门视频图像轨迹跟踪方法。通过视觉信息融合和模糊跟踪识别方法进行足球射门视频图像的轨迹线跟踪识别,建立足球射门视频图像的关键动作特征点提取模型,通过空间三维信息融合方法进行机器视觉下的图像信息融合和有效动作特征点检测,结合角点的动态分布特征提取方法,实现足球射门视频图像的相关性动作特征点提取和轨迹跟踪。仿真结果表明,与传统方法相比,采用该方法进行足球射门视频图像轨迹跟踪的准确性最高达到0.8,该方法的准确性较高,特征提取能力较好,提高了足球射门视频图像识别和动作纠正能力。     

多特征融合的行为识别模型

目的 视频行为识别和理解是智能监控、人机交互和虚拟现实等诸多应用中的一项基础技术,由于视频时空结构的复杂性,以及视频内容的多样性,当前行为识别仍面临如何高效提取视频的时域表示、如何高效提取视频特征并在时间轴上建模的难点问题。针对这些难点,提出了一种多特征融合的行为识别模型。方法 首先,提取视频中高频信息和低频信息,采用本文提出的两帧融合算法和三帧融合算法压缩原始数据,保留原始视频绝大多数信息,增强原始数据集,更好地表达原始行为信息。其次,设计双路特征提取网络,一路将融合数据正向输入网络提取细节特征,另一路将融合数据逆向输入网络提取整体特征,接着将两路特征加权融合,每一路特征提取网络均使用通用视频描述符——3D ConvNets （3D convolutional neural networks）结构。然后,采用BiConvLSTM （bidirectional convolutional long short-term memory network）网络对融合特征进一步提取局部信息并在时间轴上建模,解决视频序列中某些行为间隔相对较长的问题。最后,利用Softmax最大化似然函数分类行为动作。结果 为了验证本文算法的有效性,在公开的行为识别数据集UCF101和HMDB51上,采用5折交叉验证的方式进行整体测试与分析,然后针对每类行为动作进行比较统计。结果表明,本文算法在两个验证集上的平均准确率分别为96.47%和80.03%。结论 通过与目前主流行为识别模型比较,本文提出的多特征模型获得了最高的识别精度,具有通用、紧凑、简单和高效的特点。     

基于手势特征融合的操作动作识别

针对动态复杂场景下的操作动作识别,提出一种基于手势特征融合的动作识别框架,该框架主要包含RGB视频特征提取模块、手势特征提取模块与动作分类模块。其中RGB视频特征提取模块主要使用I3D网络提取RGB视频的时间和空间特征;手势特征提取模块利用Mask R-CNN网络提取操作者手势特征;动作分类模块融合上述特征,并输入到分类器中进行分类。在EPIC-Kitchens数据集上,提出的方法识别抓取手势的准确性高达89.63%,识别综合动作的准确度达到了74.67%。     

基于三维残差稠密网络的人体行为识别算法

针对现有的人体行为识别算法不能充分利用网络多层次时空信息的问题,提出了一种基于三维残差稠密网络的人体行为识别算法。首先,所提算法使用三维残差稠密块作为网络的基础模块,模块通过稠密连接的卷积层提取人体行为的层级特征;其次,经过局部特征聚合自适应方法来学习人体行为的局部稠密特征;然后,应用残差连接模块来促进特征信息流动以及减轻训练的难度;最后,通过级联多个三维残差稠密块实现网络多层局部特征提取,并使用全局特征聚合自适应方法学习所有网络层的特征用以实现人体行为识别。设计的网络算法在结构上增强了对网络多层次时空特征的提取,充分利用局部和全局特征聚合学习到更具辨识力的特征,增强了模型的表达能力。在基准数据集KTH和UCF-101上的大量实验结果表明,所提算法的识别率（top-1精度）分别达到了93.52％和57.35％,与三维卷积神经网络（C3D）算法相比分别提升了3.93和13.91个百分点。所提算法框架有较好的鲁棒性和迁移学习能力,能够有效地处理多种视频行为识别任务。     

Human Behavior Analysis for Highlight Ranking in Broadcast Racket Sports Video

The majority of existing work on sports video analysis concentrates on highlight extraction. Little work focuses on the important issue as how the extracted highlights should be organized. In this paper, we present a multimodal approach to organize the highlights extracted from racket sports video grounded on human behavior analysis using a nonlinear affective ranking model. Two research challenges of highlight ranking are addressed, namely affective feature extraction and ranking model construction. The basic principle of affective feature extraction in our work is to extract sensitive features which can stimulate user's emotion. Since the users pay most attention to player behavior and audience response in racket sport highlights, we extract affective features from player behavior including action and trajectory, and game-specific audio keywords. We propose a novel motion analysis method to recognize the player actions. We employ support vector regression to construct the nonlinear highlight ranking model from affective features. A new subjective evaluation criterion is proposed to guide the model construction. To evaluate the performance of the proposed approaches, we have tested them on more than ten-hour broadcast tennis and badminton videos. The experimental results demonstrate that our action recognition approach significantly outperforms the existing appearance-based method. Moreover, our user study shows that the affective highlight ranking approach is effective.     

基于视频时空特征的行为识别方法

针对双流网络提取运动信息需要预先计算光流图,从而无法实现端到端的识别以及三维卷积网络参数量巨大的问题,提出了一种基于视频时空特征的行为识别方法。该方法能够高效提取视频中的时空信息,且无需添加任何光流计算和三维卷积操作。首先,利用基于注意力机制的运动信息提取模块捕获相邻两帧之间的运动位移信息,从而模拟双流网络中光流图的作用;其次,提出了一种解耦的时空信息提取模块代替三维卷积,从而实现时空信息的编码;最后,在将两个模块嵌入二维的残差网络中后,完成端到端的行为识别。将所提方法在几个主流的行为识别数据集上进行实验,结果表明在仅使用RGB视频帧作为输入的情况下,在UCF101、HMDB51、Something-Something-V1数据集上的识别准确率分别为96.5%、73.1%和46.6%,与使用双流结构的时间分段网络（TSN）方法相比,在UCF101数据集上的识别准确率提高了2.5个百分点。可见,所提方法能够高效提取视频中的时空特征。     

Extracting 3D model feature lines based on conditional random fields

We propose a 3D model feature line extraction method using templates for guidance. The 3D model is first projected into a depth map, and a set of candidate feature points are extracted. Then, a conditional random fields (CRF) model is established to match the sketch points and the candidate feature points. Using sketch strokes, the candidate feature points can then be connected to obtain the feature lines, and using a CRF-matching model, the 2D image shape similarity features and 3D model geometric features can be effectively integrated. Finally, a relational metric based on shape and topological similarity is proposed to evaluate the matching results, and an iterative matching process is applied to obtain the globally optimized model feature lines. Experimental results showed that the proposed method can extract sound 3D model feature lines which correspond to the initial sketch template.     

视觉假体中动态图像识别研究

为了确定低分辨率动态图像识别的最小信息需求,通过灰度化、二值化、边缘提取和匹配不同的仿真光幻视模板等处理策略将绘画过程视频处理为五种分辨率（24×24,32×32,48×48,64×64和128×128）的像素化动态视频,对其进行视频复杂度分析,并使用简化的Itti算法提取特征点来分类有效信息,记录并统计分析不同分辨率下的被试者识别时间以及识别准确率。实验结果表明,随着不同分辨率下的视频复杂度的升高,识别时间逐渐减少,识别准确率不断升高;动态视频的像素化分辨率越高,识别所需特征信息越少,当视频像素化分辨率达到64×64或128×128时,被试者只需少量特征信息即可完成识别。     

特征采样运动信息增强的动作识别方法

基于深度模型的视频动作识别通常先对输入视频进行采样,然后对获得的视频帧进行特征表达,输出动作类别,因此视频帧采样方法对动作识别的效果有直接的影响。为了在采样到关键有效的特征同时,并增强视频运动信息,提出了一种基于特征级采样策略的局部—全局运动信息增强的动作识别网络（local-global motion enhancement network,LGMeNet）。首先,利用特征级采样模块对输入数据进行相同运动信息间隔均匀取帧;其次,局部运动特征提取模块使用相似性函数计算单帧短期运动特征;最后,全局运动特征提取模块利用LSTM网络计算多尺度长期运动特征。通过实验评估,LGMeNet在UCF101和Something-SomethingV1数据集上分别取得了97.7%和56.9%的精确度。结果表明,采用LGMeNet能够有效提升动作识别的效果,对进一步改进相关领域的研究具有重要意义。     

Movie Scene Recognition Using Panoramic Frame and Representative Feature Patches简

Recognizing scene information in images or has attracted much attention in computer vision or videos, such as locating the objects and answering ＂Where am research field. Many existing scene recognition methods focus on static images, and cannot achieve satisfactory results on videos which contain more complex scenes features than images. In this paper, we propose a robust movie scene recognition approach based on panoramic frame and representative feature patch. More specifically, the movie is first efficiently segmented into video shots and scenes. Secondly, we introduce a novel key-frame extraction method using panoramic frame and also a local feature extraction process is applied to get the representative feature patches （RFPs） in each video shot. Thirdly, a Latent Dirichlet Allocation （LDA） based recognition model is trained to recognize the scene within each individual video scene clip. The correlations between video clips are considered to enhance the recognition performance. When our proposed approach is implemented to recognize the scene in realistic movies, the experimental results shows that it can achieve satisfactory performance.     

基于三维特征矩阵和冲压激励网络的多通道脑电情感识别

提出一种基于冲压激励网络的情感状态识别方法.首先,从不同通道的脑电信号中提取时域特征,并根据电极通道的相对位置构造三维特征矩阵;然后,将冲压激励块与三维卷积神经网络相结合构建冲压激励网络进行高层抽象特征提取;最后,使用全连接层进行情感状态分类.实验在DEAP数据集上开展,实验结果表明,冲压激励网络在利用脑电信号中的时域显著性信息和电极空间位置信息的基础上,可自适应地纠正特征的注意力,优化每个特征的权重并强化重要特征,同时利用不同特征的互补信息来提高识别精度;此外,冲压激励网络的挤压操作可获取输入数据的全局信息,具有较快的收敛速度.