动作识别中局部时空特征的运动表示方法研究

近年来,基于局部时空特征的运动表征方法已被越来越多地运用于视频中的动作识别问题,相关研究人员已经提出了多种特征检测和描述方法,并取得了良好的效果。但上述方法在适应摄像头移动、光照以及穿着变化等方面还存在明显不足。为此,提出了基于时空兴趣点局部时空特征的运动表示方法,实现了基于时空单词的动作识别。首先采用基于Gabor滤波器和Gaussian滤波器相结合的检测算法从视频中提取时空兴趣点,然后抽取兴趣点的静态特征、运动特征和时空特征,并分别对运动进行表征,最后利用基于时空码本的动作分类器对动作进行分类识别。在Weizmann和KTH两个行为数据集进行了测试,实验结果表明：基于时空特征的运动表示能够更好地适应摄像头移动、光照变化以及施动者的穿着和动作差异等环境因素的影响,取得更好的识别效果。     

人体动作的超兴趣点特征表述及识别

提出一种基于超兴趣点的动作特征描述方法,用于人体动作的识别。兴趣点特征描述了人体动作时变化显著的局部点信息,但其最大的缺陷在于离散的兴趣点间缺乏时间和空间上的结构关联。提出根据兴趣点间的时空距离,使用广度优先搜索邻居算法,将时空距离相近的兴趣点聚合成超兴趣点,该结构作为一个整体,反映人肢体在一定时空范围内的动作变化特征。与现有的基于局部兴趣点的动作识别算法相比,本文算法增加了兴趣点间的整体时空结构关系,提高了特征的区分度。实验采用两层分类方法对超兴趣点特征分类,实验结果表明该算法具有较好的识别率。     

高斯二阶差分特征算子在图像拼接中的应用

为了将同一场景中具有重叠区域序列的图像快速准确合成一幅具有宽视角、高分辨率的图像,提出了基于高斯二阶差分(D2oG)特征检测算子的SIFT算法.采用高斯二阶差分(D2oG)金字塔的过零点检测提取图像尺度不变特征点,并选用RANSAC算法对特征点匹配对进行提纯,在此基础上计算不变换矩阵H,最后,用渐进渐出平滑算法完成图像的无缝拼接.实验中分别采用所提方法和SIFT算法对具有典型变换的4种图像进行拼接与测试,结果表明:所提方法提取的匹配点数、拼接所消耗时间明显低于采用SIFT算法,同时匹配效率也高于后者.此方法降低了运算复杂度的同时,图像拼接实时性也得到提高.     

结构上下文:一种新的物体类别描述符

局部描述符(如SIFT)方法能够将图像中关键点的局部表观信息作为图像的特征,具有旋转不变性、尺度变换不变性、仿射不变性等性质,被广泛应用于物体分类、物体识别、图像匹配等领域。但是,它存在一个重要缺陷:只能描述物体的局部特征,忽略了整个物体的构造,而这在表示物体时是非常重要的。设计了一个新的"结构上下文"局部描述符,通过当前关键点和其他关键点间的空间拓扑结构关系描述各个关键点的特征。实验证明这种描述符在描述相同物体种类时特别有效。     

基于视频时空特征的行为识别方法

针对双流网络提取运动信息需要预先计算光流图,从而无法实现端到端的识别以及三维卷积网络参数量巨大的问题,提出了一种基于视频时空特征的行为识别方法。该方法能够高效提取视频中的时空信息,且无需添加任何光流计算和三维卷积操作。首先,利用基于注意力机制的运动信息提取模块捕获相邻两帧之间的运动位移信息,从而模拟双流网络中光流图的作用;其次,提出了一种解耦的时空信息提取模块代替三维卷积,从而实现时空信息的编码;最后,在将两个模块嵌入二维的残差网络中后,完成端到端的行为识别。将所提方法在几个主流的行为识别数据集上进行实验,结果表明在仅使用RGB视频帧作为输入的情况下,在UCF101、HMDB51、Something-Something-V1数据集上的识别准确率分别为96.5%、73.1%和46.6%,与使用双流结构的时间分段网络（TSN）方法相比,在UCF101数据集上的识别准确率提高了2.5个百分点。可见,所提方法能够高效提取视频中的时空特征。     

基于改进的深度神经网络的人体动作识别模型

针对现有人体动作识别方法需输入固定长度的视频段、未充分利用时空信息等问题,提出一种基于时空金字塔和注意力机制相结合的深度神经网络模型,将包含时空金字塔的3D-CNN和添加时空注意力机制的LSTM模型相结合,实现了对视频段的多尺度处理和对动作的复杂时空信息的充分利用。以RGB图像和光流场作为空域和时域的输入,以融合金字塔池化层的运动和外观特征后的融合特征作为融合域的输入,最后采用决策融合策略获得最终动作识别结果。在UCF101和HMDB51数据集上进行实验,分别取得了94.2%和70.5%的识别准确率。实验结果表明,改进的网络模型在基于视频的人体动作识别任务上获得了较高的识别准确率。     

A fast registration algorithm of rock point cloud based on spherical projection and feature extraction

Point cloud registration is an essential step in the process of 3D reconstruction. In this paper, a fast registration algorithm of rock mass point cloud is proposed based on the improved iterative closest point (ICP) algorithm. In our proposed algorithm, the point cloud data of single station scanner is transformed into digital images by spherical polar coordinates, then image features are extracted and edge points are removed, the features used in this algorithm is scale-invariant feature transform (SIFT). By analyzing the corresponding relationship between digital images and 3D points, the 3D feature points are extracted, from which we can search for the two-way correspondence as candidates. After the false matches are eliminated by the exhaustive search method based on random sampling, the transformation is computed via the Levenberg-Marquardt-Iterative Closest Point (LM-ICP) algorithm. Experiments on real data of rock mass show that the proposed algorithm has the similar accuracy and better registration efficiency compared with the ICP algorithm and other algorithms.     

基于改进的尺度不变特征变换特征点匹配的电子稳像算法

针对传统尺度不变特征变换（SIFT）算法运算量大的问题,提出了一种改进的SIFT特征点匹配算法。首先介绍了SIFT特征向量的提取过程,并对算法进行了改进,在单尺度空间内提取目标的关键点,并形成34维特征向量,来代替传统SIFT算法生成的128维特征向量,使算法的实时性得到较大的提高,同时又保持了配准精度,最后将提出的改进SIFT特征应用于电子稳像中的全局运动估计中,并通过实验验证了算法的性能。     

(2+1)D多时空信息融合模型及在行为识别的应用

针对常规的卷积神经网络时空感受野尺度单一,难以提取视频中多变的时空信息的问题,利用（2+1）D模型将时间信息和空间信息在一定程度上解耦的特性,提出了（2+1）D多时空信息融合的卷积残差神经网络,并用于人体行为识别.该模型以3×3空间感受野为主,1×1空间感受野为辅,与3种不同时域感受野交叉组合构建了6种不同尺度的时空感受野.提出的多时空感受野融合模型能够同时获取不同尺度的时空信息,提取更丰富的人体行为特征,因此能够更有效识别不同时间周期、不同动作幅度的人体行为.另外提出了一种视频时序扩充方法,该方法能够同时在空间信息和时间序列扩充视频数据集,丰富训练样本.提出的方法在公共视频人体行为数据集UCF101和HMDB51上子视频的识别率超过或接近最新的视频行为识别方法.     

基于视频深度学习的时空双流人物动作识别模型

深度学习在人物动作识别方面已取得较好的成效,但当前仍然需要充分利用视频中人物的外形信息和运动信息。为利用视频中的空间信息和时间信息来识别人物行为动作,提出一种时空双流视频人物动作识别模型。该模型首先利用两个卷积神经网络分别抽取视频动作片段空间和时间特征,接着融合这两个卷积神经网络并提取中层时空特征,最后将提取的中层特征输入到3D卷积神经网络来完成视频中人物动作的识别。在数据集UCF101和HMDB51上,进行视频人物动作识别实验。实验结果表明,所提出的基于时空双流的3D卷积神经网络模型能够有效地识别视频人物动作。     

基于骨骼特征Hough变换的行为识别研究

为有效地表征人体行为的时空特征,将骨骼特征通过Hough变换后建立人体的动作表示.具体来说,采用OpenPose获取视频帧人体骨骼关键点,之后构建骨骼关节并映射到Hough空间,将骨骼关节轨迹转换为点迹,然后角度和轨迹特征的FV(Fisher vector)编码融合作为线性SVM分类器的输入.在经典公共数据集KTH、Weizmann、KARD和Drone-Action上,实验结果表明Hough变换提升了特征的鲁棒性,提高了人体行为识别的性能.     

Efficient invariant interest point detector using Bilateral-Harris corner detector for object recognition application

Interest point detection plays a significant role in computer vision applications. The most commonly used interest point detector algorithm is scale invariant feature transform (SIFT). The use of Gaussian filter in the SIFT algorithm fails to match interest points on the edge and it also causes blur annoyance in the rescaling process. To overcome this failure Bilateral-Harris Corner Detector (BHCD) has been proposed in this paper. In the proposed BHCD, a Bilateral filter preserves edges by smoothening and removing noise in an image. Accuracy in localization of interest points are improved by using the proposed dynamic blur metric calculation. The Harris corner has been added to get stable and reliable interest point detection. The proposed BHCD has been simulated for the evaluation criteria such as repeatability and matching score. Extensive experimental results show that the proposed method is more robust to illumination, scaling, rotation, compression and viewpoint changes. The experimental evaluation for BHCD has been carried for the object recognition benchmark datasets COIL-100, ZuBud, Caltech-101. The proposed BHCD achieves highest recognition rate compared to the other state-of-the-art methods.     

面向三维点云单目标跟踪的提案聚合网络

与二维可见光图像相比,三维点云在空间中保留了物体真实丰富的几何信息,能够应对单目标跟踪问题中存在尺度变换的视觉挑战。针对三维目标跟踪精度受到点云数据稀疏性导致的信息缺失影响,以及物体位置变化带来的形变影响这两个问题,在端到端的学习模式下提出了由三个模块构成的提案聚合网络,通过在最佳提案内定位物体的中心来确定三维边界框从而实现三维点云中的单目标跟踪。首先,将模板和搜索区域的点云数据转换为鸟瞰伪图,模块一通过空间和跨通道注意力机制丰富特征信息;然后,模块二用基于锚框的深度互相关孪生区域提案子网给出最佳提案;最后,模块三先利用最佳提案对搜索区域的感兴趣区域池化操作来提取目标特征,随后聚合了目标与模板特征,利用稀疏调制可变形卷积层来解决点云稀疏以及形变的问题并确定了最终三维边界框。在KITTI跟踪数据集上把所提方法与最新的三维点云单目标跟踪方法进行比较的实验结果表明：在汽车类综合性实验中,真实场景中所提方法在成功率上提高了1.7个百分点,精确率上提高了0.2个百分点;在多类别扩展性实验上,即在汽车、货车、骑车人以及行人这4类上所提方法的平均成功率提高了0.8个百分点,平均精确率提高了2.8个百分点。可见,所提方法能够解决三维点云中的单目标跟踪问题,使得三维目标跟踪结果更加精确。     

一种新型遥感图像配准方法

提出了一种新型全自动稳健的遥感图像配准算法。首先,在图像二维平面空间和尺度空间中同时检测局部极值作为特征点,并在特征点邻域提取局部不变特征描述子一尺度不变特征变换（SIFT）。然后,利用距离测度进行SIFT特征匹配得到初步的匹配集合。最后,运用稳健的随机采样一致性（RANSAC）算法将匹配点集划分为内点和外点,在内点域上精确地估计出图像变换模型。实验利用仿真数据测试了SIFT特征的可重复性和可匹配性,利用卫星图像验证了该自动配准算法的有效性和稳健性。     

基于稀疏编码局部时空描述子的动作识别方法

针对已有动作识别算法训练速度慢且识别精度不高等问题,提出了基于稀疏编码局部时空描述子的动作识别方法。该方法首先对深度图像进行法线提取,同时应用基于运动能量的自适应时空金字塔对动作帧分块;然后局部聚集法线,得到显著性局部时空描述子;对局部时空描述子进行稀疏编码得到一组字典向量来重构样本数据;最后利用简化粒子群（sPSO）优化SVM分类器找到最适合样本数据的分类模型。实验在MSRAction3D和MSRGesture3D公开数据集上达到了93.80%和95.83%的识别率,且训练速度较传统方法有明显提升,证明了该方法的有效性和鲁棒性。