结合对齐度准则的视频人脸快速配准算法

在视频人脸替换过程中,针对人脸检测和特征点定位不考虑前后帧的时域联系,导致处理后的视频人脸出现抖动、错位现象的问题,提出结合对齐度准则的视频序列人脸配准方法。通过人脸特征点定位确定待匹配人脸的候选区域和参考人脸五官图像,并根据梯度信息得到参考人脸搜索子图像。构造图像尺度金字塔,在尺度金字塔中快速搜索对齐度极值,极值坐标对应搜索子图像相似度最高的配准点,构造匹配点对。采用Procrustes analysis算法计算对应匹配点的变换关系矩阵,完成待配准图像的坐标变换。根据实验数据,提出的算法提高了优化搜索的速度,处理后的视频与其他算法相比,前后帧对齐的人脸位置和姿态稳定,经处理的视频播放过程中人脸位置自然流畅。算法消除了肤色区域的影响,采用前后帧人脸的有效信息,保持了灰度变化大的人脸区域的位置和姿态,实现视频人脸的精确配准。     

一种基于压缩域的视频拼接算法

提出了一种基于压缩域的双摄像机视频拼接算法。首先利用相位相关法估算输入视频的对应第一帧重叠区域，并在重叠区域进行SIFT角点检测和匹配，加快角点匹配速度，提高匹配稳健性，使用RANSAC算法去除外点，采用奇异值分解法配合LM非线性优化方法求解变换参数，得到首帧的对应投影矩阵；对于非首帧的配准，利用压缩视频中的当前帧与前帧的运动矢量，获得全局运动矢量，然后结合对应前帧的投影矩阵，获得相应的当前帧的投影矩阵;最后使用多频带融合算法进行图像混合以改善线性加权融合算法带来的高频细节模糊。与传统算法相比，由于省去了特征提取和匹配方法，从而减少了大量的计算步骤和时间，提高了速度，增加了实用性。实验结果表明该算法具有较好的实用价值。     

基于特征匹配与运动补偿的视频稳像算法

针对在复杂背景下航拍视频的抖动情况,为了实时输出稳定的视频,提出了一种改进的特征匹配算法与全局运动补偿相结合的视频稳像算法。首先,利用尺度不变的SURF算法提取特征点并计算描述符,再结合快速近似最邻近匹配算法得到匹配点对,并通过双向匹配以及K近邻算法筛选优秀匹配点,从而提高匹配正确率;其次,提出了一种局部区域匹配法,提高了算法处理速度,并避免场景内运动目标对稳像效果的影响。通过建立仿射变换模型,求解相邻帧图像的变换参数,进而对图像进行全局运动补偿。结果表明,该算法速度快、匹配精度高,有良好的视频稳像效果。     

基于自适应SIFT算法的全局运动估计方法

为了更好地实现全局运动估计快速、准确的处理,根据全局运动中视频图像序列的时间冗余特性,提出一种自适应SIFT(Scale-invariant feature transform)算法。基于最近三次模型匹配的结果,采用Lagrange抛物线插值来预测需要匹配的参考帧和当前帧图像的重叠区域。在重叠区域上提取特征点和进行特征匹配,既能够消除视频图像序列中存在的大量信息冗余,加快每帧图像的处理速度,又可以提高待匹配特征点的有效性,减少误匹配。实验结果表明,改进后的算法自适应能力强、速度快、匹配精度高,基本满足实时定位。     

基于SIFT特征跟踪匹配的视频拼接方法

针对不同摄像头的监控视频序列,提出了一种基于视频帧SIFT（Scale Invariant Feature Transform,即尺度不变特征变换）特征跟踪的拼接方法。通过SIFT算法提取帧图像的特征,并在跟踪的估计区域搜索匹配特征,从而确定待整合帧之间的变换参数。实验结果表明,该方法较好实现视频快速拼接,且对重叠区域小、形变大、有运动物体遮挡的视频具有较强的鲁棒性。     

基于改进快速鲁棒性特征的导弹视频特征匹配

利用电视制导导弹视频图像确定导弹落点,从而开展精确目标毁伤评估研究,是目前全新的一种评估手段。图像特征匹配是利用视频图像确定导弹落点的关键步骤。针对导弹视频图像的特点及其作战应用,在特征匹配阶段,依据准确性和实时性两个原则,对快速鲁棒性特征算法做了两方面的改进:一是限制特征点提取区域,定义了图像区域限制算子;二是限制特征点数量,利用算法阈值和随机抽样一致性算法对特征点进行限制。实验结果表明,提出的算法对典型视频片段进行处理,较原算法在匹配时间上平均减少12.6%,匹配准确率平均提升13.4%,较尺度不变特征变换算法匹配时间平均提升了74.9%,同时,有效消除伪匹配点。通过对三段视频进行测试仿真,改进算法在整体上较原算法的匹配时间加快14.9%,且通用性较强,适用于视频图像的特征点匹配。     

多帧时空注意力引导的半监督视频分割

目的 传统的半监督视频分割多是基于光流的方法建模关键帧与当前帧之间的特征关联。而光流法在使用过程中容易因遮挡、特殊纹理等情况产生错误,从而导致多帧融合存在问题。为了更好地融合多帧特征,本文提取第1帧的外观特征信息与邻近关键帧的位置信息,通过Transformer和改进的PAN（path aggregation network）模块进行特征融合,从而基于多帧时空注意力学习并融合多帧的特征。方法 多帧时空注意力引导的半监督视频分割方法由视频预处理（即外观特征提取网络和当前帧特征提取网络）以及基于Transformer和改进的PAN模块的特征融合两部分构成。具体包括以下步骤：构建一个外观信息特征提取网络,用于提取第1帧图像的外观信息;构建一个当前帧特征提取网络,通过Transformer模块对当前帧与第1帧的特征进行融合,使用第1帧的外观信息指导当前帧特征信息的提取;借助邻近数帧掩码图与当前帧特征图进行局部特征匹配,决策出与当前帧位置信息相关性较大的数帧作为邻近关键帧,用来指导当前帧位置信息的提取;借助改进的PAN特征聚合模块,将深层语义信息与浅层语义信息进行融合。结果 本文算法在DAVIS（densely annotated video segmentation）-2016数据集上的J和F得分为81.5%和80.9%,在DAVIS-2017数据集上为78.4%和77.9%,均优于对比方法。本文算法的运行速度为22帧/s,对比实验中排名第2,比PLM（pixel-level matching）算法低1.6%。在YouTube-VOS（video object segmentation）数据集上也取得了有竞争力的结果,J和F的平均值达到了71.2%,领先于对比方法。结论 多帧时空注意力引导的半监督视频分割算法在对目标物体进行分割的同时,能有效融合全局与局部信息,减少细节信息丢失,在保持较高效率的同时能有效提高半监督视频分割的准确率。     

融合彩色信息与SIFT特征的帧内复制粘贴篡改检测

近年来在同源复制粘贴篡改检测中,SIFT特征得到了广泛的应用.但由于该特征在提取过程中摒弃了颜色信息,会造成一部分特征点的误匹配和漏匹配.为此,提出一种基于彩色信息与SIFT融合的CSIFT特征的检测方法,在提取特征点时加入颜色不变量信息,提高了匹配的准确性和效率.算法首先利用结构相似度将视频帧序列分段,提取每段序列的关键帧;然后提取关键帧的CSIFT特征;最终定位复制粘贴区域,并利用目标跟踪算法计算篡改区域在后续帧上的位置.通过实验验证了算法的鲁棒性,与基于SIFT等特征的算法相比,时间效率和准确性更高.     

基于关键区域的二值化场景特征快速提取方法

近年来，驾驶辅助系统中基于视频信息的车辆定位技术受到广泛关注。针对轻轨系统高精度场景匹配中场景相似度过高导致定位困难的问题，提出了一种关键区域及二值化特征提取方法。该方法以离线处理的方式在高相似度的参考序列帧内提取具有显著性信息的关键区域，并在这些区域中生成二值化特征描述符以提高实时场景匹配的速度与准确率。在香港轻轨数据集以及公开的Nordland数据集中，相对于局部场景特征，基于提出的关键区域特征的场景匹配方法错误偏差下降31.43%，同时节约了94.22%的匹配时间；与SeqSLAM场景跟踪算法相比，在不显著增加运行时间的前提下，基于关键区域二值化场景特征的场景跟踪正确率提高了9.84%。实验结果表明，提出的关键区域以及二值化特征提取方法在降低了场景匹配计算时间的同时，提高了匹配精确度。     

基于层叠分类器的快速相关跟踪算法

提出一种基于层叠分类器的快速相关跟踪算法。首先利用目标模板色彩分布信息对原始图像数据进行变换,锐化匹配相似度函数峰值,增强算法在复杂环境下的稳定性;然后提出了用平均灰度差和Harr型特征构造层叠分类器,分层刻画目标模板与搜索窗口在统计特征和局部特征上的相似性,并采用积分图快速计算特征,从而大幅度减少在非最优匹配点上的计算量,且特征计算与模板大小无关。大量实验结果表明,该算法大大降低了相关跟踪的时间复杂度,具有跟踪稳定、实时性强等特点。目前,以该算法为核心的实时目标跟踪系统对图像大小为320×240的视频序列内任意尺寸目标的平均处理速度达到20帧/s。     

基于区域划分和四元数的彩色图像复制粘贴篡改检测

现有的篡改检测方法中特征点提取不充分会导致篡改检测精度不高,特征点描述符识别率差,针对该问题提出一种基于颜色矩的区域划分和四元数Hu矩的彩色图像复制粘贴篡改检测算法。首先,使用自适应形态重建算法对图像进行超像素分割,通过密度聚类算法对图像自适应划分区域;其次,提出一种关键点提取方法得到均匀的SIFT特征点;然后,在一种新颖的彩色图像四元数表示方法中构建局部高斯金字塔提取Hu矩特征;最后,利用2NN进行特征匹配后,结合Delaunay三角形算法定位出复制粘贴篡改区域。在公共数据集上的实验结果表明,该算法可以更有效地定位篡改区域。     

融合多路特征和注意力机制的强化学习关键帧提取算法

针对现有视频关键帧提取算法对运动类视频中运动特征提取不准导致的漏检和误检问题,提出一种融合多路特征和注意力机制的强化学习关键帧提取算法。该算法首先通过人体姿态识别算法对视频序列进行人体骨骼关节点提取;然后使用S-GCN和ResNet50网络分别提取视频序列中的运动特征和静态特征,并将两者进行加权融合;最后应用注意力机制对特征序列进行视频帧重要性计算,并利用强化学习进行关键帧的提取和优化。实验结果表明,该算法能较好地解决运动类视频在关键帧提取中出现的漏误检问题,在检测含有关键性动作的视频帧时表现较好,算法准确率高、稳定性强。     

基于尺度不变特征变换的快速图像拷贝检测

针对传统基于尺度不变特征变换（SIFT）特征的图像拷贝检测算法特征提取速度慢、匹配效率不高的问题,提出了一种基于SIFT特征点位置分布与方向分布特征的快速图像拷贝检测算法。首先,提取SIFT特征点二维位置信息,通过计算各个特征点与图像中心点的距离、角度,分块统计各区间的特征点数量,依据数量关系量化生成二值哈希序列,构成一级鲁棒特征;然后,根据特征点一维方向分布特征分块统计各方向子区间特征点数量,依据数量关系构成二级图像特征;最后,拷贝检测时采用级联式过滤框架作出是否为拷贝的判断。仿真实验结果表明,与传统SIFT以128维特征描述子为基础构建哈希序列的图像拷贝检测算法相比,所提算法在保证鲁棒性与独特性不降低的同时,特征提取时间缩短为原来的1/20,匹配时间也缩短了1/2以上,可满足在线拷贝检测的需求。     

定位图像匹配尺度与区域的摄像机位姿实时跟踪

目的 提出一种定位图像匹配尺度及区域的有效算法,通过实现当前屏幕图像特征点与模板图像中对应尺度下部分区域中的特征点匹配,实现摄像机对模板图像的实时跟踪,解决3维跟踪算法中匹配精度与效率问题。方法 在预处理阶段,算法对模板图像建立多尺度表示,各尺度下的图像进行区域划分,在每个区域内采用ORB（oriented FAST and rotated BRIEF）方法提取特征点并生成描述子,由此构建图像特征点的分级分区管理模式。在实时跟踪阶段,对于当前摄像机获得的图像,首先定位该图像所对应的尺度范围,在相应尺度范围内确定与当前图像重叠度大的图像区域,然后将当前图像与模板图像对应的尺度与区域中的特征点集进行匹配,最后根据匹配点对计算摄像机的位姿。结果 利用公开图像数据库（stanford mobile visual search dataset）中不同分辨率的模板图像及更多图像进行实验,结果表明,本文算法性能稳定,配准误差在1个像素左右;系统运行帧率总体稳定在2030 帧/s。结论 与多种经典算法对比,新方法能够更好地定位图像匹配尺度与区域,采用这种局部特征点匹配的方法在配准精度与计算效率方面比现有方法有明显提升,并且当模板图像分辨率较高时性能更好,特别适合移动增强现实应用。     

Key Frame Extraction of Surveillance Video based on Moving Object Detection and Image Similarity

For the traditional method to extract the surveillance video key frame, there are problems of redundant information, substandard representative content and other issues. A key frame extraction method based on motion target detection and image similarity is proposed in this paper. This method first uses the ViBe algorithm fusing the inter-frame difference method to divide the original video into several segments containing the moving object. Then, the global similarity of the video frame is obtained by using the peak signal to noise ratio, the local similarity is obtained through the SURF feature point, and the comprehensive similarity of the video image is obtained by weighted fusion of them. Finally, the key frames are extracted from the critical video sequence by adaptive selection threshold. The experimental results show that the method can effectively extract the video key frame, reduce the redundant information of the video data, and express the main content of the video concisely. Moreover, the complexity of the algorithm is not high, so it is suitable for the key frame extraction of the surveillance video.     

Evaluation of salient point techniques

In image retrieval, global features related to color or texture are commonly used to describe the image content. The problem with this approach is that these global features cannot capture all parts of the image having different characteristics. Therefore, local computation of image information is necessary. By using salient points to represent local information, more discriminative features can be computed. In this paper, we compare a wavelet-based salient point extraction algorithm with two corner detectors using the criteria: repeatability rate and information content. We also show that extracting color and texture information in the locations given by our salient points provides significantly improved results in terms of retrieval accuracy, computational complexity, and storage space of feature vectors as compared to global feature approaches.     

基于改进显著图和局部特征匹配的copy-move窜改检测

检测整幅窜改图像的方法增加了许多非必要的计算量,为了降低计算复杂度和进一步提高检测精确率,提出了一种基于改进显著图和局部特征匹配的copy-move窜改检测方法。首先,结合图像梯度改进显著图,分离出包含图像高纹理信息的局部显著区域;其次,只对该局部区域采用SIFT(scale invariant feature transform)算法提取特征点;然后,对显著性小的图像采用密度聚类和二阶段匹配策略,对显著性大的图像采用超像素分割和显著块特征匹配的策略;最后,结合PSNR和形态学操作来定位窜改区域。在两个公开数据集上进行实验,该方法的平均检测时间小于10 s,平均检测精确率大于97%,均优于所对比的方法。实验结果表明,该方法能够大幅缩减检测时间、有效提高检测精确率,并且对几何变换和后处理操作也都具有较好的鲁棒性。     

基于局部显著特征的快速图像配准方法

针对SIFT算法在进行图像配准时存在提取特征点数目大、无法精确控制、运算速度慢、配准点精度不高的问题,提出一种基于局部显著特征的快速图像配准方法。该方法首先对原始图像和待配准图像进行降采样,对降采样图像分别提取SIFT特征点,并对特征点运用改进的K-means聚类算法进行聚类;然后利用聚类结果筛选聚类区域,在各聚类区域提取显著特征点进行粗匹配;最后利用显著特征点在原始图像中定位显著区域,对所得显著区域进行精配准。实验结果表明,该方法减少了图像匹配时间,控制了特征点数量,在保证匹配准确度的同时,有效地提高了特征匹配的效率。