基于改进SURF的实时视频拼接方法

视频拼接在现实生活中具有十分重要的意义。文中实现的功能是实时地将多路视频进行拼接以形成一个大视野的视频。为了使系统具有良好的实时性,先用DirectShow分离视频流、提取图像帧,然后提出了一种改进的SURF算法进行图像配准,最后采用渐入渐出法进行图像融合。改进的算法在特征点提取时对范围作了限制,同时改进了原有特征描述符,这样可以大大加快提取速度。在特征匹配时采用基于最近邻和次近邻距离比值的方法进行粗匹配,然后采用RANSAC方法进行提纯和求取变换矩阵,最后在视频拼接中,不是对每一帧图像进行配准和融合,而是只对首帧图像进行图像配准,之后的每帧图像利用第一帧计算出的变换矩阵进行图像拼接,这样可以加快视频拼接的速度。实验结果表明,该方法可以实时地生成无缝清晰的宽场景视频。     

一种改进的摄像头视频实时拼接方法

针对普通摄像头水平视角较小的问题,通过同时采集具有一定重叠区域的摄像头视频帧图像,基于尺度不变特征变换（ScaleInvariantFeatureTransform,SIFT）特征点,用二分哈希搜索算法（DichotomyBasedHash,DBH）进行匹配,用随机采样一致（RandomSampleConsensus,RANSAC）算法消除误匹配,得到帧图像拼接映射关系。实验结果表明,该方法能有效地实现摄像头视频实时拼接,克服了既有方法在重叠区域小于20％时失效的不足,在重叠区域为10％左右时仍能取得有效的拼接。     

基于改进ORB特征检测的全景视频拼接

针对全景视频拼接中算法复杂度高且拼接后的视频存在拼接裂缝和"GHOST"现象的问题,提出一种基于改进ORB特征检测的全景视频拼接方法。首先采用多尺度空间来检测特征点以及对检测参数进行设置,使得ORB算子具有尺度不变性且分布均匀;然后采用Hamming距离进行特征匹配并采用RANSAC算法去除误匹配点;最后通过采用复杂度较低的动态规划算法找到最佳缝合线,并对拼接后的图像采用泊松融合进行平滑处理。将Ladybug全景摄像机拍摄的1帧兰州西科站全景视频图像进行仿真实验。仿真结果表明,该全景视频拼接方法在实时性方面表现优异,对存在的拼接裂缝和"GHOST"现象有很好的抑制作用。     

固定多摄像头的视觉拼接技术

视频拼接技术是计算机图形学和计算机视觉的重要分支,它的发展基于静态图像的拼接技术,但由于视频信息的复杂性,视频拼接也有区别于图像拼接,针对实际运用中的实时拼接的需要,本文提出了一种基于控制帧的固定摄像头视频拼接方法。首先采集控制帧图像,对摄像头进行参数标定获得相机内参和光心坐标,再使用一种改进的畸变矫正方法去除摄像头畸变带来的成像失真。然后对控制帧图像进行SIFT特征提取并进行粗匹配,再用RANSAC的方法剔除误匹配点并拟合出图像变换单应阵。最后使用查表法将各摄像头的图像同步投影到大场景图片上,对重合区域进行光亮补偿和多带融合。最终实现速度可达25帧/秒的实时视频拼接。     

PTZ自主跟踪中的全景视频生成

提出了一种在单PTZ摄像机自主跟踪过程中生成全景视频的方法。该方法在自主跟踪目标的同时,生成目标在大场景上运动的全景视频,可应用于PTZ摄像机监控场所。该方 法将全景视频看作全景背景图像和当前目标图像的叠加：首先利用Mean Shift跟踪方法逐帧获取目标区域图像并保存;然后利用相邻两帧视频图像的竖直方向投影匹配和Harris角 点匹配结果合成全景背景,与传统的配准方法相比,大大降低了匹配运算的复杂度,使全景背景的生成能够实时进行,并记录每帧图像到背景图像的变换参数;最后逐帧将目标区 域图像变换到背景图像上得到全景视频。本文方法与传统的全景视频生成方法相比,无需人工控制摄像机的转动,也无需手工对齐视频帧,整个过程全部自动完成。     

一种基于压缩域的视频拼接算法

提出了一种基于压缩域的双摄像机视频拼接算法。首先利用相位相关法估算输入视频的对应第一帧重叠区域，并在重叠区域进行SIFT角点检测和匹配，加快角点匹配速度，提高匹配稳健性，使用RANSAC算法去除外点，采用奇异值分解法配合LM非线性优化方法求解变换参数，得到首帧的对应投影矩阵；对于非首帧的配准，利用压缩视频中的当前帧与前帧的运动矢量，获得全局运动矢量，然后结合对应前帧的投影矩阵，获得相应的当前帧的投影矩阵;最后使用多频带融合算法进行图像混合以改善线性加权融合算法带来的高频细节模糊。与传统算法相比，由于省去了特征提取和匹配方法，从而减少了大量的计算步骤和时间，提高了速度，增加了实用性。实验结果表明该算法具有较好的实用价值。     

基于SIFT特征跟踪匹配的视频拼接方法

针对不同摄像头的监控视频序列,提出了一种基于视频帧SIFT（Scale Invariant Feature Transform,即尺度不变特征变换）特征跟踪的拼接方法。通过SIFT算法提取帧图像的特征,并在跟踪的估计区域搜索匹配特征,从而确定待整合帧之间的变换参数。实验结果表明,该方法较好实现视频快速拼接,且对重叠区域小、形变大、有运动物体遮挡的视频具有较强的鲁棒性。     

基于圆形感兴趣区域多路视频实时拼接

针对视频拼接过程中面临的许多挑战,如实时性、有动态物体产生鬼影现象等,提出了一种基于圆形感兴趣区域（ROI）图像配准结合简化处理及图形处理器（GPU）加速的方法。首先,仅在ROI内提取特征点,提高了特征检测效率和匹配准确率。其次,为进一步降低时间开销,满足视频处理实时性需求,采用了两种策略：一方面,通过简化处理仅对首帧作图像配准,后续帧利用得到的单应性矩阵进行图像融合;另一方面,利用GPU多核实现并行化硬件加速。此外,当视场中有动态物体时,采用图形分割和多频带图像融合算法,有效地消除了鬼影。实验对两路640×480的视频进行拼接,该方法的处理速度可达27.8帧/秒。相对于基于加速鲁棒特征（SURF）算法的视频拼接方法,效率提高了26.27倍;相对于基于带方向的加速分段测试特征提取结合旋转的二进制鲁棒独立元素特征描述（ORB）算法的视频拼接方法,效率提高了11.57倍。实验结果表明,该方法可将多路视频实时地拼接为高质量的大场景视频。     

基于SURF算法的全景图拼接技术研究与实现

针对云台网络摄像机监控系统,提出一种基于摄像机视频流的全景图生成算法,以构建更大的监控场景。根据帧间重叠区域的大小选取关键帧,进行柱面投影,利用计算性能优越的SURF(Speeded Up Robust Features,加速鲁棒性特征)算法对所选取的关键帧进行特征点提取,使用基于哈希映射的特征点匹配算法加快特征点的匹配,并结合RANSAC(RANdom SAmple Consensus,随机抽样一致)算法剔除误匹配,估计关键帧之间的变换关系。实验结果表明,该方法能较好实现视频序列的快速拼接,鲁棒性强,具有较高的实用价值。     

远程全景实时监控系统设计与实现

针对现有实时视频通信系统因视频编解码模块和传输协议之间协作不紧密影响视频通信的传输性能和视觉质量,以及常用的远程实时监控系统监控范围和角度有限,多画面独立显示不够直观的问题,采用新型紧耦合式的视频通信架构,通过逐帧联合控制视频的编解码和传输,优化了每一帧的编码长度,提高了实时监控视频传输的端到端时延性能和视频图像质量;设计了多路远程视频源间的帧同步算法,并基于OpenCV的图像拼接模块定制了图像拼接流程;通过在特征点提取和匹配、图像变形和图像融合阶段使用GPU加速,并在逐帧拼接时设置合适的拼接缝更新间隔,实现了监控视频的近实时拼接。实验证明,系统能够获得良好的监控视频质量和更广的监控范围,一定程度上解决了视频监控中的盲区问题,同时具有较好的实时性和视觉效果。     

基于SURF和动态ROI的实时视频拼接

为解决含有运动物体的视频拼接问题及解决不同景深下的目标拼接等此类问题,提出一种基于SURF和动态ROI方法的双目摄像机视频图像快速拼接方法.通过RANSAC方法与单应性矩阵平滑方法估计双目摄像头视频图像变换模型,融合成宽场景的视频图像.由于选取了动态ROI之后不进行重叠区域之外的SURF特征提取,提高了特征匹配的精准度,避免了ROI之外的误匹配特征点对,同时减少了程序的耗时.大量的实验结果表明,该系统能够自适应的对双目摄像头采集的图像进行视频拼接,获得清晰的宽场景视频.     

基于特征匹配与运动补偿的视频稳像算法

针对在复杂背景下航拍视频的抖动情况,为了实时输出稳定的视频,提出了一种改进的特征匹配算法与全局运动补偿相结合的视频稳像算法。首先,利用尺度不变的SURF算法提取特征点并计算描述符,再结合快速近似最邻近匹配算法得到匹配点对,并通过双向匹配以及K近邻算法筛选优秀匹配点,从而提高匹配正确率;其次,提出了一种局部区域匹配法,提高了算法处理速度,并避免场景内运动目标对稳像效果的影响。通过建立仿射变换模型,求解相邻帧图像的变换参数,进而对图像进行全局运动补偿。结果表明,该算法速度快、匹配精度高,有良好的视频稳像效果。     

快速有效的视频图像序列拼接方法

针对现有的视频图像序列拼接方法处理速度慢的问题,提出一种基于SURF特征的快速有效的拼接算法。该算法用鲁棒性强且计算性能优越的SURF算子取代传统的SIFT算子进行特征点提取;在特征点匹配方面,提出了一种基于哈希映射和双向最近邻距离比的匹配算法,可以快速有效地获得特征点间的对应关系。为了消除由于运动物体干扰带来的误匹配,采用随机采样一致性（RANSAC）方法来消除外点确保匹配的有效性,再通过最小二乘法估计视频帧之间的全局运动参数,最终拼接形成全景图。实验结果表明,该拼接算法快速有效,鲁棒性强,具有较高的使用价值。     

基于改进随机抽样一致算法的视频拼接算法

为了解决实时视频拼接中的鬼影和拼接缝问题,提出了一种基于改进随机抽样一致算法的实时视频拼接算法。首先,针对双目摄像头的重叠区域,采用加速鲁棒特征算法提取特征点,寻找特征匹配点对;然后利用改进的随机抽样一致算法去除误匹配点对,获得最优单应性矩阵;最后,对重叠区域像素进行动态融合处理。实验结果表明,采用本文算法可以有效地消除视频重叠区域的拼接缝和鬼影,同时可保证视频拼接系统的实时性。     

基于图像增强的井下图像拼接

为了通过图像采集技术实时监控煤矿井下生产情况, 提出了基于图像增强的井下图像拼接算法。利用局部双边滤波算法对图像进行增强,在此基础上再利用近似的Hessian矩阵和框状滤波确定特征点的位置,然后,计算特征点的描述子向量,采用最近距离比次近距离的匹配算法将特征点配对,最后利用特征点对计算得出变换矩阵,采用线性渐变融合方法进行图像融合。通过图像增强前后特征点数量对比实验验证了增强算法的有效性,并证明了该算法显著提高了SURF（Speeded Up Robust Features）算法的拼接效率,有利于提高匹配的准确性和拼接的快速性。     

一种基于特征点匹配的图像拼接方法研究

针对图像间因具有旋转及光线强度差异等现象而导致的拼接效果不佳及拼接速度慢的问题,提出一种基于特征点的配准算法;在特征点提取阶段,尺度不变的特征变换方法 (SIFT)具有对图像尺度缩放、旋转、放射变换以及亮度变化保持不变的优点,文章采用了改进的SIFT特征点提取算法;在特征点匹配阶段,采用改进的RANSAC算法对特征点匹配对提纯;最后用加权平均法实现拼接图像的融合;实验证明,该算法有效提高了图像拼接的效率和准确性,拼接精度可以达到亚像素级。     

基于二维透射变换的视频全景图拼接算法

视频序列全景图拼接技术是视频图像分析的关键技术之一。针对帧间运动模型为二维投影变换的常见视频序列,提出了一种全景图拼接算法.该算法首先采用改进的基于RANSAC的特征点匹配算法对相邻帧的运动参数进行估计,接着采用直接法对各帧与全景图间的运动参数进行精确调整,最后运用自适应中值滤波绘制出全景图。实验结果表明,该方法能够生成较高质量的全景图,基本能实现无缝连接。     

基于改进加速鲁棒特征的井下视频拼接算法

针对加速鲁棒特征算法用于井下视频拼接时实时性不高的问题,通过降低特征点维度和仅在感兴趣区域提取特征点来改进加速鲁棒特征算法,在此基础上提出了一种井下视频拼接算法。首先,利用改进的加速鲁棒特征算法提取视频图像特征点;然后,动态追踪特征点数量,若非首帧图像特征点数量变化超过阈值,则重新进行特征点配准、提纯,以及投影变换矩阵计算及存储处理,否则采用前一帧图像所得的投影变换矩阵;最后,采用渐入渐出加权平均法进行图像融合处理,完成视频拼接。实验结果表明,基于改进加速鲁棒特征的井下视频拼接算法实时性高,拼接效果较好。     

结合变形函数和幂函数权重的图像拼接

针对图像拼接算法存在效率低下、特征点错误匹配、重影和拼接缝等问题，提出一种基于尺度不变特征变换、薄板样条函数和幂函数的图像拼接方法。该方法通过对输入图像进行采样匹配，计算输入图像间的点映射关系和重合区域，使用点映射关系对重合区域内的特征点进行定向配准，利用特征点集合计算出图像的局部扭曲模型，使用图像插值方法对图像进行变形映射；采用幂函数权重模型对变形图像中的像素进行平滑过渡，完成图像拼接。实验结果表明，在拼接相同图像的情况下，所提方法与传统的尺度不变特征变换算法相比，特征点配准效率提高了约59.78%，而且得到了更多的特征点对；与经典的图像拼接算法相比，该方法解决了图像的重影和拼接缝的问题，同时提高了图像的质量评估指标的得分。     

矿井多视角图像拼接方法研究

针对煤矿井下监控图像视野范围较小、细节特征不清晰等问题,提出了一种矿井多视角图像拼接方法。首先,采用一种改进对比度受限的自适应直方图均衡化方法对图像进行预处理,以突出图像细节,提高对比度;其次,选用ORB算法提取图像特征点,采用改进的Brief算法计算特征描述子;再次,通过K最近邻(KNN)算法实现特征点对粗匹配,基于随机采样一致性(RANSAC)算法对误匹配特征点对进行筛选、消除,并求解最优透视变换矩阵,对待匹配图像像素点进行坐标变换;最后,采用帽子函数加权平均融合算法对固定图像和待匹配图像进行拼接融合。实验结果表明:ORB算法较尺度不变的特征变换(SIFT)、KAZE算法对于单张图像提取的特征点数分别减少48%,33%,提高了有效特征点提取能力,特征点提取耗时分别减少17%,34%,提高了计算效率;采用该方法拼接的图像避免了连接处的裂缝、黑线现象,图像过渡自然,清晰度高。