基于视频拼接技术的无人实况转播系统

介绍了基于视频拼接技术的无人实况转播系统的实现。首先对图像进行预处理,然后使用SURF算法对视频图像进行图像配准拼接,并对拼接图像进行融合。提出了一种基于运动前景提取的全景视频中热点区域确定方法,该方法可平滑追踪热点区域进行提取实现实时转播。本系统的实现节省了视频直播过程中的人力财力。     

FPGA在视频拼接中的应用与实现

针对大场景视频拼接技术在汽车环视系统等领域的应用需求,并为了适应嵌入式系统快速发展的要求,提出了基于FPGA片上可编程系统(system on a programmable chip,SOPC)技术来实现多个摄像头视频数据的传输和拼接的大视场视频解决方案.系统的硬件平台的构建以Xilinx软核处理器Microblaze为核心,主要完成了视频数据的采集、存储、处理以及传输等工作,图像拼接部分采用频域相位相关算法,对待拼接图像进行配准,并通过融合算法得到具有360°全景视频信息的大视场图像.通过实验对系统进行测试,验证了系统的可行性.     

面向虚拟场景的深度全景视频绘制技术

高度复杂的三维场景通常包含几千万甚至上亿个三角形和丰富的纹理,大大超过了目前图形硬件的处理能力。传统基于几何的绘制系统通过牺牲画面质量来实现场景的快速绘制。与此不同,基于图像的绘制技术利用逼真的图像序列来生成高质量的目标画面。研究面向虚拟场景的IBR(Image-Based Rendering)技术来克服现有方法的不足,提出以深度全景视频DPV作为场景表示的基本单元,通过多段深度全景视频组成的深度全景视频网络来表示虚拟场景的漫游区域,它允许视点在漫游平面的封闭区域内连续运动。绘制算法根据目标视点参数计算深度全景视频环中对目标图像有贡献的候选区域,综合利用GPU的强大处理能力和浮点格式的绘制目标,以及多幅深度图像混合绘制技术对候选区域进行绘制来生成目标图像。实验结果表明,深度全景视频绘制技术可实现大规模虚拟场景高质量实时绘制。     

一种移动设备视频全景并行生成技术*

通过移动摄像机合成视频全景图,由于视频中存在时间冗余以及现有合成技术对大角度旋转存在失配,提出一种鲁棒性较好的视频全景并行合成方法。该方法首先对选取的关键帧采用并行线程提取可重复性特征,并利用特征估计透视运动模型,从而对相邻关键帧进行全局配准;然后对重叠区域进行双线性融合,以减少视差对重叠场景的影响,同时并行优化提高了视频全景的合成速度。不同条件下移动合成实验表明,在大角度移动旋转以及视差等情况下仍能较好地合成视图。     

采用视频拼图方法构建高分辨率全景视频监控系统

与普通视频监控系统只能实现单向监控不同,全景视频监控系统可以实现360°全向监控。设计并实现了一种嵌入式高分辨率全景视频监控系统KD-PVS。重点介绍了KD-PVS中多个摄像头的空间位置设计、视频图像变换与拼接算法。KD-PVS通过对多个摄像头采集的视频进行实时变换与拼接以生成全景视频。该系统可方便应用于金融系统、仓库、监狱和移动监控等多种场合,尤其适用于室内监控。     

面向野外火灾监测的图像拼接技术研究

传统的火灾检测系统主要依靠传感器实现,由于设备长时间接触灰尘等其他因素,有很大的可能发生失灵或故障。基于上述的缺陷,将图像拼接系统应用在野外防火检测系统上将会产生更好的效果。通过摄像头采集的图像信息往往具有一定的视差,拼接后得到的全景图像易产生重影等现象。在进行多幅图像拼接时,拼接后的全景图像不能呈现出规则的矩形形状。针对上述问题,采用一种图像变形的方法来实现精确对齐,并利用Seam Carving算法将不规则的全景图像矩形化输出为规则的全景图像,最后将规则全景图像与原场景图像进行背景对比,从而达到火灾检测的目的。     

基于时序特征预测的实时视频拼接算法

在动态场景下进行视差处理是实时视频拼接中的一个难题,当运动对象经过视频拼接接缝时容易发生伪影和错位的现象,而复杂的配准和融合算法又难以满足实时性要求.为了解决这个问题,提出了一种基于时序特征预测的实时视频拼接算法.针对采集到的具有20％～40％重叠区域的视频帧,通过结合HOG和LBP等快速特征匹配算法,保证了视频拼接的...     

固定多摄像头的视觉拼接技术

视频拼接技术是计算机图形学和计算机视觉的重要分支,它的发展基于静态图像的拼接技术,但由于视频信息的复杂性,视频拼接也有区别于图像拼接,针对实际运用中的实时拼接的需要,本文提出了一种基于控制帧的固定摄像头视频拼接方法。首先采集控制帧图像,对摄像头进行参数标定获得相机内参和光心坐标,再使用一种改进的畸变矫正方法去除摄像头畸变带来的成像失真。然后对控制帧图像进行SIFT特征提取并进行粗匹配,再用RANSAC的方法剔除误匹配点并拟合出图像变换单应阵。最后使用查表法将各摄像头的图像同步投影到大场景图片上,对重合区域进行光亮补偿和多带融合。最终实现速度可达25帧/秒的实时视频拼接。     

全景视频增强现实系统设计与研究

提出一种全景视频增强现实系统的建设方案。将全景视频采集装置放置在真实世界中采集视频,然后通过计算机处理生成全景视频并显示出来,使观光者通过佩戴显示设备,在其他地方观看向全景视频中添加了虚拟信息的场景。解决了系统中全景视频拼接中算法复杂度高且拼接后的视频存在拼接裂缝和"GHOST"现象,以及三维注册易受环境与目标跟踪检测算法耗时严重影响的技术难点。通过对ARToolKit二次开发,将3DMax生成的虚拟信息叠加到Ladybug拍摄后拼接的兰州市金城关全景视频中进行仿真实验。仿真结果表明,全景视频拼接方法在实时性方面表现优异,有效地抑制了拼接裂缝和"GHOST"现象,增强现实三维注册方法对于全景视频的局部增强效果表现优异。     

基于格林坐标和改进最佳缝合线的图像拼接技术

为了应对大视差场景的图像拼接问题以及提高拼接图像的自然度,提出了一种基于对极几何约束和格林坐标的图像拼接算法.首先,用对极几何模型代替单应性矩阵作为随机抽样一致(RANSAC)算法的筛选模型,弥补单个全局单应性矩阵处理大视差图像时的不足,提高特征点匹配的精准度;然后,以一幅图像为参考,对另一幅图像进行基于格林坐标的预变形;其次,借助弹性鲁棒扭曲的思想消除预变形图像和参考图像之间的投影偏差;最后,将超像素分割的思想应用到缝合线的找取过程中,避免缝合线穿过物体重要部分,实现用最佳缝合线拼接图像.实验结果表明,所提算法能够有效地避免伪影的出现,能更加精准地实现图像对齐,使拼接后的图像更加自然.改进的算法使缝合线从超像素边界穿过,达到保持图像局部重要信息完整性的效果,可应用于电力传输与运维场景视觉监控领域.     

一种改进的复杂背景下视频车辆检测技术

视频运动目标检测是数字视频处理、分析应用的一个重要领域,其目的是把作为一个整体的视频图像序列,通过一定的方法挖掘出具有意义的运动实体数据。该文对传统阈值法的缺陷进行分析,采用改进的二维阈值结合遗传的方法提高求解寻优的速度和效率,并通过帧差结合背景补偿的方式,提出一种适合于在复杂背景环境下实时检测运动车辆的新方法。实验结果表明,该方法有较强的环境适应能力,能够很好地检测出运动车辆。     

基于WebGL的全景技术智慧旅游系统

针对目前国内的全景漫游技术兼容性和实现效率差等问题,提出了一种基于WebGL的全景技术,免除安装渲染插件的步骤,系统更轻量,计算机资源占用率低.采取无人机航拍与地面全景云台架设相机拍摄相结合的方法收集数据;按照尺度不变特征转换的方式完成图片的拼接;结合WebGL技术和具体的HTML5框架添加场景和制作热点数据,上传至服务器端完成发布.该技术成功应用于桂平市智慧旅游建设项目当中,实现了景区的全景虚拟漫游系统.通过该系统,用户可在线虚拟游览欣赏景区的景点风光,体验全景漫游的沉浸感和逼真性.     

User interface for video observation over the internet

This paper presents the design and application of a system for live video transmission and remote camera control over the World Wide Web. Extensive testing of the Internet Video Server (IVS) prompted us to improve its user interface. The GlobalView extension of IVS was developed which enables the generation of panoramic images of the environment and a more intuitive control of the camera. The live video frame is superimposed on a 360^°static panoramic picture. By interactively moving a rectangular frame in the panoramic picture, the user locally selects the new direction of the camera. Once the view is selected the users prompts the selection and the command is issued over the Internet to the remotely-controlled camera. The static panoramic image is constantly updated in areas where new live video information gets available. Two methods are described for static panoramic image generation: one uses geometric transformation and the other is the brute-force scanning approach. We discuss how visual summaries of activities on an observed location can be generated and custom queries made with a similar intuitive user interface.     

复杂背景下全景视频运动小目标检测算法

为解决复杂背景下全景视频中运动小目标检测精度低的问题,提出一种基于复杂背景下全景视频运动小目标检测算法.首先,为降低复杂背景信息的干扰,提高目标检测的精度,采用快速鲁棒性主成分分析(Fast RPCA)算法将全景视频图像的前景背景信息分离,并提取出前景信息作为有效的图像特征;然后,改进更快的基于区域的卷积神经网络(Faster R-CNN)中的区域生成网络(RPN)的候选框尺度大小,使之适应全景图像中的目标尺寸,再对前景特征图进行训练;最后,通过RPN网络和Fast R-CNN网络共享卷积层输出检测模型,实现对全景视频图像中小目标的精准检测.实验结果表明,所提出算法可以有效抑制复杂的背景信息对目标检测精度的影响,并对全景视频图像中的运动小目标具有较高的检测精度.     

一种用于动态场景的全景表示方法

针对全景图无法表示动态场景这一问题，提出一种用于动态场景的全景图表示方法，将视频纹理和全景图结合起来，构造动态全景图。系统首先将一系列定点拍摄的图像拼接成全景图，然后用摄像机拍摄场景中周期或随机运动的物体，提取视频纹理，最后视频纹理与全景图对准并融合，生成动态全景图。动态全景图既保持静态全景图全视角漫游的优点，又使得场景具有动态的特征，极大地增强漫游的真实感。     

基于嵌入式CPU-GPU的高清鱼眼视频实时校正系统

在安防监控领域,需要鱼眼实时监控系统实现360°×180°大范围高质量无死角全景实时监控,现有的鱼眼校正系统存在成本较高,灵活性差,特别是清晰度不高和实时性差等方面的问题。针对如何提高全景高清鱼眼视频校正的实时性问题,提出了基于嵌入式平台STiH418的CPU-GPU高速通信协议和基于可编程着色器的嵌入式CPU-GPU内存共享方法,并利用GPU的纹理映射技术实现了全景高清鱼眼视频实时校正系统。实验结果表明,与相关校正系统相比,该系统很好地兼顾到算法效率、图像校正效果和完整性,可以完全满足360°×180°的全景高清（400万像素,2 048×2 048p30）鱼眼视频实时监控,而且与使用PC服务器相比嵌入式系统降低了系统整体成本,ARM CPU软件生成更新校正算法和可事时实时和事后的虚拟PTZ提高系统灵活性和稳定性,因此该系统具有很高的实用价值。     

实时运动目标检测与跟踪平台的构建*

构建了一个基于图像采集卡的复杂环境下实时运动目标检测与跟踪的实验平台。基于此平台提出并实现了一种改进的运动目标检测算法,它融合了帧间差分法和背景差分法的优点,以适应复杂环境的变化。实验表明,该算法利用所构建的平台,对变化场景中的运动目标实施了快速有效的检测与跟踪,为智能视频技术的研究提供了一个实用的实验平台。     

A system for real-time panorama generation and display in tele-immersive applications

Wide field-of-view (FOV) is necessary for many industrial applications, such as air traffic control, large vehicle driving and navigation. Unfortunately, the supporting structure/frame in most systems usually blocks part of the view, results in "blind spot" and raises the risk to the pilot. In this paper, we introduce a video-based tele-immersive system, called the immersive cockpit. It captures live videos from the working site and recreates an immersive environment at the remote site where the pilot situates. It immerses the pilot at the remote site with a panoramic view of the environment, and hence improves interactivity and safety. The design goals of our system are real-time, live, low-cost, and scalable. We stitch multiple video streams captured from ordinary charged couple device cameras to generate a panoramic video. To avoid being blocked by the supporting frame, we allow a flexible placement of cameras. This approach trades the accuracy of the generated panoramic image for a larger FOV. To reduce the computation, parameters for stitching are determined once during the system initialization. The panoramic video is presented on an immersive display which covers the FOV of the viewer. We discuss how to correctly present the panoramic video on this nonplanar immersive display screen by sweet spot relocation. We also present the result and the performance evaluation of the system.     

城市视频实景地图构建初探

城市视频实景地图兼具地图立体空间、视频时间4维度层面信息统一表达能力，对于我国城市立体监控系统构建、互联网地图产品发展，以及未来实景3维中国建设战略实施具有重要意义和应用价值。为引起更多研究者进行探索，对城市视频实景地图构建方法、技术及其应用前景进行讨论。从增强虚拟环境技术（AVE）角度出发，对融合全景视频与地理3维模型构建城市视频实景地图涉及的全景摄像机标定、全景视频空间配准及视频纹理映射、实时渲染系列技术、方法进行了梳理。经过分析得出：1）适合传统“针孔”模型的摄像机标定、影像空间配准理论和方法，需根据全景摄像机球面投影模型进行拓展；2）适合静态纹理的大规模3D场景渲染LOD（levels of detail）技术和策略，需结合视频传输带宽限制、高帧率特点进行技术创新。城市视频实景地图构建是一项值得重视的崭新课题，将有力促进互联网、人工智能前沿技术发展，有望给相关行业带来万亿级市场机遇。     

An effective calibration procedure for correction of parallax unmatched image pairs

The stereo image pairs or two-view video sequences can be captured by two cameras at two horizontally different positions. If the stereo image pairs possess incompatible convergences of vertical parallax and horizontal parallax, human eyes generally cannot properly exhibit stereo visualisation. If the image pairs are taken from single camera or selected from a video sequence, perception of stereo visualisation will become even worse. The authors propose an effective calibration procedure to adjust the image pairs to achieve better stereo visualisation. The proposed calibration procedure contains six steps, including feature point extraction, bidirectional feature point matching, relative distance checking, image transformation, hole-filling and reshaping. Experimental results show that the proposed system can effectively adjust vertical and horizontal parallax such that the calibrated stereo image pairs can properly exhibit stereo scenes in stereoscopic display systems. Experimental results also reveal that the proposed method can achieve less vertical parallax than the existing rectification methods.