视频拼接在三维空间的融合实现

近年来,视频图像拼接技术是视频应用领域研究的一个热门课题,针对视频监控系统对大场景监控的需求,从三维增强现实场景可视化系统融合实现角度,应用三维视频增强现实虚拟技术,将不同摄像机所采集的视频图像拼接成一完整而连续的图像,为监控系统提供无差别、连续的大场景视频,实现动态视频图像与二维、三维静态图像的关联.     

公共区域监控视频数据目标特征跟踪定位方法

为了提高公共区域监控视频的目标定位检测能力,需要进行目标特征跟踪定位算法设计,提出一种基于图像超分辨率重建的公共区域监控视频数据目标特征跟踪定位方法。构建公共区域监控视频的三维图像重建模型,采用边缘层的高分辨融合方法进行公共区域监控视频图像数据的三维结构重组,提取公共区域监控视频的关键特征点,用图像退化模型进行公共区域监控视频数据目标特征检测,结合线性滤波模型使得监测输出图像满足最优匹配特征解,提高对公共区域监控视频数据目标特征跟踪能力。引入引导滤波方法进行公共区域监控视频数据的图像超分辨重建,实现对目标特征准确跟踪定位。仿真结果表明,采用该方法进行公共区域监控视频数据目标特征跟踪定位的准确性较高,图像重建能力较强,归一化均方根误差较小。     

艺术化立体图像的渲染

目前的艺术化渲染算法会使结果图像具有较强的随机性,因此无法直接应用于立体图像的渲染.文章针对虚拟三维场景,给出了一个通用的艺术风格立体图像的渲染框架.首先对单个物体渲染包括双眼视域范围的艺术风格图像,在投影过程中同时记录模型顶点对应的纹理坐标;然后将艺术风格图像映射到物体表面生成艺术化效果的三维模型;最后将艺术化三维模型直接投影到左右眼相机生成立体图像.为创建用于纹理映射的艺术化纹理图像,提出了在透视投影中颠倒像素遮挡关系的方法来获取模型的双眼视域范围图像.该文提出的艺术化立体图像生成方法不仅可保证双眼图像的一致性,而且具有良好的通用性,可适用于各类已有的艺术化渲染算法.     

基于改进的H.264的视频监控系统

嵌入式技术的飞速发展推动了视频采集领域的技术革新,使得视频监控系统越来越朝着小型化、智能化、嵌入式化、远程化的方向发展. 文中以基于S3C6410处理器的ARM板为硬件平台,采用Linux为嵌入式操作系统,建立了一个视频采集服务器;以PC机为客户端,实时地远程显示视频---建立了一个远程视频监控系统. 系统利用Linux内核提供的视频数据采集接口V4L2控制USB摄像头来采集图像,利用网络套接字将编码后的图像数据传输至客户端;在客户端将图像解码并转化为RGB格式后,利用GTK把转化后的图像显示出来. 针对H.264运动估计算法的两点不足,提出了动态搜索范围策略和搜索点分组策略. 实验结果证明： 在不影响重建图像质量和编码码率的前提下,改进的算法有效地降低了算法的编码时间和运动估计时间,提高了编码过程的实时性. 通过本文的设计方案能够获得稳定清晰的图像,实现了远程视频监控.     

基于DM6437的智能视频监控系统设计与实现

针对阵地视频监控系统智能化程度低的问题,提出一种基于DM6437的智能视频监控系统解决方案。在图像处理算法方面,将Vi Be算法中采用第一帧图像建模和基于随机策略进行模型更新的思想用于改进传统码本算法的训练和更新阶段,提出一种基于随机码本的运动目标检测算法以提高检测效果。提出在Mean Shift跟踪过程中采用Kalman滤波器预测目标位置,用于提高目标快速运动和遮挡等复杂情况下的跟踪效果。在系统实现方面,基于DM6437芯片设计了集图像采集与显示、检测与跟踪、JPEG压缩、网络传输等多种功能于一体的智能视频监控系统。模拟阵地环境下的实验结果表明,该系统能够准确地自动检测和跟踪目标,并且帧率可达6、7帧左右。     

基于CNN的监控视频中人脸图像质量评估

在公共安全领域,监控视频中的人脸识别技术是不可或缺的技术,成为研究热点.而监控视频中低质量的人脸图像会大大降低整个人脸识别系统的识别准确率,系统难以更广泛地被投入实际使用.本文提出了一种基于CNN的人脸图像质量评估方法.通过对Alexnet模型进行改进,将网络中的多个卷积层与全连接层连接,从而提取不同尺度的图像特征.通过端到端的训练过程,预测人脸图像质量分数.另外,采用人脸识别算法来标定人脸图像的质量分数,使质量分数能更有效地筛选出适合识别算法的图像.在Color FERET数据集上实验表明,本文方法能够准确地对人脸图像进行质量评估.而在实际采集的监控视频数据集上实验表明,本文方法能筛选出高质量的人脸图像用作后续人脸识别,提高人脸识别准确率.     

PTZ摄像机视频与三维模型的配准技术研究

针对基于投影纹理映射的虚实融合系统,提出了一种PTZ摄像机视频与三维模型实时配准的技术.选取PTZ摄像机若干特定姿态的子图像组成一张全景图像,进行最优匹配图像的搜索,用SURF图像配准的方法对实时视频图像进行透视变换,利用最优匹配图像的三维投影信息将实时视频图像精确投影到三维模型中.实验结果表明,该算法具有较高的准确性,适用于虚实融合系统中PTZ摄像机视频的三维配准.     

视频传感器网络中无盲区监视优化

针对监控区域存在障碍物的情况,从无线视频传感节点的有向感知特性出发,讨论了视频传感器网络覆盖效果与监控区域之间的相互关系.在此基础上,定义了视频传感器网络的无盲区覆盖模型.基于虚拟势场的工作原理,提出了一种适用于无盲区覆盖模型的覆盖率动态优化算法PFOFSA(potential field based occlusion-free surveillance algorithm).设计了PFOFSA中虚拟力的相互作用方法与监控节点运动规则,通过监控区域、重叠区域和遮挡区域之间的相互作用,逐步消除网络中的感知重叠区和盲区,优化视频无线传感器网络的覆盖率.最后,通过一系列的仿真实验分析了不同监控区域参数对PFOFSA算法的影响,验证了算法的有效性.     

一种二维图像序列的深度图像生成方法

针对二维图像序列提出一种基于运动对象的深度图像生成方法。采用改进的均方差累加算法提取背景模型,并利用背景差分法提取运动对象图形,将人工绘制的背景模型的深度图像,结合每帧运动对象图形深度赋值,自动合成用于二维视频到三维视频转换的图像序列的深度图像。实验结果证明,相对于传统的仅仅依靠计算机视觉获取深度图像的方法,它获得的深度图像,不仅画面的深度信息真实、可靠,而且转换后的三维场景更立体化。     

基于改进萤火虫优化算法的视频监控图像增强

针对视频图像增强问题中连续多帧图像序列中的像素相关性,建立了一种有效的视频图像增强模型,将视频连续图像增强问题转化为从原始低质量图像像素序列到高质量增强图像像素序列的寻优问题。基本萤火虫(GSO)算法具有容易陷入极值振荡和局部最优的缺陷,为了解决这个问题,在位置更新策略中引入了全局最优个体影响因子与局部最优个体影响因子,同时为了保证迭代过程中荧光素更新的多样性,对萤火虫荧光素的挥发及增益系数进行改进,提出了改进萤火虫(IGSO)算法。结合视频图像增强问题特性,重新定义了算法的群体的输入、萤火虫的荧光素和位置更新运动方程,设定了优化目标函数准则。最后典型的道路和室内监控视频图像增强实例验证了所提出的模型和算法的可行性。     

城市视频实景地图构建初探

城市视频实景地图兼具地图立体空间、视频时间4维度层面信息统一表达能力，对于我国城市立体监控系统构建、互联网地图产品发展，以及未来实景3维中国建设战略实施具有重要意义和应用价值。为引起更多研究者进行探索，对城市视频实景地图构建方法、技术及其应用前景进行讨论。从增强虚拟环境技术（AVE）角度出发，对融合全景视频与地理3维模型构建城市视频实景地图涉及的全景摄像机标定、全景视频空间配准及视频纹理映射、实时渲染系列技术、方法进行了梳理。经过分析得出：1）适合传统“针孔”模型的摄像机标定、影像空间配准理论和方法，需根据全景摄像机球面投影模型进行拓展；2）适合静态纹理的大规模3D场景渲染LOD（levels of detail）技术和策略，需结合视频传输带宽限制、高帧率特点进行技术创新。城市视频实景地图构建是一项值得重视的崭新课题，将有力促进互联网、人工智能前沿技术发展，有望给相关行业带来万亿级市场机遇。     

TransCAIP: A Live 3D TV System Using a Camera Array and an Integral Photography Display with Interactive Control of Viewing Parameters

The system described in this paper provides a real-time 3D visual experience by using an array of 64 video cameras and an integral photography display with 60 viewing directions. The live 3D scene in front of the camera array is reproduced by the full-color, full-parallax autostereoscopic display with interactive control of viewing parameters. The main technical challenge is fast and flexible conversion of the data from the 64 multicamera images to the integral photography format. Based on image-based rendering techniques, our conversion method first renders 60 novel images corresponding to the viewing directions of the display, and then arranges the rendered pixels to produce an integral photography image. For real-time processing on a single PC, all the conversion processes are implemented on a GPU with GPGPU techniques. The conversion method also allows a user to interactively control viewing parameters of the displayed image for reproducing the dynamic 3D scene with desirable parameters. This control is performed as a software process, without reconfiguring the hardware system, by changing the rendering parameters such as the convergence point of the rendering cameras and the interval between the viewpoints of the rendering cameras.     

Live 3D Video in Soccer Stadium

This paper proposes a method to realize a 3D video system that can capture video data from multiple cameras, reconstruct 3D models, transmit 3D video streams via the network, and display them on remote PCs. All processes are done in real time. We represent a player with a simplified 3D model consisting of a single plane and a live video texture extracted from multiple cameras. This 3D model is simple enough to be transmitted via a network. A prototype system has been developed and tested at actual soccer stadiums. A 3D video of a typical soccer scene, which includes more than a dozen players, was processed at video rate and transmitted to remote PCs through the internet at 15–24 frames per second.     

一种新型的嵌入式智能图像传感器设计

提出并设计一种新型的嵌入式智能图像传感器,该传感器具备一定的室外场景(主要为道路和公共场所)状态感知能力,适用于分布式智能视频监控系统.本文采用基于统计学习的方法实现了运动前景图像检测和阴影消除,并在此基础上完成运动目标行为分析,实现了关键区域保护、监控目标移动检测以及镜头遮挡保护等智能视频监控功能.本文所设计的视觉分析算法适用于复杂的室外环境,适合于实时计算.在算法的实现中充分利用了该嵌入式智能图像传感器硬件设计的优点,在实验中取得了良好的效果.     

Articulated Billboards for Video‐based Rendering

We present a novel representation and rendering method for free‐viewpoint video of human characters based on multiple input video streams. The basic idea is to approximate the articulated 3D shape of the human body using a subdivision into textured billboards along the skeleton structure. Billboards are clustered to fans such that each skeleton bone contains one billboard per source camera. We call this representation articulated billboards. In the paper we describe a semi‐automatic, data‐driven algorithm to construct and render this representation, which robustly handles even challenging acquisition scenarios characterized by sparse camera positioning, inaccurate camera calibration, low video resolution, or occlusions in the scene. First, for each input view, a 2D pose estimation based on image silhouettes, motion capture data, and temporal video coherence is used to create a segmentation mask for each body part. Then, from the 2D poses and the segmentation, the actual articulated billboard model is constructed by a 3D joint optimization and compensation for camera calibration errors. The rendering method includes a novel way of blending the textural contributions of each billboard and features an adaptive seam correction to eliminate visible discontinuities between adjacent billboards textures. Our articulated billboards do not only minimize ghosting artifacts known from conventional billboard rendering, but also alleviate restrictions to the setup and sensitivities to errors of more complex 3D representations and multiview reconstruction techniques. Our results demonstrate the flexibility and the robustness of our approach with high quality free‐viewpoint video generated from broadcast footage of challenging, uncontrolled environments.     

Program-based dynamic precision selection framework with a dual-mode unified shader for mobile GPUs

To extend the life of battery-driven mobile devices while maintaining image quality, this work proposes a Program-based Dynamic Precision Selection (PDPS) framework with a dual-mode unified shader. Since fixed-point arithmetic can be performed faster and more energy-efficiently than floating-point arithmetic on power-limited devices, the use of fixed-point rather than floating-point rendering is a critical concern. The proposed PDPS framework is composed of a runtime profile-based mechanism for automatically determining the precision of each shading program in fixed-point arithmetic. Additionally, a scene change detection mechanism is developed to recalculate the rendering precision whenever a 3D scene changes. The results reveal an average 18% reduction in energy and 35% faster performance under fixed-point rendering. The degradation in rendered image quality under the proposed PDPS cannot be detected by the naked eye, and the PSNR is an average of 15% better than that achieved using related approach.     

针对视频监控系统隐蔽式攻击及蜜罐防御

基于视频监控系统网络化和智能化发展带来的风险,研究其隐蔽式网络攻击问题,目的在于调研大量隐蔽式网络攻击案例,总结针对视频监控系统的隐蔽式攻击特异性。结合蜜罐技术在检测网络攻击行为和发现攻击线索等方面的独特优势,梳理针对视频监控系统隐蔽式攻击的蜜罐防御方法。针对监控视频蜜罐在视觉场景部署上的不足,介绍了一种深度场景伪造防御框架,将生成式AI大模型与视频监控蜜罐相结合。最后提出了面向视频监控系统的蜜罐防御技术的发展方向。     

多摄像头协同感知系统的设计与实现

为了提供连续的实时监控，提高区域安全性，利用多个活动像机，设计了一个对多个运动目标进行无缝检测和跟踪的协同感知系统，并提供给用户一个可视的3维场景。最后给出了实验室的应用实例。     

基于半监督特征融合的监控视频场景识别研究

针对单模态特征条件下监控视频的场景识别精度与鲁棒性不高的问题,提出一种基于特征融合的半监督学习场景识别系统.系统模型首先通过卷积神经网络预训练模型分别提取视频帧与音频的场景描述特征;然后针对场景识别的特点进行视频级特征融合;接着通过深度信念网络进行无监督训练,并通过加入相对熵正则化项代价函数进行有监督调优;最后对模型分...