基于组反馈融合机制的视频超分辨率模型

视频超分辨率（video super-resolution,VSR）的目的是利用多个相邻帧的信息来生成参考帧的高分辨率版本。现有的许多VSR工作都集中在如何有效地对齐相邻帧以更好地融合相邻帧信息,而很少在相邻帧信息融合这一重要步骤上进行研究。针对该问题,提出了基于组反馈融合机制的视频超分辩模型（GFFMVSR）。具体来说,在相邻帧对齐后,将对齐视频序列输入第一重时间注意力模块;然后,将序列分成几个小组,各小组依次通过组内融合模块实现初步融合。不同小组的融合结果经过第二重时间注意力模块;然后,各小组逐组输入反馈融合模块,利用反馈机制反馈融合不同组别的信息,最后将融合结果输出重建。经验证,该模型具有较强的信息融合能力,在客观评价指标和主观视觉效果上都优于现有的模型。     

深度学习在视频对象分割中的应用与展望

视频对象分割是指在给定的一段视频序列的各帧图像中,找出属于特定前景对象的所有像素点位置区域.随着硬件平台计算能力的提升,深度学习受到了越来越多的关注,在视频对象分割领域也取得了一定的进展.本文首先介绍了视频对象分割的主要任务,并总结了该任务所面临的挑战.其次,对开放的视频对象分割常用数据集进行了简要概述,并介绍了通用的性能评估标准.接着,综述了视频对象分割的研究现状,详细地分析了当前的各种方法,并将它们划分为三大类:半监督的方法,即给出视频第一帧图像中感兴趣对象的详细人工真值标注,分割出视频剩余图像中的感兴趣对象;无监督的方法,即不给任何人工标注信息,自动识别并分割出视频中的前景对象;交互式的方法,即在分割过程中,通过人工交互式的参与,结合粗略的人工标注先验信息,进行视频对象分割.第三类方法的条件相当于前两者的折中:相对于第一类方法,它虽然需要人工的参与,但只需要少量的标注工作量;相对于第二类方法,它给视频序列中某些帧的图像适当地添加了一些人工标注信息,从而更具针对性.最后,对深度学习在视频对象分割任务中的应用,进行了总结和展望.     

基于Matlab实时运动目标跟踪检测系统

运动目标的检测跟踪是视频理解技术和计算机视觉的研究热点,其在解决智能视频监控,人机交互,智能交通系统等领域有着广泛而重要的应用,基于此利用matlab平台构建出USB摄像头实时图像采集处理系,从视频流采集到处理综合利用了背景估测,图像分割,目标检测与跟踪算法准确高效地检测出环境场景中的动态目标,并成功地对其进行实时追踪。利用matlab的simulink模块编程实现提取视频流YcbCr输入系统进行运算处理,并改进了背景估测和目标检测算法,提高系统的实时性。最终利用多次试验,对室内和室外运动目标实现检测跟踪,验证了系统处理实际问题的可靠性能。     

基于改进的MeanShift算法的选煤厂人员目标跟踪方法

针对采用传统的MeanShift算法进行智能视频监控易受背景干扰而丢失目标的问题,提出了一种将MeanShift算法与卡尔曼滤波算法相结合的选煤厂人员目标跟踪方法。该方法首先通过运动检测方法分割出跟踪目标区域,然后通过卡尔曼滤波算法预测下一帧跟踪窗口的起点,在此基础上采用MeanShift算法跟踪目标区域;由于选煤厂环境较复杂,为了防止跟踪失败,采用跟踪与检测相结合的方法来进一步保证跟踪的鲁棒性。实验结果表明,该方法能很好地消除背景中相似颜色区域的影响,具有较好的跟踪效果。     

基于CPLD的某型导弹测角仪视频信号模拟

针对导弹检测系统的训练和计量,采用CPLD技术设计了某型导弹电视测角仪视频信号模拟系统;介绍了测角仪的视频显示方式和模拟信号产生原理,并给出了CPLD主要的内部逻辑电路和VHDL语言描述;将视频信号分解为同步信号、固定图像和可控实心圆,以行计数器和列计数器构成图像的时间基准,通过对行、列计数器的编码实现同步信号和固定图像,通过对可逆计数器及行、列计数器的运算实现可控实心圆,并对可逆计数器的数据进行编码构成变焦数据,最终精确地实现了测角仪视频信号及其变焦数据输出的模拟。     

基于FPGA的实时视频处理平台设计

为了能够实时地采集、处理、显示视频,设计并实现了一种基于双PowerPC硬核架构的实时视频处理平台;用硬件实现视频的预处理算法,并以用户IP核的形式添加到硬件系统中,上层的视频处理软件程序则直接从存储器中调用预处理后的图像数据;重点介绍了在FPGA上构建双PowerPC硬核架构的硬件系统;采用乒乓控制算法缓存一行图像数据;用DMA的方式将图像数据保存在存储器中;以边缘检测作为视频预处理算法的一个实例,在平台上实现,实验结果表明,用本平台实现仅需40ms;本平台能够实时处理视频,具有较高的实用价值。     

基于SOPC的网络视频监控系统的设计

提出一种以Nios Ⅱ软核处理器为核心,利用SOPC技术构建硬件平台,采用H.263协议压缩视频数据的网络视频监控系统设计方案;详细分析了系统的功能需求,确定了系统设计的总体方案;按照模块化的思想,设计了各个功能模块,并给出了网络芯片DM9000A电路的具体实现,利用μClinux中的TCP/IP协议栈进行数据通信,分析H.263视频编码协议基本原理,提出在硬件上实现H.263协议的设计方法;实验结果显示系统的网络视频传输速率达到25～30fps,满足实时性的要求.本设计方法灵活、成本较低、易扩展,具有一定的实用价值.     

基于FPGA的高速多路视频数据采集系统

针对同时处理高速多路视频数据的需求,以NiosII软核CPU为核心,通过在FPGA上构建可编程片上系统（Sys—ternOnProgrammableChip,SOPC）,利用SOPC系统自定义外设接口,配合DMA技术,完成对A／D转换后的多路视频数据的同时解码采集。视频解码模块采用滑动窗法快速检测定时基准信号。FPGA可重构的特性可以使系统根据实际应用需要在原方案基础上扩展、裁减功能模块,并根据资源情况重构系统,达到资源与效率的最优匹配。     

OAZE: A network-friendly distributed zapping system for peer-to-peer IPTV

IPTV systems attracting millions of users are now commonly deployed on peer-to-peer (P2P) infrastructures and provide an appealing alternative to multicast-based systems. Typically, a P2P overlay network is associated with each channel, composed of users who receive, watch and redistribute this channel. Yet, channel surfing (aka as zapping) involves switching overlays and may introduce delays, potentially hurting the user experience when compared to multicast-based IPTV. In this paper, we present a distributed system called OAZE (Overlay Augmentation for Zapping Experience) which speeds up the switching process and reduces the overall cross-domain traffic generated by the IPTV system. In OAZE, each peer maintains connections to other peers, not only in a given channel, but also in a subset of all channels to which the associated user is likely to zap. More specifically, we focus on the channel assignment problem, i.e. determining, in a given P2P overlay, the optimal distribution of the responsibility to maintain contact peers to other channels. We propose an approximate algorithm providing guaranteed performances, and a simpler and more practical one. Our experimental results show that OAZE leads to substantial improvements on the connections between peers, resulting in less switching delay and lower network cost; it then represents an appealing add-on for existing P2P IPTV systems.     

Integer-multiple-spacing-based scheduling for multimedia applications in IEEE 802.11e HCCA wireless networks

This paper is concerned with improving bandwidth utilization while guaranteeing quality-of-service (QoS) requirements for multimedia applications in IEEE 802.11e HCCA wireless networks. We propose two integer-multiple-spacing-based (IMS-based) designs: the IMS-based-δ and IMS-based-l designs. In the IMS-based designs, the scheduling spacing of any traffic must be an integer multiple of the minimum spacing. The IMS-based designs have more potential to improve the bandwidth utilization because they schedule traffic with longer spacings compared with the prior designs. Besides the improvement of the bandwidth utilization, the IMS-based-δ design can guarantee the packet delay requirements, where a δ factor is introduced to ensure that the bandwidth utilization must benefit from longer spacings, while the IMS-based-l design can guarantee the packet loss requirements. Numerical results show that the improvement of the bandwidth utilization for the IMS-based-δ and -l designs can be up to 7.7% and 56% or more, respectively, compared with the prior designs.