基于内容丢帧的视频自适应传输优化策略

根据用户对视频内容的个性化偏好,提出结合语义事件与精彩度的视频内容分级方法,构建时域内基于多粒度语义内容的统一丢帧模型,在 RTP/RTSP 流媒体服务器中基于语义丢帧算法设计了视频自适应传输优化策略。实验结果表明,本文提出的基于内容的丢帧策略在网络性能、语义质量等方面优于传统基于帧类型的丢帧策略。     

矿用实时视频传输系统设计

针对现有煤矿井下视频传输系统存在视频清晰度低、传输速率不稳定、兼容性差等问题,设计了一种矿用实时视频传输系统。该系统采用960 nm红外激光作为辅助光源,利用MCCD图像传感器采集视频信号,提高了低光照强度或黑暗环境下视频清晰度;通过视频解码模块TVP5150将采集的PAL制式模拟视频信号转换为YUV数字信号,数字信号经多格式编码器进行H.264压缩编码,并在此基础上添加UDP报文头进行RTP封装,提高了视频数据传输的时效性;通过Live555流媒体服务器进行数据流化,使用ONVIF标准封装RTSP视频流,通过Socket网络编程实现实时视频流数据网络传输,提高了系统兼容性和传输速率稳定性。测试结果表明,该系统视频传输速率为2.190 Mbit/s,丢包率约为1.256%,达到实时视频传输要求。     

机器人远程控制视频传输的实时性问题解决策略

分析了机器人远程控制中视频传输的延时问题。提出了一种混合的网络传输拓扑结构，并对传输速率的控制算法进行了移植和改进。利用NS模拟网络环境，在模拟网络中进行数据传输，验证了控制速率算法的可行性。试验结果表明在混合网络拓扑结构上使用控制速率的算法可以减少传输过程中的丢包率，提高视频传输的实时性。     

视频差错掩盖的两步多权值边框匹配算法

为了克服视频传输中因视频传输差错引起的视频质量下降,提出了一种视频差错掩盖的两步多权值边框匹配算法。该算法充分利用了受损宏块周围的宏块信息来估算受损宏块的运动向量,并首先通过预掩盖受损宏块,使视频图像质量初步改善;然后在此基础上利用两步多权值边框匹配算法评估受损宏块的候选运动向量;最后用产生最小边界匹配差值的候选运动向量的运动补偿块来替代受损宏块,以进一步改善图像质量。这样就基本上克服了边界匹配算法在物体边界对运动向量估算不准确以及大量连续GOB或整帧丢失时,掩盖效果较差甚至无法掩盖等不足。通过基于H．263 和Internet的仿真实验表明：该算法不仅能有效地抑制视频差错扩散,并能取得满意的差错掩盖效果。     

远程全景实时监控系统设计与实现

针对现有实时视频通信系统因视频编解码模块和传输协议之间协作不紧密影响视频通信的传输性能和视觉质量,以及常用的远程实时监控系统监控范围和角度有限,多画面独立显示不够直观的问题,采用新型紧耦合式的视频通信架构,通过逐帧联合控制视频的编解码和传输,优化了每一帧的编码长度,提高了实时监控视频传输的端到端时延性能和视频图像质量;设计了多路远程视频源间的帧同步算法,并基于OpenCV的图像拼接模块定制了图像拼接流程;通过在特征点提取和匹配、图像变形和图像融合阶段使用GPU加速,并在逐帧拼接时设置合适的拼接缝更新间隔,实现了监控视频的近实时拼接。实验证明,系统能够获得良好的监控视频质量和更广的监控范围,一定程度上解决了视频监控中的盲区问题,同时具有较好的实时性和视觉效果。     

一种适合实时视频传输的混合ARQ加条件跳帧算法研究

论文讨论视频数据在无线局域网(WLAN)中的实时传输问题。采用IEEE802.11b协议,WLAN可提供高达11Mbps的传输速率,在没有干扰和没有拥塞的情况下,其环境完全满足实时视频传输的需要。但在干扰和拥塞严重的情况下,视频帧的延时很大,无法满足实时播放的要求。文献犤1犦提出了一种混合ARQ算法,可较好地解决视频帧的传输延迟问题,但在网络负载很重时,丢包率很高,视频序列的重构质量很差。因而在深入研究IEEE802.11b协议的核心MAC层的基础上,参考文献犤1犦,提出了一种新的适合实时视频传输的混合ARQ算法,结合高层的基于反馈信息的条件跳帧技术,可很好地解决视频帧的延时问题,同时传输的可靠性也很高。     

基于FrameBuffer技术的红外视频驱动编程

介绍了在ARM9平台上实现红外视频的实时显示.CPU处理完一帧或一行视频数据后,发出一个外部中断请求,该中断请求激发一次DMA传输,直接将处理好的视频数据传输给FrameBuffer显示.并采用FPGA硬联逻辑接口,提高了系统的响应速度和视频驱动的效率.     

基于客户端下溢概率估计的可伸缩视频传输算法

针对无线网络中可伸缩视频传输存在的问题,提出一种基于客户端下溢概率估计的传输算法.算法通过统计当前播放缓冲区容量的变化情况,计算出缓冲区下溢的概率,以此为根据选择合适的视频发送层数,从而在充分利用有效带宽的同时尽可能减少视频下溢频率.仿真结果表明,该算法能够保证在无线网络中视频传输具有较低的下溢概率和较高的视频质量.     

一种基于双CDMA信道的动态视频传输质量控制策略

提出了一种面向端对端的,基于双CDMA信道传输质量的动态视频传输控制策略.该策略包括:基于视频流编码特点的简单重传机制;基于分组丢失率的流量控制、视频质量动态调整及双信道轮转调度.模拟实验显示该策略能够提高基于双CDMA无线传输信道的实时视频流传输速率,并具有一定的稳定性.     

自注意力机制的视频摘要模型

针对如何高效地识别出视频中具有代表性的内容问题,提出了一种对不同的视频帧赋予不同重要性的视频摘要算法.首先使用长短期记忆网络来建模视频序列的时序关系,然后利用自注意力机制建模视频中不同帧的重要性程度并提取全局特征,最后通过每一帧回归得到的重要性得分进行采样,并使用强化学习策略优化模型参数.其中,强化学习的动作定义为每一帧选或者不选,状态定义为当前这个视频的选择情况,反馈信号使用多样性和代表性代价.在2个公开数据集SumMe和TVSum中进行视频摘要实验,并使用F-度量来衡量这2个数据集上不同视频摘要算法的准确度,实验结果表明,提出的视频摘要算法结果要优于其他算法.     

An enhanced algorithm for improving real-time video transmission for tele-training education

Tele-training in surgical education has not been effectively implemented. There is a stringent need for a high transmission rate, reliability, throughput, and reduced distortion for high-quality video transmission in the real-time network. This work aims to propose a system that improves video quality during real-time surgical tele-training. The proposed approach aims to minimise the video frame’s total distortion, ensuring better flow rate allocation and enhancing the video frames’ reliability. The proposed system consists of a proposed algorithm for Enhancing Video Quality, Distorting Minimization, Bandwidth efficiency, and Reliability Maximization called (EVQDMBRM) algorithm. The proposed algorithm reduces the video frame’s total distortion. In addition, it enhances the video quality in a real-time network by dynamically allocating the flow rate at the video source and maximizing the transmission reliability of the video frames. The result shows that the proposed EVQDMBRM algorithm improves the video quality with the minimized total distortion. Therefore, it improves the Peak Signal to Noise Ratio (PSNR) average by 51.13 dB against 47.28 dB in the existing systems. Furthermore, it reduces the video frames processing time average by 58.2 milliseconds (ms) against 76.1, and the end-to-end delay average by 114.57 ms against 133.58 ms comparing to the traditional methods. The proposed system concentrates on minimizing video distortion and improving the surgical video transmission quality by using an EVQDMBRM algorithm. It provides the mechanism to allocate the video rate at the source dynamically. Besides that, it minimizes the packet loss ratio and probing status, which estimates the available bandwidth.

     

一种自适应的视频流化前向纠错算法

网络视频应用经常会受到数据包丢失或错误以及网络带宽资源不足的干扰.相关研究表明:在多数情况下,动态变化的网络带宽和丢包率是影响视频流化质量的关键因素.因此,为了保证视频质量,可以采用前向纠错(forward error correction,简称FEC)编码来提高视频数据传输的可靠性;同时,为了适应网络状态的变化,发送端可以调节视频数据的发送速率,并在视频源数据与FEC数据之间合理分配网络传输带宽.首先通过对视频流结构的分析,在充分考虑帧之间的依赖关系和帧类型的基础上提出了一种帧的解码模型.在此基础上,建立了用于在视频源数据和FEC数据之间分配网络带宽资源的优化算法.实验表明,该模型可以有效地适应网络状态的变化,并通过优化分配网络带宽资源来使接收端获得最大的可播放帧率.     

一种H.265视频带宽实时预测模型

针对视频直播过程中带宽抖动导致视频帧丢失造成用户体验降低问题,提出了一种H.265视频带宽实时预测（VBRP）模型。模型基于马尔可夫链,专注于H.265编码的直播视频流,研究了在GOP（group of pictures）编码模式下B帧出现的统计特性,发现B帧大小对视频流传输速率的影响较大。应用此特性可预测出直播流中B帧的大小,并根据网络带宽选择性丢弃B帧,同时引入步长调整因子AF和误差阈值FT,均衡模型在预测B帧时的训练频率和预测帧数。最后基于模型实现VBRP预测算法并在直播系统中验证算法的有效性。     

结合帧率变换与HEVC标准的新型视频压缩编码算法

相比于之前主流的H.264视频压缩编码标准,HEVC在保证重建视频质量相同的前提下,可以将码率降低近50%,节省了传输所需的带宽.即便如此,由于一些特定的网络带宽限制,为继续改善HEVC视频编码性能,进一步提升对视频的压缩效率仍然是当前研究的热点.本文提出一种HEVC标准编码与帧率变换方法相结合的新型的视频压缩编码算法,首先在编码端,提出一种自适应抽帧方法,降低原视频帧率,减少所需传输数据量,对低帧率视频进行编解码;在解码端,结合从HEVC传输码流中提取的运动信息以及针对HEVC编码特定的视频帧的分块模式信息等,对丢失帧运动信息进行估计;最后,通过本文提出的改进基于块覆盖双向运动补偿插帧方法对视频进行恢复重建.实验结果证实了本文所提算法的有效性.     

无线多媒体传感器网络视频流区分服务多径Qos路由算法

无线多媒体传感器网络视频流传输需要提供多样性QoS保障,传统的无线传感器网络路由协议不能很好地保证多媒体视频流数据传输, 改进多径路由算法TPGF下一跳节点选择方法,提出一种适合视频流传输的区分服务多路径Qos路由算法DSMQRA。综合考虑各路径跳数与节点剩余能量情况,在源节点与汇聚节点间找到多条优化的节点不相交路径;采用区分服务机制,重点保护视频流关键帧,提高视频流传输质量。在NS2环境下与AODV、GPSR、TPGF等算法进行仿真对比分析,实验结果表明DSMQRA算法能够有效延长网络生存时间、降低丢包率、减小帧延时、图像峰值信噪比较高,更加适合无线多媒体传感器网络视频流数据传输。     

基于光流残差的视频超分辨率重建算法

随着卷积神经网络的发展,视频超分辨率算法取得了显著的成功。因为帧与帧之间的依赖关系比较复杂,所以传统方法缺乏对复杂的依赖关系进行建模的能力,难以对视频超分辨率重建的过程进行精确地运动估计和补偿。因此提出一个基于光流残差的重建网络,在低分辨率空间使用密集残差网络得到相邻视频帧的互补信息,通过金字塔的结构来预测高分辨率视频帧的光流,通过亚像素卷积层将低分辨率的视频帧变成高分辨率视频帧,并将高分辨率的视频帧与预测的高分辨率光流进行运动补偿,将其输入到超分辨率融合网络来得到更好的效果,提出新的损失函数训练网络,能够更好地对网络进行约束。在公开数据集上的实验结果表明,重建效果在峰值信噪比、结构相似度、主观视觉的效果上均有提升。     

高清立体视频的传输失真估计模型

针对高清立体视频序列分辨率大、宏块信息量少以及网络传输易出现差错的特点,提出一种能够估计高清立体视频端到端传输的失真模型。该模型能够考虑到丢包对后续帧的错误扩散以及立体视频左右视点帧之间的时空相关性,采用递归算法准确地估计失真,并运用时域帧拷贝的错误隐藏方法降低解码端的复杂度。仿真结果表明,失真模型的平均预测误差能控制在6%以内,对于不同特性和分辨率的立体视频序列,在不同网络环境下传输失真估计均有一定的适用性。     

基于H.264可伸缩视频流的自适应媒体播放算法

为了应对H.264可伸缩视频编码（SVC）应用中网络特性的波动,提出了一种预测播放中断与缓冲区溢出风险进行及早调节的自适应媒体播放(AMP)算法。该算法估算网络流量与视频图像组（GOP）结构中各帧长度用于风险预测,通过K步调节过程实现良好的调节平滑性与速度,并利用SVC的可伸缩性尽量减少溢出带来的质量损失。仿真结果表明,该算法在抑制播放中断、处理缓冲区溢出与抖动性能等方面,优于现行的平滑AMP与常规AMP算法。     

一种新型的H.264码率控制初始化方法

良好的码率控制对视频信号的编码与传输有重要的影响;基于待编码帧的复杂度和缓冲区状态,提出了一种新型的H.264码率控制初始化方法;第一个I帧和P帧首先进行预编码,以修正第一个I帧的比特分配;根据I帧的图像复杂度建立新型I帧码率-量化参数(R-Q)模型,根据该模型,第一编码帧的量化参数得以确定;仿真结果证明,该初始化方法可以有效提高重建视频的峰值信噪比(PSNR),对实验所用QCIF序列,平均PSNR提高了0.86dB,同时大幅减少了跳帧情况的发生。     

利用运动强度自适应传输视频内容

在异构的网络环境下,如何自适应地传输满足多种终端设备和不同用户需求的视频内容具有重要的意义.以达尔文流媒体服务器为实验平台,提出一套基于运动强度的视频自适应传输策略.在服务器端通过检测丢包率来控制发送速率等级,避免网络拥塞,并采取一定策略消除因丢帧而产生的马赛克;在自适应策略中加入了运动强度信息,针对不同的运动强度级别进行不同的处理,使得综合视频质量得到提高.实验结果表明,文中的自适应策略不仅可以避免网络拥塞,而且可以改善视频播放质量.