无线视频传输的自适应码率控制算法研究

为在恶劣的无线信道环境中达到良好的视频传输质量,本文提出了一种自适应码率控制的方法,通过探测无线信道反馈的信道参数,判定网络状态及缓冲区满溢程度,计算出代价函数,自适应调节网络传输的码率,达到视频的平滑传输。并通过实测数据分析优化后的方法对视频主观质量、率失真以及压缩比的影响。     

一种基于视频分类的码率自适应算法

流媒体的码率自适应算法依据网络状态动态调节视频块的码率,提升用户体验质量,但忽略了视频类型的差异对用户体验质量的影响,导致算法性能下降。提出区分视频类型特征的码率选择算法C-ABR。设计相应的用户体验质量效用函数,使用强化学习算法训练模型A3C,提升用户体验质量。实验结果说明,相对于典型的码率自适应算法Pensieve和MPC,C-ABR算法用户体验质量分别提升22.7%和50.4%。     

场景自适应码率控制算法研究

H.264建议的码率控制算法在处理场景切换问题时存在着一定缺陷.为有效解决此问题,本文提出了一种场景自适应的码率控制算法,通过对目标比特数进行动态调整来改善切换点及后续帧的编码质量.实验结果表明,采用改进算法后测试序列的平均PSNR有明显增益.     

场景自适应码率控制算法研究

H.264建议的码率控制算法在处理场景切换问题时存在着一定缺陷。为有效解决此问题,本文提出了一种场景自适应的码率控制算法,通过对目标比特数进行动态调整来改善切换点及后续帧的编码质量。实验结果表明,采用改进算法后测试序列的平均PSNR有明显增益。     

基于模仿学习的决策树码率自适应算法研究

码率自适应（ABR）算法是提升流媒体服务质量的有效方法,主要分为启发式算法和基于学习的算法两类。传统的启发式算法基于固定的规则,难以应对多变的网络环境,基于深度强化学习的算法映射表达能力较好,但其鲁棒性不佳且可解释性较差。针对上述问题,提出一种基于模仿学习的决策树码率自适应算法ABRTree。针对帧级别直播传输系统设计有效的专家ABR算法,并对专家算法的时序经验数据进行离散化处理。采用分类回归树作为码率决策的基础模型,基于专家算法给出的示例数据,采用DAgger算法进行决策树的训练。在此基础上,通过剪枝操作剔除出现较少的样本,从而提升决策树模型的泛化性。实验结果表明,ABRTree在多种视频场景下均能保证画面质量,同时取得较低的端到端延时和较少的卡顿,相比BBA、HYSA和FrameMPC算法,ABRTree算法的QoE性能可以提升1.0%～29.1%,且决策树模型能够直观表达输入特征与码率决策之间的关系,具有较好的可解释性和映射表达能力。     

Wyner-Ziv视频编码中的码率控制算法研究

分布式视频编码系统中,现有码率控制方法大致分两类,一种是基于反馈信道,另一种是基于无反馈信道。基于反馈信道码率控制算法虽然可以获得较高的解码质量,但是时延大;相反,无反馈信道码率控制算法时延小、实时性高,但是有损解码质量。为解决这一矛盾,阐述一种混合码率控制算法,即在编码端先估计出较小的码率,当解码失败时,解码端才利用反馈信道向编码端请求更多的校验比特直到解码成功。实验结果表明,在相同目标码率下,与有反馈码率控制算法相比,该算法所需反馈次数有所减少;与现有无反馈码率控制算法相比,对于不同视频序列解码帧的峰值信噪比均有不同程度的提高。     

场景切换视频自适应帧间码率控制

针对视频帧中可能出现的大量场景切换,提出一种基于非连接点的场景切换检测算法,提高编码性能,该场景检测算法复杂度低,在运动估计的同时,完成视频场景切换检测。场景切换将导致GOP(group of pictures)长度的变化,并可能出现GOP长度太短的情况。提出改进的自适应GOP时域滤波技术,避免由于GOP太短引起的编码性能下降。针对视频场景切换检测分割出的不同长度的GOP,提出一种基于率失真模型的帧间码率控制算法,利用视频的失真与码率及视频帧复杂度的关系,对帧间码率分配进行优化,提高重构视频帧的总质量。实验结果表明,基于场景检测的自适应帧间码率控制算法能够获得较好的编码性能。     

基于语音质量预测的Speex自适应码率控制算法

为实现IP语音(VoIP)质量的动态管理与控制,提出了一种基于语音质量预测的自适应码率控制算法。通过实时预测VoIP通话的瞬时语音质量和总体语音质量,自适应地调整Speex编码参数,从而根据需要选择最佳编码速率。实验仿真结果表明,提出的算法能够有效减少网络拥塞,提高VoIP系统的语音质量。     

基于模糊逻辑的ABR显式流量控制算法

面向连接的ATM网络通过一系列的流量管理机制为各种应用提供纯粹的服务质量(QoS)保证，其中ABR业务流量控制的作用尤显重要．显式速率(Explicit Rate,ER)控制是一种有效的机制，有效性、公平性和算法复杂度是各种显式速率控制算法所面临的主要问题．该文将ABR业务流基于速率的端到端闭环反馈控制抽象为控制理论中典型的调节系统，运用不依赖对象模型的模糊控制理论设计了一种新的流量控制算法——模糊速率控制算法(FRCA)．仿真试验表明FRCA的综合性能良好：保证了最大—最小公平性的实现；在LAN和WAN上均有较好的适应能力；算法的复杂度低；队列长度的控制能力强；易于硬件实现．     

一种基于ANFIS的ABR拥塞控制

由于ATM网络环境的复杂性、多变性,用常规的数学模型对网络模型、可用带宽的获取以及控制器设计的描述具有很大的局限性,因此论文提出了一种基于自适应模糊推理系统(AdaptiveNeuralFuzzyInferenceSystems,ANFIS)的ABR业务拥塞控制方法,该方法结合模糊推理系统的规则结构化及神经网络强泛化能力的优点,克服了模糊推理模型的偶然性和神经网络收敛速度慢、训练时间过程长等缺点。仿真结果表明使用ANFIS进行拥塞控制的可行性,增加了系统稳定性并减小了信元丢失率。     

基于Q学习的单路口交通信号协调控制

Q学习通过与外部环境的交互来进行单路口的交通信号自适应控制。在城市交通愈加拥堵的时代背景下,为了缓解交通拥堵,提出一种结合SCOOT系统对绿信比优化方法的Q学习算法。本文将SCOOT系统中对绿信比优化的方法与Q学习相结合,即通过结合车均延误率以及停车次数等时间因素以及经济因素2方面,建立新的数学模型来作为本算法的成本函数并建立一种连续的奖惩函数,在此基础上详细介绍Q学习算法在单路口上的运行过程并且通过与Webster延误率和基于最小车均延误率的Q学习进行横向对比,验证了此算法优于定时控制以及基于车均延误的Q学习算法。相对于这2种算法,本文提出的算法更加适合单路口的绿信比优化。     

ATM网络基于ABR服务的流量控制算法及其研究

讨论了在ATM网络中ABR业务拥塞控制机制及其改进方法,即在增强比例速率控制算法（EPRCA）中通过检测缓存队列长度来控制网络拥塞,大大降低了拥塞产生的可能性,防止了网络拥塞的崩溃,并提高了缓存的利用率.     

Backward Q-learning: The combination of Sarsa algorithm and Q-learning

Reinforcement learning (RL) has been applied to many fields and applications, but there are still some dilemmas between exploration and exploitation strategy for action selection policy. The well-known areas of reinforcement learning are the Q-learning and the Sarsa algorithms, but they possess different characteristics. Generally speaking, the Sarsa algorithm has faster convergence characteristics, while the Q-learning algorithm has a better final performance. However, Sarsa algorithm is easily stuck in the local minimum and Q-learning needs longer time to learn. Most literatures investigated the action selection policy. Instead of studying an action selection strategy, this paper focuses on how to combine Q-learning with the Sarsa algorithm, and presents a new method, called backward Q-learning, which can be implemented in the Sarsa algorithm and Q-learning. The backward Q-learning algorithm directly tunes the Q-values, and then the Q-values will indirectly affect the action selection policy. Therefore, the proposed RL algorithms can enhance learning speed and improve final performance. Finally, three experimental results including cliff walk, mountain car, and cart–pole balancing control system are utilized to verify the feasibility and effectiveness of the proposed scheme. All the simulations illustrate that the backward Q-learning based RL algorithm outperforms the well-known Q-learning and the Sarsa algorithm.     

基于Q-学习的模糊神经网络控制器

神经模糊系统在机器人的智能控制中具有巨大的应用潜力,但已有的系统构造方法几乎都面临着样本资源匮乏这一巨大困难。为克服传统系统构造方法可能因样本获取困难而引起的“维数灾难”等问题,该文在模糊神经网络中引入了Q-学习机制,提出了一种基于Q-学习的模糊神经网络模型,从而赋予神经模糊系统自学习能力。文章最后给出了其在菅野模糊小车控制中的仿真结果。实验表明,在神经模糊系统中融入智能学习机制Q-学习是行之有效的;它可以被用来实现机器人智能行为的自学习。值得一提的是,该文的仿真实验在真实系统上同样是容易实现的,只要系统能提供作为评价信号的传感信息即可。     

ATM网络ABR业务的公平流量控制的研究

ATM网中ABR业务能根据网络信道情况动态地调整速率。本文讨论了针对ABR业务的几种流量控制机制,对它们各自的特点作了比较深入的分析和研究,提出了作者自己的改进方法,使网络的性能得到了改善。     

自适应RBF网络Q学习控制

利用RBF网络逼近连续空间的Q值函数,实现连续空间的Q学习.RBF网络输入为状态-动作对,输出为该状态-动作对的Q值.状态由系统的状态转移特性确定,动作由优化网络输出得到的贪婪动作与服从高斯分布的噪声干扰动作两部分叠加而成.利用RNA算法和梯度下降法自适应调整网络的结构和参数.倒立摆平衡控制的实验结果验证了该方法的有效性.     

基于动态Q学习算法的情感自动机模型研究

让计算机具有认知和表达自己情感的能力,培养其智能地时人类的情感做出反应是现阶段信息科学研究的热点内容.本文构建了基于动态Q学习算法的情感自动机模型,在该模型中,定义了情感元的概念,情感元应用动态Q学习算法来预测并感知环境的变化,从而改变自身情感来适应周围环境.