基于强化学习的立体全景视频自适应流

针对当前立体全景视频传输缺少有效的流自适应方法,且传统全景视频流自适应策略传输双目立体全景视频使得传输数据加倍,所需带宽巨大的问题,该文提出一种基于多智能体强化学习的立体全景视频非对称传输自适应流方法,以实时应对网络带宽波动。首先,根据人眼对视频显著性区域的偏爱,左右视点中每个瓦片(tile)对立体视频的感知质量的贡献度不同,提出一个基于tiles的左右视点观看概率预测方法。其次,设计了一种基于策略-评价(Actor-Critic)的多智能体强化学习框架,对左右视点进行联合码率控制。最后,根据模型结构和双目抑制原理,设计合理的奖励函数。实验结果表明,与传统流自适应传输策略相比,该文所提方法更加适用于基于tiles的立体全景视频传输,实现在有限带宽下提高用户的体验质量(QoE),为立体全景视频联合码率控制提供了一种全新的方法和思路。     

厅堂扩声声像的探讨

介绍了双路扬声器重放的原始声场效果，对使用强度型立体声拾声、双路扬声器重放扩声系统的厅堂会使声像(声源的幻像)位置和真实声源位置产生偏差，甚至出现严重的分离现象进行了分析。     

基于强化学习的多机器人避碰算法研究

采用强化学习解决多机器人避碰问题。然后针对表格式Q学习算法只能用于离散的状态并且学习时间过长,难以收敛的不足,提出了神经网络和Q学习相结合的算法。最后将该算法应用到多机器人避碰问题中,仿真实验表明该算法有效,能较好地解决多机器人避碰问题。     

基于多智能体深度强化学习的D2D通信资源联合分配方法

设备对设备(D2D)通信作为一种短距离通信技术,能够极大地减轻蜂窝基站的负载压力和提高频谱利用率。然而将D2D直接部署在授权频段或者免授权频段必然导致与现有用户的严重干扰。当前联合部署在授权和免授权频段的D2D通信的资源分配通常被建模为混合整数非线性约束的组合优化问题,传统优化方法难以解决。针对这个挑战性问题,该文提出一种基于多智能体深度强化学习的D2D通信资源联合分配方法。在该算法中,将蜂窝网络中的每个D2D发射端作为智能体,智能体能够通过深度强化学习方法智能地选择接入免授权信道或者最优的授权信道并发射功率。通过选择使用免授权信道的D2D对(基于“先听后说”机制)向蜂窝基站的信息反馈,蜂窝基站能够在非协作的情况下获得WiFi网络吞吐量信息,使得算法能够在异构环境中执行并能够确保WiFi用户的QoS。与多智能体深度Q网络(MADQN)、多智能体Q学习(MAQL)和随机算法相比,所提算法在保证WiFi用户和蜂窝用户的QoS的情况下能够获得最大的吞吐量。     

Three-dimensional finite element analysis to predict the effects of SAW process parameters on temperature distribution and angular distortions in single-pass butt joints with top and bottom reinforcements

Achieving adequate top and bottom reinforcement is important to minimize angular distortions in single-pass submerged arc welded (SAW) butt joints. This is achieved in the present work by using a reusable flux-filled backing strip and proper SAW process parameters without resorting to costly distortion mitigation techniques. The butt joints were made without edge (square butts) preparation. The process was also modeled by using three-dimensional finite element analysis by incorporating the top and bottom reinforcements into the modeling. Filler material deposition was also simulated. Temperature distributions and angular distortions obtained from the modeling closely matched with the experimental values. Thus, the cost effective experimental methodology established in the present work can be utilized for minimizing angular distortions in SAW square butts. The modeling methodology adopted can be used for predicting the angular distortions in SAW square butts with top and bottom reinforcements.     

一种基于随机投影的贝叶斯时间差分算法

在强化学习方法中,大部分的算法都是基于值函数评估的算法.高斯过程时间差分算法利用贝叶斯方法来评估值函数,通过贝尔曼公式和贝叶斯规则,建立立即奖赏与值函数之间的概率生成模型.在状态空间中,通过在线核稀疏化并利用最小二乘方法来求解新样本的近似线性逼近,以提高算法的执行速度,但时间复杂度依然较高.针对在状态空间中近似状态的选择问题,在高斯过程框架下提出一种基于随机投影的贝叶斯时间差分算法,该算法利用哈希函数把字典状态集合中的元素映射成哈希值,根据哈希值进行分组,进而减少状态之间的比较.实验结果表明,该方法不仅能够提高算法的执行速度,而且较好地平衡了评估状态值函数精度和算法执行时间.     

高端KTV会所声学基本问题浅析

对北京和长沙两地某高端KTV会所内的扩声系统声学特性进行了测量和音质主观评测,并进行了对比分析,结合长沙会所现场的声学情况进给出了声学改进意见。对改造前后长沙会所的混响时间频率特性、本底噪声、声场不均匀度、传输频率特性、传声增益等声学指标进行了客观测量和主观评价,结果表明对长沙某高端KTV会所的声学改造效果明显。通过该项目总结了此类场所在声学上值得注意的问题。     

采用随机相位技术的啸叫抑制方法

对于扩声系统,如果其音量开得过大,会遇到声音反馈引起的啸叫问题。目前大多数啸叫抑制方法会对语音音质产生影响。提出采用基于时变全通滤波器的随机相位技术对输入信号的相位进行处理。由于人耳对声音相位不敏感,采用该方法对语音音质的影响较小。实验结果表明,该方法可有效抑制啸叫,同时对语音质量也不产生明显影响。     

SMD石英晶体抗高过载性能的研究

为了研究SMD石英晶体的抗高过载能力,采用自由式霍普金森压杆对7050、6035、5032、3225、3225(一级加固)、3225(二级加固)六种型号SMD石英晶体进行高过载环境下的动态加载测试。结果表明,在高过载条件下,SMD石英晶体的抗高过载性能随尺寸减小而不断提高,并且产品经历高过载环境后电气参数的不良率逐步降低。未经过加固处理的各型号SMD石英晶体(7050、6035、5032、3225)经过高过载试验(50 000~80 000 g)后,电气参数均出现超差,不能满足武器系统的要求。经过加固处理的SMD石英晶体样品(3225一级加固、3225二级加固)经过高过载试验可以正常工作。     

基于CMAC网络强化学习的电梯群控调度

电梯群控调度是一类开放、动态、复杂系统的多目标优化问题.目前应用于群控电梯调度的算法主要有分区算法、基于搜索的算法、基于规则的算法和其他一些自适应的学习算法.但已有方法在顾客平均等待时间等目标上并不能够达到较好的优化性能.本文采用强化学习技术应用到电梯群控调度系统中,使用CMAC神经网络函数估计模块逼近强化学习的值函数,通过Q-学习算法来优化值函数,从而获得优化的电梯群控调度策略.通过仿真实验表明在下行高峰模式下,本文所提出的基于CMAC网络强化学习的群控电梯调度算法,能够有效地减少平均等待时间,提高电梯运行效率.