基于 FPGA 的深度可分离卷积加速器研究

设计了一种基于FPGA的低功耗深度可分离卷积加速核;根据PW卷积和DW卷积计算中的共性,采用一种固定乘法阵列通过改变特征和权重输入数据流的方式实现两种卷积的计算结构,最大化DSP的利用率;针对8位非对称量化中符号位可能会溢出的问题,采用符号位单独处理的方法重新封装了双乘法器结构;通过层内7级流水结构保证每个周期数据处理的并行度;在Zynq UltraScale+系列FPGA上成功部署了加速结构;经实验测试,提出的加速结构在提高网络推理速度的同时降低了片上资源的依赖度和整体功耗,原生MobilenetV2在所提FPGA加速器上的平均吞吐率高达130.6GOPS且整体功耗只有4.1w,满足实时边缘计算的要求;相比其他硬件平台,能效比有明显提升;与FPGA上的同类型加速器相比,在性能密度（GOPS/LUT）、功率效率（GOPS/W）和DSP效率（GOPS/DSP）上均有优势。     

基于AES的改进视频加密测试

为了使得视频加密技术具有更加良好的加密效果,在原本AES加密算法基础上进行了创新,通过加密元素的选取、运动矢量的加密方案设计、DCT变化系数的加密方案设计三部分进行了展开分析与实验。经过后续仿真验证,密钥敏感性得到了很好的提升;视频质量方面,改进后的AES算法的RGB直方图可知其加密效果和解密还原效果良好,经过对比分析,改进后的AES算法加密的SSIM值最小、PSNR值更低,即加密效果相对更好;经过计算可知,编码时间百分比增加了0.23%,解码时间百分比增加了8.56%,对NPCR、UACI以及加密前后视频帧像素对的相关系数等参数分别测试可知,相比前人的几种加密方式,改进后视频加密安全性能最好。综上分析可知,改进后视频加密效果最好。     

基于MPC的音视频同步码率自适应测试

随着信息化的发展,音视频流媒体技术应用面越来越广,为了使得音视频流媒体技术尤其是在直播方面拥有更好的性能,得到更多用户的好评,采用在原本HTTP的动态自适应流标准的视频流媒体架构下引入MPC控制算法并将MPC模型预测控制与码率自适应算法相结合的方法,进行对AAC优化、确定预测模型、测试音视频同步的影响因素以及PSNR-Y分量、测试切片时长与跳帧时延,计算最终的QoE用户评价指标来进一步检测音视频流媒体技术的优劣。经实验仿真测试可知,相比前人的相关算法,在不同直播场景下以及不同网络环境下均有更加良好的QoE值,平均QoE用户评价指标明显更高,为1237.2826。综上分析可知,MPC的音视频同步码率自适应算法各项性能最好。