基于FPGA的多显示模式VGA接口研究与设计

本文设计了一种基于现场可编程逻辑器件FPGA计的多显示模式VGA接口。通过设计一种全新的分频算法，使该接口能支持从VGA到SVGA多达13种显示模式，在实际利用FPGA的嵌入式系统中能替代VGA专用显示芯片，节省了计算机处理过程，加快了数据处理速度，节约了硬件成本。     

基于驱动开发程序包的视频驱动开发

驱动开发程序包（DDK）是TI公司提供的一套标准的DSP／BIOS驱动开发模型,基于此模型做视频驱动开发可简化驱动开发过程,增加代码的可移植性和兼容性。以TMS320DM642视频专用板为例,详述了视频驱动开发方法和开发过程,并以实例给出了调试结果。实践证明,基于TMS320DM642的DDK的视频驱动开发能为视频应用提供稳定的底层支持。     

一种基于HEVC的帧内模式快速判决算法

提出了一种HEVC帧内预测优化快速算法。算法在统计总结出当前CU层与其上层CU帧内预测模式、CBF与TU分割深度、相邻CU层之间的色度帧内预测模式之间相关性的基础上,有效地减少了帧内模式的预测,降低了帧内编码计算复杂度。同时,本文根据不同代价函数之间,以及色度与亮度帧内预测模式之间的相关性,分别在亮度和色度帧内预测过程中添加了RMD中cost代价最小的预测模式和最佳亮度预测模式,保证了较低的编码码率和较高的编码图像质量。实验结果表明,本文算法针对各类型、分辨率的视频,在码率和PSNR基本不变的情况下,帧内编码时间平均减少38.2%。     

视频超分辨率重建技术综述

在获取视频过程中,有许多因素会导致视频质量的退化,使得视频的空间分辨率降低;而摄像机曝光时间和拍摄帧率又限制了视频的时间分辨率。视频超分辨率重建是一种能有效提高视频时间分辨率和空间分辨率的方法,已经在计算机视觉和图像处理等领域引起了广泛关注。详细阐述了视频超分辨率重建研究的概念和必要性,并较全面地回顾了超分辨率技术近年来的发展历程,对视频超分辨率重建中关键问题进行了较为深入的分析,指出了当今研究难点和今后的研究方向,对视频超分辨率重建的应用前景进行了展望。     

基于比特概率优化算法的分布式视频编码

分布式视频编码器中Turbo码纠错所需要的校验位数量直接决定整个编码器的率失真(RD,Rate-Distortion)性能.分析了传统算法的次优化问题,提出一种新的基于比特概率优化的信道似然值计算算法,该算法首先将原始像素进行比特面分解,然后分别对每个比特面进行独立Turbo码编码及联合解码.解码端在已知已解码比特面的条件下,计算当前解码比特面更准确的信道似然值作为Turbo码的解码输入,减少解码所需要传输的校验位数量,提高编码器RD性能.实验结果表明所提算法能明显提升编码系统的RD性能.     

结合注意力的3D卷积网络脑胶质瘤分割算法

为了提升脑胶质瘤分割精度，提出一种结合注意力机制的3D卷积神经网络算法。输入3个不同尺度的图像块，经过9个卷积层和1个分类层后得到3个不同的分类结果，将分类结果与注意力学习到的权重相乘并逐体素相加得到输出。此外该算法采用了一种混合Dice损失函数与Focal损失函数的超参数损失函数。实验表明，该算法的Dice系数在整体区域、核心区域以及增强区域分别达到了95.31%、80.12%、82.25%。与已有的一种脑胶质瘤分割算法deepmedic相比，整体区域、核心区域以及增强区域的Dice系数分别提升了3%、2%、6%。在脑胶质瘤分割方面，具有重要的临床意义。     

基于全局自注意力的小麦图像识别

在实际应用场景下,通过图像识别的方式来识别小麦的病虫害具有极大的挑战性。与以往纯粹基于卷积神经网络（Convolutional Neural Network, CNN）的方法相比,将小麦图像转换成一系列视觉语言,并从全局视角进行小麦识别的方法是更可行和实用的。运用Convolutional Visual Transformers（CVT）来解决小麦识别分为2个环节。首先,利用2分支CNN生成的2种特征图来实现注意选择性融合(Attentional Selective Fusion, ASF)。ASF通过融合多个特征和全局-局部注意力来获取有区别的信息,并投射成一系列的视觉语言。其次,受Transformers在自然语言处理方面的成功启发,用全局自注意力来建模这些视觉语言之间的关系。将CVT与经典分类网络LeNet-5、ResNet-18、VGG-16、EfficientNet对比,识别率有所提升,同时该方法具有良好的泛化能力。     

结合像素域JND阈值空间相关性与图像块类型的残差滤波算法

为了更好地将人眼视觉感知特性应用于视频压缩系统,从而去除视频的视觉冗余成分,在利用像素域的恰可察失真(Just Noticeable Distortion,JND)阈值的基础上,结合JND阈值的空间相关性与图像块类型,提出了一种改进的残差滤波算法。该算法首先在像素域计算出每个像素的JND阈值,然后在变换单元(Transform Unit,TU)中挖掘每个像素JND阈值与其周围邻近像素JND阈值之间的空间相关性,再利用索贝儿(Sobel)边缘检测算子将TU分成不同类型的图像块,并且计算出对应的复杂度因子,最后结合上述像素JND阈值的空间相关性和TU复杂度因子对TU残差进行滤波。提出的算法模型可以嵌入到高效率视频编码(High Efficiency Video Coding,HEVC)框架。实验结果表明,在全I帧配置下,提出的算法与标准算法HM16.0相比,在人眼主观感知质量基本一致的情况下,平均可节省16.1%的码率。     

基于光流的快速人体姿态估计

针对目前深度学习领域人体姿态估计算法计算复杂度高的问题,提出了一种基于光流的快速人体姿态估计算法.在原算法的基础上,首先利用视频帧之间的时间相关性,将原始视频序列分为关键帧和非关键帧分别处理（相邻两关键帧之间的图像和前向关键帧组成一个视频帧组,同一视频帧组内的视频帧相似）,仅在关键帧上运用人体姿态估计算法,并通过轻量级光流场将关键帧识别结果传播到其他非关键帧.其次针对视频中运动场的动态特性,提出一种基于局部光流场的自适应关键帧检测算法,以根据视频的局部时域特性确定视频关键帧的位置.在OutdoorPose和HumanEvaI数据集上的实验结果表明,对于存在背景复杂、部件遮挡等问题的视频序列中,所提算法较原算法检测性能略有提升,检测速度平均可提升89.6%.