主流卷积神经网络的硬件设计与性能分析

作为深度学习领域中最具有影响力的网络结构之一,卷积神经网络朝着更深更复杂的方向发展,对硬件计算能力提出了更高的要求,随之出现了神经网络专用处理器.为了对这类处理器进行客观比较,并指导软硬件优化设计,本文针对卷积神经网络提出了宏基准测试程序和微基准测试程序.其中,宏基准测试程序包含主流的卷积神经网络模型,用于处理器性能的多方位评估和对比;微基准测试程序包含卷积神经网络中的核心网络层,用于细粒度定位性能瓶颈并指导优化.为了准确描述这套基准测试程序在真实硬件平台上的性能表现,本文选取了I/O等待延迟、跨节点通信延迟和CPU利用率3大系统性能评测指标以及IPC、分支预测、资源竞争和访存表现等微架构性能评测指标.基于评测结果,本文为处理器的硬件设计与架构改进提出了可靠建议.     

具有可扩展性的3D子带视频编解码系统

在异构网络中进行的多媒体传输要求视频压缩系统具有高度的调节变换能力，也就是说具有可扩展性．可扩展性是指对码流可以进行部分解码，解码获得的重构视频的质量与接收到的信息量成比例变化．为了获得视频流的高度可扩展性—包括时域，空域和质量，提出了基于SPIHT编码原则的扩展优先扫描的方法来组织时域空域系数的位平面比特流，并设计和实现了一个基于2D t小波变换的视频编解码系统．该系统可以获得具有高度可扩展性的视频流．     

改进的H.263视频编解码系统的设计与实现

以H．263协议为标准，对其关键部分，如DCT，运动估计等加以改进，加上快速半像素搜索，并以Philips公司的TM1000卡为开发平台，实现了一种视频编解码系统。经过测试该系统在对qcif格式图像同时编码 码时，能达到每秒30帧以上，平均码率能控制在40Kbps以下，实时性和质量都有较好保证。该编码系统能广泛应用于可视电话、图像监控，视频会议等多媒体应用中。     

嵌入式Linux下基于FFmPeg的视频硬件编解码

对FFmpeg多媒体解决方案中的视频编解码流程进行研究.结合对S3C6410处理器视频硬件编解码方法的分析,阐述了嵌入式Linux下基于FFmpeg的H.264视频硬件编解码在S3C6410处理器上的实现方法,为嵌入式多媒体开发提供参考.     

基于TM1000的实时视频编解码系统

介绍了Philips公司研制的多媒体处理器TM1000的结构、开发环境如嵌入式实时多任务操作系统pSOSystem等,并重点研究了基于TM1000的实时视频编解码的编程方法。     

基于压缩感知理论的视频编解码方法

压缩感知理论是一种全新的信息处理方式,是近来国际上热门的研究方向,在信号处理等其他领域中具有很好的应用前景。结合压缩感知理论和传统的视频编解码技术,设计提出了一种基于压缩感知理论的视频编解码方案。用测试视频进行了仿真实验,结果表明该算法能够取得较好的效果。     

一种视频编解码技术码率控制算法的改进

H.264标准是最新的视频编码国际标准。与以前的视频压缩标准相比,H.264标准的编码可以实现高质量、低比特率的编码效果。但它的码率控制算法JVT-G017在帧级码率控制上存在不足,平均分配目标比特,线性预测目标平均绝对误差值(MAD),这导致了计算复杂度大和峰值信噪比低。对此,在JVT-G017算法基础上,对其画面组(GOP)层、帧层和基本单元层码率控制算法进行了优化改进,改进了分配目标比特数、初始量化参数(QP)和平均绝对误差值的计算方法。实验结果表明,与JVT-H017算法相比,改进算法可以更精确地分配目标比特和控制码率,并能获得较高的峰值信噪比(PSNR)。     

H．264／AVC重复编解码性能分析

研究H．264／AVC帧内重复编解码的性能,通过论证和实验把导致重复编解码尸舯m损失的因素归纳为4个方面：量化-变换误差,预测模式再选择误差,Clipping误差和环路滤波误差。为了提高H．264／AVC帧内重复编解码的性能,通过选择相同的预测模式且不使用环路滤波的方法进行重复编码,实验结果表明该方法使重复编解码的嗍损失减少0．5dB～1．4dB。     

MPEG-4视频编解码器设计实现与性能优化

在解读MPEG-4标准文档的基础上,首先分析了MPEG-4的DPCM/DCT视频编解码器混合模型及其设计与实现,具体的对编解码算法中运算大的部分运动估计、变换和编码进行了深入研究,并探讨了编解码器中的每一个功能模块的设计可能对整体的计算复杂度和压缩性能造成极大的影响并给出了折衷方案.     

基于硬件性能计数器的软件性能数据采集与分析研究

引入了基于CPU硬件性能计数器的性能数据采集和分析方法，从软件运行时刻的细粒度参数入手分析软件运行时刻的性能表现，从而更为准确地反映系统实际的动态运行状态。实验证明，这种方法对于需要详细掌握系统动态运行状态的应用能够提供非常有效的分析数据，同时也在一定程度上对编译器的性能优化给出了相关参考数据。     

用于视频编码的小波域三角形网格构造方法

在深入研究视频图像冗余离散变换特征的基础上,提出一种用于视频编码运动补偿技术的小波域不规则三角形网格构造方法．基于孔径问题的原理,使用冗余离散变换小波的水平和垂直子带构造三角形网格节点的选择判据,把节点的特征匹配度集成到节点前向追踪过程的判据中;通过获得的节点运动矢量和网格映射实现运动补偿功能．实验证明,该方法获得了较好运动补偿的效果．     

一种增强嵌入式网络视频编解码器可靠性的方法

在嵌入式网络视频编解码系统中,由于用户配置的错误,或者某个视频解码器的故障,如不能及时检出并得到正确的处理,不仅会造成所在通道的无效工作,也可能引起整个视频编解码系统性能的下降,甚至可能引起整个视频网络的瘫痪.为解决这一问题,基于网络通信检测原理,在嵌入式网络视频编解码器中,同时引入了UPnP检测机制和"心跳"检测机制,在用户配置错误和解码器出现故障时,都 能迅速实现故障告知,从而提高了视频网络编解码系统的可靠性.     

一种灵活可配置的JPEG编解码器软硬件架构

JPEG压缩标准由于其压缩比高和实用性强已被广泛应用于静态图像编解码中。为满足更高的实时性与高速率需求,根据JPEG算法抽象出的基本运算,提出一种灵活可配置的JPEG编解码加速器结构,实现向量加法、向量乘法、向量点乘和移位饱和等基本运算操作,并驱动此加速器完成JPEG解码的反向离散余弦变换、反量化和色度空间转换过程,配合软件代码处理解码的其他部分,实现JPEG解码的软硬件协同工作。实验结果表明,在增加0.229mm2面积的前提下,硬件实现的部分耗时只为优化前的35%左右,JPEG解码过程总耗时为优化前的60%左右。该方法提高了JPEG编解码速度,并且加速器的软件和硬件灵活可配性决定了其适用范围的广泛性。     

一种基于高性能DSP的红外与电视视频压缩与传输硬件平台

针对红外/电视视频数字化、传输网络化的发展趋势,基于最新大规模逻辑FPGA和高性能DSP芯片,结合图像处理理论,提出红外/电视视频数字化采集、压缩与网络化传输方法,单路视频码率小于15Mbit/s,视频延时小于20 ms。该平台为后续研究基于红外/电视视频信号的目标检测、特征研究和模式识别等提供了基础,在指/火控系统等领域有着广泛应用前景。     

基于ARM11的H.264硬编解码视频传输系统设计

为了解决视频信息冗余、视频传输系统成本较高,视频编解码效率低等缺陷,研究了一种基于H.264硬编解码器的视频传输系统;该系统采用以ARM11为核心的,包含多媒体硬编解码器MFC的S3C6410作为处理器,使用CMOS摄像头采集实时视频数据;在嵌入式Linux操作系统上构建基于live555的RTSP服务器,监听客户端请求;重点阐述了多媒体硬编解码器MFC对视频数据进行的H.264硬件压缩编码,以及数据包的RTP封装,然后经由live555流媒体服务器转发至PC机;最后,在PC上对接收到的数据流进行解码播放,经实验测试证明,系统设计稳定可靠,具有可扩展性强、性能高、成本和功耗低等优点,图像质量和时延满足实际应用需求。     

基于iOS平台的移动视频监控软件设计

传统的远程视频监控系统所需软硬件资源大、视频传输协议和视频采集设备控制协议相互独立,系统传输带宽要求高、时延长、实时性不高。为解决这些问题,利用开放无线监控协议中的信息体结构,将视频信息传输、视频采集设备控制和其他信息融合在一个数据包中,并基于iOS移动操作系统和H.264视频编码标准,设计并实现一种集视频传输与控制于一体的移动视频监控软件。测试结果表明,该移动视频监控软件可有效提高移动视频监控系统的性能,具有控制响应速度快、传输带宽要求低、分辨率自适应以及实时视频播放流畅等特点。     

基于DM642的视频会议终端硬件设计

文章提出了一种基于TMS320DM642的视频会议终端硬件设计方案。视频会议终端主要包括DM642最小系统的设计,电源模块的设计,视频输入模块的设计,USB传输接口模块的设计等,同时介绍了终端硬件的调试过程。终端通过硬件对采集的视频进行压缩编码,减轻了电脑CPU的工作负担,能够传输高清晰度的视频信号,实现了便携、稳定、灵活的移动视频会议终端平台。     

一种基于小波分析的多分辨运动补偿视频编码器的设计

为了在甚低比特率下实现对数字视频的有效压缩和编码,提出了一种混合的多分辨运动补偿零树视频编码方案。在该编码方案中,运动矢量的获取采用了可变块大小的多分辨运动估计算法,运动估算在小波域中进行。编码器的核心部分是同基于内容的自适应量化方法相结合的预测误差帧的小波零树编码,它产生了一种具有嵌入特征的比特流,从而为精确的速率控制和基于内容的位流调节提供了可能。基于上述编码方案的实验表明:在甚低比特率下,所提出的编码方案在峰值信噪比和恢复视频的主观质量方面都具有较好的性能。