一种优化的手机直播系统中音视频同步方法

FFmpeg是一个开源跨平台多媒体数据解决方案,由于手机直播系统在移动通信网络中传输多媒体数据的过程中时常会出现音视频不同步,通过研究基于时间戳的多媒体音视频同步算法模型,将其引入到ffmpeg中,并在android平台进行算法实验,实验证明,基于时间戳多媒体音视频同步算法模型能够有效保证多媒体数据的同步。     

基于FFMPEG解码的音视频同步实现

为实现音视频同步播放,针对音视频数据同时被采集,但编码和存储独立的情况,提出了将音频播放时钟作为同步时钟,采用时间戳技术实现历史音视频同步播放.该方法使用FFMPEG对历史音视频文件分别进行解码,将解码后计算得到的音频播放时钟作为同步时钟,控制视频播放速度同步到音频播放时钟上,保证了音视频数据流畅播放,同步无滞后,无延迟.通过实验设计,验证了提出的基于音频播放时钟的时间戳同步方法是有效的.     

基于RTP的机载网络视频同步回放技术

在飞行试验中,机载视频数据是试飞测试数据中的重要组成部分。为了解决多路机载网络视频数据同步回放的问题,提出了基于RTP/RTCP协议的机载多路网络视频数据同步回放方案。采用网络视频数据分流和预处理机制,首先通过对数据包进行识别,从机载记录的数据进行分流提取出网络视频数据包,然后经过对RTP封装的H.264视频数据进行解包、时间计算等处理后,利用FFmpeg良好的解码能力对一帧图像进行解码,利用SDL优异的视频性能显示YUV数据,采用基于时间戳同步机制实现多路机载网络视频的快速同步回放。软件采用模块化和多线程设计思路,提高处理效率,保证功能的可扩展性。目前该系统已成功应用于多路机载网络视频同步回放中,实际应用效果表明,该系统工作稳定,能够有效提高型号试飞效率。     

基于RISC-V的FFmpeg多媒体算法库优化策略

RISC-V处理器的广泛应用使得FFmpeg多媒体算法库在RISC-V平台上的高性能实现日益重要。提出一种基于RISC-V架构的系列优化策略,针对开源音视频多媒体FFmpeg算法库中不同特征和计算密度的算法,利用RISC-V指令集的扩展性对算法库中某些耗时的算法进行指令加速和并行优化。在深入研究RISC-V开源架构的基础上,构建一个基于RISC-V开源架构的高性能FFmpeg算法库。针对不连续访存类算法、数据依赖类算法、数据快速转换类算法,从向量单元配置、向量化访存、汇编优化、指令流水优化4个方面出发,大幅提升FFmpeg算法库在RISC-V处理器上的性能。实验结果表明,采用以上优化策略后的FFmpeg算法库在基于RISC-V架构的XT-910芯片上的性能得到明显提升,其中的不连续访存类算法、数据依赖类算法、数据快速转换类算法的加速比分别为8.20、3.67、3.62。     

基于AVS的嵌入式音视频同步方法

音视频同步是数字电视广播和多媒体通信等应用的关键技术。该文提出一种基于AVS并结合嵌入技术的音视频同步方法。将压缩音频数据嵌入AVS视频编码系统,保证传输或存储、接收端解码与播放过程中的音视频始终同步。实验结果表明,该方法实现了音视频完全同步,能减小用于同步的开销。     

基于ARM嵌入式平台的音视频解码播放系统设计与实现

针对传统音视频解码播放系统产生的音频与视频不同步问题，设计了一种基于嵌入式平台的音视频解码播放系统。该系统充分利用嵌入式平台内部的硬核资源，采用开源的Mad函数库对音频ES数据流进行解码，在ALSA函数库和FIMC函数接口的支持下，将解码成功的音频帧和视频帧分别传送至音视频播放设备，以此实现音视频的解码与同步。利用性能测试的方法对系统的解码与同步进行验证，测试结果表明，该系统通过对音视频帧进行同步控制，可实现同步播放音频与视频，最终使音视频PTS数据之间的时间差值趋于稳定状态，有利于提升观众在视觉和听觉方面的感受。     

远程音、视频重演中的同步技术

音、视频信息的同步重演足多媒体应用系统实现的关键技术和难点之一，该文探讨了音、视频同步的机制，依据基于参考点的同步思想创建了以音频为时间主导的同步模型，提出了在解码端运用的音、视频同步算法，并给出了同步的判断准则和实际处理的过程。算法已应用于基于MPEG-4编码标准的分布式多媒体监控系统中，实验表明，它能准确、可靠地实现音、视频连续同步重演，并具有较好的通用性。     

音视频流实时分离及同步播放系统设计与实现

通过音频与视频解码器和相关的音视频流方案实现上位机与下位机音视频流数据的编码解码及重新合成,并给出了音视频在播放过程中实现同步校正的方法,实现了在有高音质外放设备情况下的上下位机播放的准确同步。系统在Android平台上已获得实现,所使用的音视频实时分离及同步播放方法能成功实现智能终端视频播放和高音质外放音频播放的准确同步,并在上位机成功合成新的音视频文件。     

嵌入式RMVB播放器音视频同步及其实现

随着计算机多媒体技术和嵌入式技术的发展,便携的嵌入式播放器也日渐流行。由于嵌入式设备资源有限,因此如何在有限的资源下实现多媒体音视频的同步是一个重要的讨论问题。目前关于多媒体格式音视频同步的研究都很多,但是关于RMVB格式在嵌入式设备上音视频同步的研究还很少,本文主要介绍了缓冲区和时间戳结合的音视频同步方案,在设计的嵌入式RMVB播放器中验证,该播放器可以达到流畅播放的效果。     

基于Android系统的流媒体服务器

为了解决手持移动设备之间的实时视频传输,提出了基于Android系统的轻型流媒体视频传输系统的设计方案．利用流媒体传输控制技术,通过移植优化live555项目,实现了基于Android系统的流媒体服务器．主要实现了裁剪和移植live555和FFmpeg项目至Android系统,优化解决了live555不支持MP4、avi等通用媒体文件的问题。     

嵌入式Linux下基于FFmPeg的视频硬件编解码

对FFmpeg多媒体解决方案中的视频编解码流程进行研究.结合对S3C6410处理器视频硬件编解码方法的分析,阐述了嵌入式Linux下基于FFmpeg的H.264视频硬件编解码在S3C6410处理器上的实现方法,为嵌入式多媒体开发提供参考.     

基于Android平台的可视对讲系统的设计与实现

将Android手机操作系统用于嵌入式平台,提出一种基于Android平台的可视对讲系统设计方案。阐述了音视频编解码技术,并结合JNI、NDK技术、嵌入式软硬件平台对可视对讲方案进行实现。该系统可以用于楼宇对讲系统。     

基于Android平台的无线视频监控

随着科技生活的发展,人们对视频监控的要求越来越高.提出了一种基于Android平台的移动音视频监控系统.该系统利用Mediastream2实现流媒体的处理,ORTP实现流媒体的安全可靠传输,以及FFMpeg实现音视频的编解码.重点讲解了音视频库FFMpeg中对视频和音频的编解码处理过程以及是如何将音视频同步输出的.最后在嵌入式平台TQ210上测试可实现实时的视频监控.     

面向龙芯平台的快速DCT算法及其实现

针对龙芯2E平台不能流畅播放视频文件的问题,对视频变换过程进行优化,采用一种新的离散余弦变换（DCT）算法,基于龙芯2E多媒体指令集对其进行实现,用该算法替代FFmpeg软件中的DCT算法。测试结果表明,新的DCT算法性能比传统DCT算法提高近11倍,优化后的FFmpeg软件编码速度提高10％左右。     

$3C6410平台多媒体播放器设计与实现

嵌入式多媒体播放器因其所依赖平台的硬件资源有限,尤其是CPU的工作效率低,造成了视频文件在播放时音视频不同步。实现嵌入式多媒体播放器开发的重点之一,就是要解决音视频同步问题。针对$3C6410平台下AVI格式视频播放分析了关键技术,提出音视频同步方案,实现了针对AVI格式的视频文件播放的多媒体播放器,并且可以在$3C6410平台上运行,得到了预期效果。     

分布式多媒体通信系统中音频和视频同步算法

文章简要介绍了分布式多媒体通信系统中实时多媒体同步问题,以及自适应同步算法的特点和良好的自适应能力：可以适应各种网络变化,各种延迟特性,并利用该算法实现音频和视频内外同步。     

Android平台中轻量级音视频引擎

随着移动互联网络和移动终端设备硬件的快速发展,移动音视频的应用越来越普遍,这要求应用软件能高效的处理音视频文件以满足大众的需求.为提高软件运行效率,通过对多媒体处理流程的分析研究,设计和实现了轻量级的音视频引擎,通过模块化的设计方法,实现了对媒体文件的接收、解析识别文件格式、分离容器中的音频和视频流并分别解码输出,只使用HTTP传输协议和H.265视频解码、AAC音频解码,将软件的体积降到最小,实现与Android平台交互JNI的接口,在应用程序中使用MediaPlayer类实现音视频的播放.     

动态网络环境下的音视频同步技术

针对网络传输中由于延迟、抖动、网络传输条件变化等因素引起的音视频不同步的问题,设计并实现了一种适应不同网络条件的音视频同步方案．利用音视频编码技术AMR-WB和H．264具有在复杂网络环境中速率可选择的特性,结合RTP时间戳和RTCP反馈检测QOS,通过控制音视频编码方式,实现了动态网络环境下的音视频同步方案．重点介绍了可靠网络环境和动态网络环境下同步算法的设计过程,并通过实际测试验证了此方案的可行性．结果表明,此方案能够保证不同网络环境中的音视频同步．     

基于WebRTC的实时视音频通信研究综述

实时网页通信(WebRTC)无需在网页上安装插件或客户端即可实现实时视音频通信,具有跨平台、开发成本低和适用范围广等优点,已被W3C纳为草案,正在带来多媒体通信的一场革命.首先介绍基于WebRTC实时视音频通信的总体架构;接着详细阐述其相关关键技术,包括信令机制、网页应用和浏览器底层WebRTC,后者还包括视、音频编译码模块和传输模块;然后从两用户和多用户的角度对WebRTC实时视音频通信应用的实现细节进行比较;最后讨论值得进一步研究的开放问题.     

基于DSP和PCI的多媒体压缩板卡设计

介绍了一种基于Ti DM642 DSP与PCI总线的多路MPEG-4多媒体实时压缩板卡系统;该系统由视频解码SAA7144H采集视频数据,由PCM1801U采集音频,多媒体数据采集到DM642DSP,完成硬件压缩、位流复合;经由PCI总线传送图像、位流于PC系统并预览、存储;该设计创新的提出了视频编码算法DSP优化根本思想,并在研发过程中得到了良好的实施和验证,高效的DSP视频优化算法保证了多路板卡高性价比的产品,系统较低的CPU占用资源完全达到了视频监控场合的需要.