基于RTP／RTCP的音视频同步方法研究

分析音频和视频同步的标准以及造成音视频不同步的原因,提出一种基于RTP／RTCP协议的音视频同步控制方法。以音频为主媒体,视频为从媒体,在接收端通过设置缓冲区实现音频流的媒体内同步,通过比较音视频数据包的时间戳判断同步关系,对视频采取重复或丢弃的方法实现音视频同步控制。在实验环境下模拟音视频流经网络传输后在接收端经过同步控制后播放和直接播放两种情况,表明,提出的同步方法能很好的纠正音视频不同步的现象。     

基于ARM嵌入式平台的音视频解码播放系统设计与实现

针对传统音视频解码播放系统产生的音频与视频不同步问题，设计了一种基于嵌入式平台的音视频解码播放系统。该系统充分利用嵌入式平台内部的硬核资源，采用开源的Mad函数库对音频ES数据流进行解码，在ALSA函数库和FIMC函数接口的支持下，将解码成功的音频帧和视频帧分别传送至音视频播放设备，以此实现音视频的解码与同步。利用性能测试的方法对系统的解码与同步进行验证，测试结果表明，该系统通过对音视频帧进行同步控制，可实现同步播放音频与视频，最终使音视频PTS数据之间的时间差值趋于稳定状态，有利于提升观众在视觉和听觉方面的感受。     

基于FFMPEG解码的音视频同步实现

为实现音视频同步播放,针对音视频数据同时被采集,但编码和存储独立的情况,提出了将音频播放时钟作为同步时钟,采用时间戳技术实现历史音视频同步播放.该方法使用FFMPEG对历史音视频文件分别进行解码,将解码后计算得到的音频播放时钟作为同步时钟,控制视频播放速度同步到音频播放时钟上,保证了音视频数据流畅播放,同步无滞后,无延迟.通过实验设计,验证了提出的基于音频播放时钟的时间戳同步方法是有效的.     

在接收端实现流媒体同步控制的研究

为了更好的解决音视频同步问题,提出了一种在RTP/RTCP协议的基础上,在接收端实现流媒体同步控制的方法。根据音视频接收端缓冲区的占用率,以音频流为主媒体流,视频流为从媒体流,通过比较音频帧和视频帧的播放时间标签,对视频帧采取重复/丢弃方式来取得音视频媒体间的同步。实验表明,该种方法具有良好的同步性,既能满足P-QoS(可感知服务质量)要求又能满足实时性要求。     

音视频流和屏幕流的同步传输方法研究

针对音视频流在网络上同步传输的难点问题,分析了基于Internet的网络教学中音视频流和计算机屏幕流传输的特点,提出了MPEG-4音视频流和屏幕流同步传输算法,采用仿真系统详细实现了一套采用实时传输协议的同步传输方案.通过开发的实际系统验证,有效地解决了将教师授课的音频和视频信息以及教师授课机的屏幕信息同步直播这一问题,达到了较好的使用效果.     

面向编钟乐舞的音视频同步技术的研究

音视频同步作为连接音乐,动作的纽带在面向编钟乐舞的音乐驱动动作编辑流程中起到关键性的作用,通过从音频解析入手,提出了音频乐段与动作序列的对应关系,讨论了音频流与视频流如何在实时的环境中同步展示,并给出了音频,视频同步模型的具体实现方法。     

基于AVS的嵌入式音视频同步方法

音视频同步是数字电视广播和多媒体通信等应用的关键技术。该文提出一种基于AVS并结合嵌入技术的音视频同步方法。将压缩音频数据嵌入AVS视频编码系统,保证传输或存储、接收端解码与播放过程中的音视频始终同步。实验结果表明,该方法实现了音视频完全同步,能减小用于同步的开销。     

基于IP网络的音视频传输系统的设计与实现

本文提出了一种新的音频和视频传输系统的设计方案。该方案主要包括通信功能模块,音频的录制、压缩、传输和播放功能模块以及视频的采集、压缩、传输、回放和本地视频的图像效果调节功能模块的设计与实现过程。在通信功能模块的实现中,将快速连接方式和隧道机制的思想应用于呼叫模块中,减少了通信时间。音视频传输模块则采用基于UDP的RTP/RTCP协议实现,保证了音视频流传输的时实性和连续性,避免了分组丢失,确保了分组的有序传输。并对据此方案实现的软件进行了实验,效果满意。     

Android平台中轻量级音视频引擎

随着移动互联网络和移动终端设备硬件的快速发展,移动音视频的应用越来越普遍,这要求应用软件能高效的处理音视频文件以满足大众的需求.为提高软件运行效率,通过对多媒体处理流程的分析研究,设计和实现了轻量级的音视频引擎,通过模块化的设计方法,实现了对媒体文件的接收、解析识别文件格式、分离容器中的音频和视频流并分别解码输出,只使用HTTP传输协议和H.265视频解码、AAC音频解码,将软件的体积降到最小,实现与Android平台交互JNI的接口,在应用程序中使用MediaPlayer类实现音视频的播放.     

IP视频会议系统中音视频同步的研究

在IP视频会议系统中，音频流需要保持其连续性(媒体内同步)，而视频流的变化应与音频信息保持一致(媒体间同步)。由于网络状态的变化给传输带来延迟抖动，因此接收方要如实地播放，就必须进行同步控制，以恢复数据之间的时间关系。为此探讨了在MCU集中管理模式下的视频会议系统中，音视频同步控制的问题，并结合RTP／RTCP协议给出具体可行的解决方案。     

基于视频教室的音视频编码的研究

文章分别从视频教室的音频编码和视频编码的角度展开,介绍了各类相关的技术,并引出了系统所采用的先进的音视频编码技术。最后,说明了系统采用的音视频流控技术的几个优点。     

多视点立体音视频压缩编解码同步研究

为了更好地解决多视点立体视频数据的音视频同步问题,提出了一种基于Direct Show的多视点立体音视频信号压缩编解码同步方案。根据多视点立体视频的光栅显示特点,充分利用了立体视频帧内以及帧问的冗余相关性实现了立体视频数据的无损压缩,同时针对音频数据采用了基于子带编码的方式进行压缩,最后将多视点立体视频与音频数据通过压缩编码后写入立体视频文件,并在解码端通过同步控制机制实现了音视频的同步。实验结果表明,此方法能有效地实现多视点立体音视频同步。     

便携式终端上AVS-TS播放的软件实现

AVS（先进音视频编码标准）是我国自主制定的新一代数字音视频编解码技术标准,包括系统、音频、视频、数字版权管理等。介绍PXA320作为终端硬件平台,在Helix DNA Client播放器框架上设计开发传输流TS（Transport Stream）解复用模块和AVS视频解码模块,实现AVS-TS节目流的嵌入式软件实时播放。实验数据表明本系统可以实现QVGA的AVS-TS节目音视频同步实时播放。     

一种跑步机3D视频同步播放系统的设计与实现

针对目前跑步机锻炼模式单调、乏味的问题,结合视频播放设备设计了一套跑步机3D视频同步播放控制系统。采用磁场传感器采集跑步机转轴状态,通过单片机实时计算跑步机速度,并进行滤波以后送给上位机。编写上位机控制软件,利用Windows键盘相关的API函数控制播放器速度,使视频播放速度随着跑步者速度变化而同步改变,实现了体验者与视频播放的互动,增强了跑步运动的趣味性。实验结果表明,设计方案有效可行,且实用性强,可广泛地应用到其他健身器械中。     

空间多媒体通信中音视频同步技术研究

空间多媒体通信具有丢包率高、传输时延长、抖动大、资源受限等特点.为满足音视频同步QoS要求,提出了一种基于RTP/RTCP协议的音视频实时同步算法,以音频流为主媒体流,通过控制视频播放实现音视频同步.该算法无需全网同步时钟与反馈机制,具有较低的算法复杂度,适用于空间多媒体通信.仿真实验结果表明,该同步算法有效提高了空间多媒体通信系统中的音视频媒体间同步性能,满足空间通信的音视频同步QoS性能要求.     

基于DirectX的媒体流再现与同步的实现

通过介绍Direct X的DirectDraw和DirectSound技术，给出了基于DirectX对音视频流进行媒体的再现与同步的具体实现，采用以视频帧的时间戳为基准进行同步的时间戳同步机制。本文在远程监控系统中很好地实现了媒体流的高质量播放再现，解决了多媒体流的同步问题。     

基于代理节点的无结构对等网查询机制

提出了一种结合音视频双重特征检测视频内容的新方法,以提高对视频内容的识别准确率.该方法分别对视觉特征和音频特征进行分析,引入支持向量机对音频段进行分类,并综合音视域的分析结果对视频内容进行判断.针对特殊视频片断进行分析,证明结合音视特征的分析方法可行有效,可应用于视频内容监控及特定视频片段的检索与分割.     

基于音视特征的视频内容检测方法

提出了一种结合音视频双重特征检测视频内容的新方法，以提高对视频内容的识别准确率。该方法分别对视觉特征和音频特征进行分析，引入支持向量机对音频段进行分类，并综合音视域的分析结果对视频内容进行判断。针对特殊视频片断进行分析，证明结合音视特征的分析方法可行有效，可应用于视频内容监控及特定视频片段的检索与分割。     

视频监控视频流解码播放的速率控制与优化

介绍了一种对视频监控系统的视频流解码播放进行速率控制和效果优化的方法。在基本的按帧率解码播放视频流的基础上,针对视频帧率超出解码器处理速率的情况进行了优化以获得尽可能流畅平滑的显示效果,并支持多路视频流的播放画面同步。该方法应用于一个视频监控系统的客户端程序中,经过在一个平台上多次测试程序并观察其播放效果,证明标准情况下视频能按指定帧率播放,而当解码器效率低于视频帧率时,经过优化后的的播放质量也能达到预期的性能指标。     

远程音、视频重演中的同步技术

音、视频信息的同步重演足多媒体应用系统实现的关键技术和难点之一，该文探讨了音、视频同步的机制，依据基于参考点的同步思想创建了以音频为时间主导的同步模型，提出了在解码端运用的音、视频同步算法，并给出了同步的判断准则和实际处理的过程。算法已应用于基于MPEG-4编码标准的分布式多媒体监控系统中，实验表明，它能准确、可靠地实现音、视频连续同步重演，并具有较好的通用性。