基于DirectX的音频视频无线传输系统设计与实现

主要介绍一种基于微软DirectX平台实现音频视频无线传输的系统,该系统利用Direct Play Voice实现音频传输,利用DirectShow实现视频传输。针对音频传输过程中延时、抖动现象,利用RTP协议包头时间戳和建立缓冲池的方法进行消除,提高音质;利用RTP/RTCP协议传输MPEG-4码流,提高视频质量。探讨了该系统的基本结构和实现细节,实际测试表明该系统音频和视频质量令人满意,具有稳定性好、占用带宽低等优点。     

多媒体邮件系统中媒体同步的研究与实现

设计并实现了一种基于H.323协议的多媒体邮件系统。为了解决多媒体同步问题、在终端侧,利用媒体同步控制模块根据RTP包头中附带的时间戳标志,对视频、音频信息进行同步控制;在服务器侧,采用基于时间轴的定义方法建立的存储模型,直接对媒体流的RTP包进行存储,以保持发送端的时间戳不变,使发送端的媒体及媒体内同步关系不变。     

H.263码流的RTP封装的研究与实现

在对RTP/RTCP特点与功能的研究、H.263视频数据的RTP封装格式研究和H.263码流结构分析的基础上,提出了一种将H.263码流封装成RTP数据包的实现方法.     

基于音/视频特征的足球视频体育事件交互式检索方法

本文提出了一种交互式足球体育视频事件检索方法.在该方法中,首先从音频和视频中提取四种类型的特征,计算出它们的均值和标准差,并把这八个数据编码成一个染色体,建立与视频文件的索引.然后,利用交互式遗传算法实现足球体育视频事件的检索.首先,系统从数据库中随机地选取N个视频文件供用户观看与选择;然后,系统根据用户所选视频提取相应的染色体,并对这些染色体进行重组操作得到目标染色体;其次,把目标染色体与数据库中的所有染色体进行比较,利用欧式距离计算出它们的相似度,从中选取N个最相似的染色体对应的视频为下一代视频;最后,不断迭代上面的过程,直到得到用户想要的视频.通过对包含有400个视频事件的数据库的实验,证明该方法能够有效地检索足球视频数据库中的视频文件,准确率达到89%.     

改进的空间下采样视频转码快速运动估计算法

提出一种基于输入码流信息和已转码码流信息的视频转码快速运动估计算法。本算法利用Alpha-激励均值滤波通过输入码流的运动矢量合成作为备选预测运动矢量之一,并利用H．264标准中帧间预测的方法通过已转码码流信息合成另一个备选预测运动矢量,共同作为EPZS运动估计算法的预测中心。结合图像的运动活跃性．自适应的调整运动估计的搜索策略。该算法比传统的运动矢量方法相比提高了1dB左右的PSNR,保持了较高的转码图像质量并与菱形搜索算法相比能够降低18％左右的转码时间。     

校园无线视频监控系统的设计与应用

为解决校园内及周边视频监控点布置分散等原因造成的无法实现远程视频监控问题,针对3G无线网络的特点,描述了基于3G标准的无线视频监控系统关键技术的研究与实现方法。在数据传输中利用RTP协议中时间戳,解决音视频同步的问题,对监控系统的客户端与服务器端进行了设计。实际应用表明,该系统设计合理,可靠性好,能对校园内外目标实现有效监控。     

SIP视频监控客户端在Linux平台的实现

设计与实现了以AVS算法为视频标准,在PC机上的Linux系统为平台的视频监控客户端.利用SIP协议作为控制协议,RTP协议作为传输协议,来接收网络上来自视频监控系统服务器端摄像头采集信号后进行编码工作的视频码流数据.然后将接收到的视频码流进行解码并且在屏幕上的多路画面显示.最后利用QT进行界面GUI设计.该客户端支持多平台移植,对视频监控嵌入式发展有积极的推动意义.     

VoLTE视频通话关键参数提取的方法及应用

对日益成熟商用的手机VoLTE(长期演进语音承载)视频通话业务,从测试的终端侧抓包获取相关音频、视频码流数据,通过对原始码流及相关通信协议信息的解码分析,研究确定提取VoLTE视频通话关键参数的方法。利用RTCP(实时传输控制协议),进行原始码流的串联分析,实现音/视频编码、音/视频码率、音/视频丢包率、音/视频时延、视频分辨率和视频帧率等指标建立和评估。为VoLTE视频通话业务的质量保障提供方法,提升LTE(长期演进技术)网络新业务、新技术的保障水平和质量。     

基于层修复技术的DVC鲁棒传输框架

针对分布式视频编码(DVC)系统鲁棒传输问题,设计了一种基于层修复的DVC系统传输框架。该传输框架首先对关键帧(K帧)同时采用高效视频编码(HEVC)帧内编码和Wyner-Ziv编码,并将校验信息(Wyner-Ziv码流)作为修复层码流存入缓存中。若当前关键帧有丢失,则向编码端请求该帧对应的层修复码流,在解码端对错误块进行修复,获得关键帧解码质量的提升。同时,研究了层修复码率估计算法,利用已成功解码的位平面辅助完成算法重建。实验结果表明,该传输框架利用关键帧的层修复码流对关键帧失真部分进行了修复,提高了关键帧质量,改善了边信息质量,实现了DVC的鲁棒传输。     

一种适用于网络应用的压缩图象快速检索方法

随着多媒体技术和因特网的发展,基于内容的图象检索已经成为多媒体处理中的关键技术,而基于压缩域的图象检索由于其低复杂性逐渐形成一个新的研究热点.针对当前网上图像浏览与检索的应用要求,本文提出了一种基于JPEG2000压缩码流的压缩图象快速检索方法.该方法直接从JPEG2000压缩码流包头中抽取码块零位平面数,码块编码通道数及码块编码长度信息,并进而构造特征矢量用于图象检索.初步实验结果验证了该方法的有效性和快速性.     

一种基于MP4文件的视频流关键帧索引播放方法

视频内容一般具有数据量大的特点，随着网上视频内容的增多，用户需要一种基于关键帧的视频内容快速预览播放方法，来更快更准确地找到自己感兴趣的内容。文章提出的方法通过在符合MPEG-4标准的MP4文件中加入预览索引轨道的方式来组织预览数据，然后通过对RTP头中时间戳的修改来流化预览数据，最后通过SDP来描述预览索引轨道，实现了对视频流中一组时间间隔不固定的关键帧的连续索引播放。本方法虽然主要针对MP4文件格式，但由于采用了RTP、SDP等协议而具有一定的通用性。     

一种网络监控系统中音视频同步的方法

在网络监控系统中,实时流媒体传输已经广泛使用,其中音视频同步是一个关键的问题。由于在数据传输中使用RTP协议,如果能有效使用RTP包中的时间信息,音视频同步问题将会大大简化。根据做网络监控系统软件的经验,充分利用RTP协议中的时间戳,提出参考时间,缓存设计及音视频同步算法,并进行编程。     

基于Java语言P2P结构的网络视频会议系统

随着信息技术和网络技术的飞速发展以及人们的应用需求,产生了网络视频会议系统.针对P2P网络技术协同网络会议系统的需求,分析流媒体传输与控制技术、Java Media Framework （JMF）媒体框架技术、RTP/RTCP流媒体传输与控制协议、P2P结构分析和P2P工作原理,建立P2P结构的系统框架和基于时间戳的RTCP流媒体同步机制,设计了基于JMF类及P2P结构的网络视频会议系统.     

基于显著特征增强的跨模态视频片段检索

随着视频获取设备和技术的不断发展,视频数量增长快速,在海量视频中精准查找目标视频片段是具有挑战的任务。跨模态视频片段检索旨在根据输入一段查询文本,模型能够从视频库中找出符合描述的视频片段。现有的研究工作多是关注文本与候选视频片段的匹配,忽略了视频上下文的“语境”信息,在视频理解时,存在对特征关系表达不足的问题。针对此,该文提出一种基于显著特征增强的跨模态视频片段检索方法,通过构建时间相邻网络学习视频的上下文信息,然后使用轻量化残差通道注意力突出视频片段的显著特征,提升神经网络对视频语义的理解能力。在公开的数据集TACoS和ActivityNet Captions的实验结果表明,该文所提方法能更好地完成视频片段检索任务,比主流的基于匹配的方法和基于视频-文本特征关系的方法取得了更好的表现。     

Deep multi-query video retrieval

Video retrieval methods have been developed for a single query. Multi-query video retrieval problem has not been investigated yet. In this study, an efficient and fast multi-query video retrieval framework is developed. Query videos are assumed to be related to more than one semantic. The framework supports an arbitrary number of video queries. The method is built upon using binary video hash codes. As a result, it is fast and requires a lower storage space. Database and query hash codes are generated by a deep hashing method that not only generates hash codes but also predicts query labels when they are chosen outside the database. The retrieval is based on the Pareto front multi-objective optimization method. Re-ranking performed on the retrieved videos by using non-binary deep features increases the retrieval accuracy considerably. Simulations carried out on two multi-label video databases show that the proposed method is efficient and fast in terms of retrieval accuracy and time.     

无线网络多路实时视频流同步机制的研究

针对无线网络中多个采集点得到的多路视频数据进行同步的机制做了全面深入的分析,在此基础之上,提出了一种有效的基于时间戳的同步模型,并且针对无线网络对带宽的苛刻要求,给出了采用RTP/RTCP协议下MPEG4标准的实时视频流同步的具体实现方案。     

A Practical RTP Packetization Scheme for SVC Video Transport over IP Networks

Scalable video coding (SVC) has been standardized as an extension of the H.264/AVC standard. This paper proposes a practical real‐time transport protocol (RTP) packetization scheme to transport SVC video over IP networks. In combined scalability of SVC, a coded picture of a base or scalable enhancement layer is produced as one or more video layers consisting of network abstraction layer (NAL) units. The SVC NAL unit header contains a (DID, TID, QID) field to identify the association of each SVC NAL unit with its scalable enhancement layer without parsing the payload part of the SVC NAL unit. In this paper, we utilize the (DID, TID, QID) information to derive hierarchical spatio‐temporal relationship of the SVC NAL units. Based on the derivation using the (DID, TID, QID) field, we propose a practical RTP packetization scheme for generating single RTP sessions in unicast and multicast transport of SVC video. The experimental results indicate that the proposed packetization scheme can be efficiently applied to transport SVC video over IP networks with little induced delay, jitter, and computational load.     

Internet cross-media retrieval based on deep learning

With the development of Internet, multimedia information such as image and video is widely used. Therefore, how to find the required multimedia data quickly and accurately in a large number of resources, has become a research focus in the field of information process. In this paper, we propose a real time internet cross-media retrieval method based on deep learning. As an innovation, we have made full improvement in feature extracting and distance detection. After getting a large amount of image feature vectors, we sort the elements in the vector according to their contribution and then eliminate unnecessary features. Experiments show that our method can achieve high precision in image-text cross media retrieval, using less retrieval time. This method has a great application space in the field of cross media retrieval.     

基于iOS的音视频监控软件的设计与实现

为了在iOS平台上实现对特定场景的实时音视频监控,设计并实现了基于iOS的音视频监测软件。软件采用SIP(会话初始化协议)作为信令控制协议,采用RTP(实时传输协议)实现音视频数据传输,利用FFmpeg和iOS固有的音视频处理框架实现音视频的解码播放。由于无线传输网络的不稳定性和音视频编解码消耗时间的不同导致了音视频数据的不同步,因此软件采用基于RTP协议的音视频同步控制方法。     

基于局域网的H.263视频数据流的实时传输

介绍了一种在局域网上利用RTP技术实时传输H.263图像数据的方法，并对其性能进行了测试，给出了C语言编程实例。通过RTP及RTCP提供的信息对编码端进行码率调整等方法，成功地实现了基于局域网的图像监控系统中的H.263图像数据的实时传送。