基于AI辅助的可扩展视频语义通信系统

语义通信作为一种面向多智能体交互的新型通信范式，对未来通信实现高效传输提供了新的解决方法。由此，提出了一个AI辅助的可扩展视频语义通信系统。该系统能够基于现有的信源信道分离编码方案（如传统的高效视频编码HEVC与低密度奇偶校验编码LDPC），与AI辅助的可学习语义编解码器相结合，实现视频流与语义流的共同传输。其中可学习的语义数据流是视频帧中针对特定任务提取的语义信息，能够较好地提升接收端精确重建与下游任务的性能。实验证明，该视频语义通信框架相较于传统通信，在重建任务性能相差无几的情况下具有更好的下游任务表现；而相较于现有的端到端的基于深度学习的语义通信系统，性能相近的同时能够基于多种传统视频编解码标准进行扩展设计，具有与传统压缩方案更强的耦合性与适应更多场景的能力。     

基于压缩传感的半脆弱水印的视频篡改检测算法

现针对目前的视频水印算法在篡改检测方面存在不足,提出一种基于压缩传感的半脆弱水印的视频篡改检测算法.通过压缩传感算法提取I帧的图像特征,生成半脆弱的内容认证水印,嵌入到I帧图像的中高频系数中,实现帧内篡改检测.通过对P帧的序号进行哈希运算,生成完整性水印,嵌入到P帧的运动矢量中,实现帧间篡改检测.仿真实验表明,算法对视...     

基于HEVC帧内预测的复杂度控制

帧内预测在视频编码中是非常重要的模块.在视频实时编码与传输过程中,场景切换会经常出现.此时,一般会采用全Ⅰ帧编码.研究发现,即使是全Ⅰ帧编码,也往往会非常耗时.基于编码单元深度范围和帧内预测中候选预测方向个数研究了HEVC编码器的复杂度控制问题.针对不同的目标编码复杂度,算法自适应地选择不同的方法来优化编码过程.实验结果表明,该算法在保证视频质量的前提下实现了对不同复杂度目标的控制.     

新闻视频基于语义的自适应拆分算法

为促进对新闻视频的结构化传播,提出基于语义特征的新闻视频自适应拆条算法.该算法对视频流上场景语义划分,搭建了一种基于场景分类任务的深度神经网络模型NewslicNet,深度挖掘新闻内容条目的非结构化特征提取新闻内容的拆分点,完成新闻内容段拆条工作.该算法在1538分钟23秒的新闻联播视频上进行训练与测试,实验结果表明,验证了拆条算法的性能优越性和模型的可行性.     

基于语义空间统一表征的视频多模态内容分析技术

视频是数据处理中综合性能最高,包含内容最广的载体.视频题目通过文字表达,内容通过连续图像帧表达,另外部分视频还包含背景音乐或者解说旁白.因此,视频处理即是对文字、图像、声音的多模态处理.着眼于多模态处理技术,提出基于语义空间统一表征的视频多模态内容分析框架,利用多种架构的深度神经网络,对视频的文字、图像、音频进行分别处理,为达到统一的功效,将不同结构的深度神经网络归结到语义空间,通过语义空间进行综合认知.提出的架构清晰、层次分明,对于视频理解的建模具有指导意义.     

基于熵编码的立体视频加密与信息隐藏算法

针对立体视频的安全性,该文提出一种基于熵编码的立体视频加密与信息隐藏算法。首先,结合立体视频编码结构,分析误差漂移的物理机制,并根据立体视觉掩蔽效应,确定左右视点的加密帧和隐秘信息待嵌入帧。其次,在基于上下文自适应二进制算术编码(CABAC)的熵编码中,通过等长码字替换技术,实现立体视频的加密和信息隐藏。实验结果表明,视频码流经加密与信息隐藏之后格式兼容、比特率不变,视频感知质量无明显下降,在计算复杂度和码率增加率上有显著优势。     

基于H.264码流的数字视频水印算法研究

随着数字视频水印技术被广泛应用于视频信息的版权保护,提出一种基于H.264码流的数字视频水印方案.根据经典算法 H&G 算法的部分解码的思想,通过纹理复杂度参数和帧内预测方向在每个宏块中选择合适的4×4块,并根据DCT系数特点,选择4×4块的一个中频系数来嵌入水印.结合常用的内置式水印的嵌入方法,通过调制 DCT 系数的一个中频系数的奇偶性关系,完成水印在 I 帧的嵌入.通过对标准视频序列的测试,证明了该算法在H.264标准上的可行性.     

一种基于FFMPEG系统的视频水印算法

提出一种基于FFMPEG系统的MPEG-2视频水印算法,解决了视频水印中不可避免的视频编解码问题。将水印图像和水印属性转成二进制比特流,作为嵌入视频的水印信息,提取时不需预知水印的尺寸信息就能恢复。同时在每个嵌入帧的起始部位嵌入标志序列,识别已嵌入水印的帧提取水印,而无需重新进入编码过程。实验结果表明,这种方案实现便捷,省时高效,且具有较好的不可见性和鲁棒性。     

基于多模态特征转换嵌入的场景图生成

场景图生成是计算机视觉领域中的热点研究方向，可连接上、下游视觉任务。场景图由形式为<主语-谓语-宾语>的三元组组成，模型需要对整幅图像的全局视觉信息进行编码，从而辅助场景理解。但目前模型在处理一对多、多对一和对称性等特殊的视觉关系时仍存在问题。基于知识图谱与场景图的相似性，我们将知识图谱中的转换嵌入模型迁移至场景图生成领域。为了更好地对此类视觉关系进行编码，本文提出了一种基于多模态特征转换嵌入的场景图生成框架，可对提取的视觉和语言等多模态特征进行重映射，最后使用重映射的特征进行谓语类别预测，从而在不明显增加模型复杂度的前提下构建更好的关系表示。该框架囊括并补充了现存的几乎所有转换嵌入模型的场景图实现，将四种转换嵌入模型（TransE、TransH、TransR、TransD）分别应用于场景图生成任务，同时详细阐述了不同的视觉关系类型适用的模型种类。本文所提框架扩展了传统应用方式，除独立模型之外，本文设计了新的应用方式，即作为即插即用的子模块插入到其他网络模型。本文利用大规模语义理解的视觉基因组数据集进行实验，实验结果充分验证了所提框架的有效性，同时，得到的更丰富的类别预测结...     

基于局部亮度直方图的自适应视频帧类型决策算法

视频帧类型决策是影响视频编码效率的关键因素之一。为提升x265视频编码器的编码性能,该文提出基于局部亮度直方图的自适应视频帧类型决策算法。首先,在64×64大小的编码树单元(CTU)级别上统计各帧局部亮度直方图,用帧间局部亮度直方图差异表征帧间场景变换程度;其次,引入帧内编码帧(I帧)检测窗,在检测窗内通过比较帧间场景变换程度自适应确定I帧;最后,根据帧间场景变换程度与迷你图像组(MiniGOP)大小之间的相关性确定MiniGOP大小,从而自适应确定普通P和B帧(GPB帧)及双向预测编码帧(B帧)。实验结果表明,与x265标准中的相关算法相比,所提算法能够有效降低x265的编码复杂度,可在减少近5%编码时间的前提下,实现视频I帧、GPB帧和B帧的高效自适应决策。     

Multiresolution scene-based video watermarking using perceptualmodels

We present a watermarking procedure to embed copyright protection into digital video. Our watermarking procedure is scene-based and video dependent. It directly exploits spatial masking, frequency masking, and temporal properties to embed an invisible and robust watermark. The watermark consists of static and dynamic temporal components that are generated from a temporal wavelet transform of the video scenes. The resulting wavelet coefficient frames are modified by a perceptually shaped pseudorandom sequence representing the author. The noise-like watermark is statistically undetectable to thwart unauthorized removal. Furthermore, the author representation resolves the deadlock problem. The multiresolution watermark may be detected on single frames without knowledge of the location of the frames in the video scene. We demonstrate the robustness of the watermarking procedure to several video degradations and distortions     

Video watermarking using wavelet transform and tensor algebra

We present a robust, hybrid non-blind MPEG video watermarking technique based on a high-order tensor singular value decomposition and the discrete wavelet transform (DWT). The core idea behind our proposed technique is to use the scene change analysis to embed the watermark repeatedly into the singular values of high-order tensors computed form the DWT coefficients of selected frames of each scene. Experimental results on video sequences are presented to illustrate the effectiveness of the proposed approach in terms of perceptual invisibility and robustness against attacks.     

基于语义的视频检索关键技术综述

随着大量视频的出现,视频内容检索是当今多媒体应用的一个重要研究方向。现有的视频检索技术多是基于低层特征,这些低层特征与高层语义概念相差较多,严重影响了视频内容检索系统的实用性。由于低层特征和高层语义概念间的语义鸿沟,如何从视频内容中提取人类思维中的语义概念,正成为目前视频内容检索中最具有挑战性的研究内容。文中介绍了语义视频检索出现的背景和国内外最新研究动态,分析了现有方法的优缺点,对现有的关键技术进行综述。     

运用多级对象语义框架的彩色图像分割

提出了一种运用多级语义框架的彩色图像分割方法.通过用户交互,不仅可以分割出多区域对象,还可以对用户定义的该对象的子对象进行识别,并给出它们之间的语义关系,从而反馈修正先前的分割结果,使结果更准确.实验测试了不同种类的图片和视频序列帧.各级分割结果与语义关系可有效应用于后续的基于图像、视频对象或部分对象的编辑应用.     

一种新闻视频文本语义信息提取与分析的新方法

本文提出一种视频文本语义信息分析的新思路,即在文本区域提取后结合文种识别理论来提取新闻视频的来源和身份等高级语义信息,同时文种识别结果可为OCR的选择提供先验知识。主要工作包括:1)针对视频中的字幕,提出一种基于时-空分析的算法来检测视频中的字幕,然后对检测到的字幕通过投影分析进行定位、增强和二值化;2)对提取到的文本区域提出一种基于PCA和小波变换的文种识别算法。     

Video Watermark Using Multiresolution Wavelet Decomposition

A novel technique for the video watermarking based on the discrete wavelet transform(DWT) is present. The intra frames of video are transformed to three gray image firstly, and then the 2th-level discrete wavelet decomposition of the gray images is computed, with which the watermark W is embedded simultaneously into and invert wavelet transform is done to obtain the gray images which contain the secret information. Change the intra frames of video based on the three gray images to make the intra frame contain the secret information. While extracting the secret information, the intra frames are transformed to three gray image, 2th-level discrete wavelet transform is done to the gray images, and the watermark W‘ is distilled from the wavelet coefficients of the three gray images. The test results show the superior performance of the technique and potential for the watermarking of video.