基于内容的压缩视频分段技术

根据使用的压缩域上的信息将当前国内外的视频分段技术划分为5种类型，介绍了各种研究方法的特点及其不足之处，分析了当前视频分段技术的研究现状和存在问题，并对其研究前景进行了探讨。     

基于DirectShow的实时视频信息采集与压缩

论述采用DirectShow技术进行实时视频信息的采集和压缩存储的方法，并给出详细的设计思路。设计中视频捕捉采用WDM驱动捕捉，提高视频捕捉的效率和通用性；采用基于内容的MPEG-4视频编码标准进行压缩，得到较高的压缩比和压缩质量。该技术已经成功地应用到笔者参与开发的视频会议系统中，有效提高了采集速度和视频质量。     

基于DirectShow的实时视频信息采集与压缩

论述采用DirectShow技术进行实时视频信息的采集和压缩存储的方法,并给出详细的设计思路。设计中视频捕捉采用WDM驱动捕捉,提高视频捕捉的效率和通用性;采用基于内容的MPEG-4视频编码标准进行压缩,得到较高的压缩比和压缩质量。该技术已经成功地应用到笔者参与开发的视频会议系统中,有效提高了采集速度和视频质量。     

数字视频压缩——用于视频传输和存储的技术方法与标准

现在，数字视频监控和网络视频已经进入了市场的主流，人们的注意力转移到用最有效的方式传输和存储数据的技术，在满足性能需求的同时降低成本。本文涉及数字视频压缩技术的范围讨论——尤其是动态JPEG（M-JPEG）、MPEG 2、以及MPEG 4——以及最适合于每种技术的适当应用。     

综采工作面视频监控系统优化设计

针对现有综采工作面视频监控系统占用网络带宽大、视频存储不完整、采煤机截割画面不突出、视频拼接画面参差不齐等问题,从系统硬件和软件、视频压缩和拼接算法等方面进行优化设计。硬件方面,引入硬盘录像机,以降低网络带宽占用率,解决视频传输卡顿问题;采用本地存储与远程存储相结合的方式,有效解决了视频存储丢失的问题。软件方面,以突出重点、局部放大为原则,采用实时视频与动画模拟结合的方式显示综采工作面视频画面与设备状态参数,解决了采煤机截割画面不突出的问题。算法方面,提出了基于深度学习的视频压缩方法,除压缩视频数据本身外,对帧间数据也进行压缩,有效降低了算法的码率;采用非线性损失真模型(NAM)矫正算法消除图像畸变,采用加速稳健特征(SURF)检测算法进行特征点检测,并通过双线性插值方法进行图像融合,从而实现全景视频拼接。探讨了综采工作面视频监控技术发展方向,包括摄像仪自清洁技术、智能识别技术、工作面全景视频拼接技术、5G与WiFi6融合通信技术、煤岩界面识别技术。     

视频片段检索研究综述

视频片段检索旨在利用用户给出的自然语言查询语句,在一个长视频中找到最符合语句描述的目标视频片段.视频中包含丰富的视觉、文本、语音信息,如何理解视频中提供的信息,以及查询语句提供的文本信息,并进行跨模态信息的对齐与交互,是视频片段检索任务的核心问题.系统梳理了当前视频片段检索领域中的相关工作,将它们分为两大类：基于排序的方法和基于定位的方法.其中,基于排序的方法又可细分为预设候选片段的方法和有指导地生成候选片段的方法,而基于定位的方法则可分为一次定位的方法和迭代定位的方法.同时对该领域的数据集和评价指标进行了介绍,并对一些模型在多个常用数据集上的性能进行了总结与整理.此外,介绍了该任务的延伸工作,如大规模视频片段检索工作等.最后,对视频片段检索未来的发展方向进行了展望.     

深度学习视角下视频关键帧提取与视频检索研究

随着互联网技术的高速发展,互联网中的视频数据已经成为其中的重要数据类型,且在安全监控及视频网站当中得到了十分广泛的应用。随着互联网的逐渐普及,视频搜索也有了更大的意义,因此对视频检索技术的研究则是非常重要的。视频关键帧提取则主要体现视频中各个镜头的显著特征,通过视频关键帧提取能够有效减少视频检索所需要花费的时间,并能够增强视频检索的精确度。因此,对于视频关键帧提取与视频检索进行研究是非常有意义的。     

图像与视频处理工作汇报

主要报告内容：运动估计，时间域运动分割，基于时空信息的VOP分割，模型基和基于对象的视频压缩，人脸跟踪，背景描述。     

人工智能技术在视频制作中的应用

本文首先介绍了人工智能技术在字幕自动配音应用,阐述了人工智能技术在视频字幕提取和虚拟主播中的应用,体现出人工智能技术的应用价值。其次,介绍了人工智能技术在智能编目与检索和图片视频化中的应用,对提高检索速度、图片视频制作质量中发挥重要作用。最后,介绍人工智能技术在画质修复中的应用,对画质修复的质量起决定性作用,同时视频制作的多样化对人工智能技术的完善起到推动作用。     

数字水印技术在视频压缩格式中的研究与实现

随着信息技术的发展,数字媒体得到了空前广泛的应用,版权维护也成了数字出版商所关心的最大问题。基于当前数字版权维护中水印技术的发展现状和数字水印技术在视频压缩格式中的应用研究,提出一种以MPEG-4视频水印嵌入的方案,以期对相关数字版权保护工作提供一定的参考价值。     

深度学习平台体系架构及其关键技术

针对AI模型生产和训练,传统基于脚本的物理单机或集群方式存在训练推理割裂、资源利用不充分、计算环境难迁移、训练流程冗长等问题,提出了一种面向深度学习模型训练的平台体系架构,架构分为数据平台层、计算平台层、训练套件层以及管理平台层四层,并逐层进行分析。在关键技术上,首先提出了训练推理一体化框架,采用抽象的计算流图屏蔽网络结构差异,并进行图优化;其次,提出了GPU状态感知的自适应资源匹配机制,采用环形消除算法解决通信成本线性增长问题;同时,提出基于启发式算法的标签匹配调度算法,以提高资源利用率;并且,通过租户管理和容灾机制的建立保障了系统平台的安全可靠性。最终搭建仿真平台验证其可用性、安全可靠性和拓展性。通过深度学习平台的应用,可以帮助企业更简易快捷地训练定制化模型和使用个性化服务,加速AI生产落地,推动AI技术和整个生态的繁荣发展。     

深度学习在医学影像智能处理中的应用与挑战

利用深度学习方法对医学影像数据进行处理分析,极大地促进了精准医疗和个性化医疗的快速发展。深度学习在医学图像领域的应用较为广泛,具有多病种、多模态、多组学和多功能的特点。为便于对深度学习在医学图像处理领域的应用进行更深入有效的探索,本文系统综述了相关研究进展。首先,从深度学习在影像基因组学中的应用出发,理清了深度学习在医学影像领域应用的一般思路和现状,将医学影像领域分为智能诊断、疗效评估和预测预后等3个模块,并对模块内的各病种进行总结,展示了深度学习各算法的优缺点及面临的问题和挑战。其次,对深度学习中出现的新思路、新方法以及对传统方法的改进进行了阐述。最后,总结了该领域现阶段面临的问题,并对未来的研究方向做出了展望。基于深度学习的医学图像智能处理与分析虽然取得了一些有价值的研究成果,但还需要根据临床的实际需求,将深度学习与经典的机器学习算法及无创并且高效的多组学数据结合起来,对深度学习的理论和方法进行深入研究。     

多媒体智能：当多媒体遇到人工智能

过去10年中涌现出大量新兴的多媒体应用和服务,带来了很多可以用于多媒体前沿研究的多媒体数据。多媒体研究在图像/视频内容分析、多媒体搜索和推荐、流媒体服务和多媒体内容分发等方向均取得了重要进展。与此同时,由于在深度学习领域所取得的重大突破,人工智能(artificial intelligence,AI)在20世纪50年代被正式视为一门学科之后,迎来了一次“新”的发展浪潮。因此,一个问题就自然而然地出现了：当多媒体遇到人工智能时会带来什么？为了回答这个问题,本文通过研究多媒体和人工智能之间的相互影响引入了多媒体智能的概念。从两个方面探讨多媒体与人工智能之间的相互影响：一是多媒体促使人工智能向着更具可解释性的方向发展;二是人工智能反过来为多媒体研究注入了新的思维方式。这两个方面形成了一个良性循环,多媒体和人工智能在其中不断促进彼此发展。本文对相关研究及进展进行了讨论,并围绕值得进一步探索的研究方向分享见解。希望可以对多媒体智能的未来发展带来新的研究思路。     

Combining Active and Semi-Supervised Learning for Video Compression

Video compression algorithms manipulate video signals to dramatically reduce the storage and bandwidth required while maximizing perceived video quality. Typical video compression methods include discrete cosine transform, vector quantization, fractal compression, and discrete wavelet transform. Recently, a machine learning based approach has been proposed which converts the color images (frames) to gray scale images (frames) and the color information for only a few representative pixels is kept. A learning model is then trained to predict the color values for the gray scale pixels across frames. Selecting the most representative pixels is essentially an active learning problem, while colorization is a semi-supervised learning problem. In this paper, we propose to combine active and semi-supervised learning for video compression. The basic idea is to minimize the size of the covariance matrix of the regularized least squares estimates, in which the regression model assumes that each pixel can be reconstructed by the other pixels with similar spatial location and intensity value. The experimental results demonstrate the effectiveness of the proposed approach for video compression.     

深度学习在现代医疗领域中的应用

深度学习作为人工智能领域最为活跃的研究分支,近年来在计算机视觉、自然语言处理、语音识别等领域取得丰硕成果.同时,深度学习在医疗领域中的应用也逐渐成为研究热点,并且在医学图像和信号处理、计算机辅助检测与诊断、临床决策支持、医疗信息挖掘和检索等方面取得了一些成功,展现出了极大的应用前景.本文在介绍深度学习原理和常用深度神经...     

深度学习模型中间层特征压缩技术综述

深度学习模型中间层特征压缩作为深度学习领域中一个新兴的研究热点被广泛关注并应用于边端—云端智能协同任务中。针对深度学习模型中间层特征压缩的研究现状,对当前压缩方式中存在的问题进行分析总结。首先,系统地分类阐述了基于图像/视频编解码框架、基于特征通道比特分配和基于深度学习网络结构的三种深度学习模型中间层特征压缩方式;随后,对比了三种深度学习模型中间层特征压缩方式在数据集上的表现;最后,探讨了当前深度学习模型中间层特征压缩研究面临的挑战,展望了中间层特征压缩技术未来的发展趋势。