基于运动能量模型的人体运动捕捉数据库的检索

不同于经典的基于几何空间位置的检索方法,首先提出基于运动能量的描述人体运动的模型,在此基础上引入熵的概念,提取能体现运动特征的关键关节作为衡量动作相似性的基准;然后利用Keogh定界算法建立索引,以加快检索速度;最后,利用动态时间变形算法计算运动例子和检索集之间的相似度,确定检索结果集.实验结果表明,该方法速度快、准确性高.     

基于空间信息的直方图图像检索

从具有同一灰度的像素角度出发,寻找空间分布差异,引入面积变量,构造了平均面积直方图,间接捕捉到色彩的空间分布特征,从而能够区别色彩分布相似但空间分布不同的图像,尤其适用于纹理丰富的图像的检索,获得了满意的效果.     

视频运动特征提取模块的实现

基于内容的视频检索为人们检索具有相似内容的视频数据提供了新的手段,而运动信息作为视频内容中的一种特有信息,是视频检索领域研究关键问题之一.通过对运动特征提取算法进行研究,设计并实现了一个实用的全局运动特征和局部运动特征提取模块.实验表明：该模块能够有效地分割全局运动与局部运动,提取的运动特征信息可作为基于内容的视频相似检索系统的重要索引.     

一种新的基于区域的图像检索方法

论文提出了一种新的基于区域的图像检索方法。与传统的基于区域的检索方法相比,论文从组成目标对象的基本结构角度出发分割图像,利用少量色彩等级更易描述对象主要构成的特性提取一组能够描述对象基本组成的区域序列。采用这些区域列的面积作为图像特征,用于图像检索。实验表明,该算法简单但非常有效,而且对图像的旋转、尺度变化具有良好的鲁棒性。     

遗传算法在基于内容的图像检索中的应用

利用遗传算法对图像的统计特征进行了特征选取，并应用于颅脑CT图像检索中。实验结果表明，该方法能够有效地选取特征，提高检索精度，改善检索效果。     

一个基于运动的视频检索系统

在视频摄取的过程中,相机运动在某种程度上反映了当前视频的部分重要信息,通过对摄像机运动的提取能够更好地实现对视频的浏览以及检索,本文针对现有的依据光流场的分布来求相机运动参数的算法中不足,给出了一种依靠运动矢量的分布来求相机运动参数的方法,该方法能够在相机聚焦中心不在成像平面中心点时检测出给定类型的相机运动,并具有较好的鲁棒性,最后根据该算法实现了一个基于运动的视频检索系统.     

基于形状匹配的卡通运动捕捉

提出一种对传统的卡通动画进行运动捕捉的方法．不同于以前基于骨架模型或者关键形状表示的方法,用整体仿射运动和局部非仿射变形的组合来表示卡通人物的运动,用卡通人物的轮廓表示它的形状;然后直接对相邻的关键帧进行形状匹配,将恢复的运动参数映射到一个目标人物上,使其具有与原来人物相同的运动方式．文中不使用先验模型,通过形状匹配来获取和映射卡通人物的运动,并通过实验验证了该方法的可行性．     

一种应用于视频点播系统的视频检索方法

提出一种新的用于视频点播系统的视频检索方法,用户提交单帧图片中的感兴趣部分作为查询输入,服务器据此查询对存储的视频摘要片断的数据帧进行分割,再判断帧数据与查询图片的相似性,并将结果返回给用户选择播放.用户查询的输入可以来自影片的海报宣传画、影片花絮镜头等等,由于仅对用户感兴趣的部分进行处理,所以对背景(非感兴趣区域)的色彩无须约束.实验结果表明本方法可以准确定位到用户期望的查询结果,可以有效应用于视频点播系统.     

基于内容的图像检索系统

文章介绍了基于内容的图像检索技术及其优势，并举了几个例子。     

基于视频的三维人体运动跟踪

提出一种结合多种图像特征,在多摄像机环境下跟踪人体运动的方法．通过定义人体模型、摄像机投影模型以及相似性度量模型来得到优化框架下的目标函数,并使用牛顿-高斯优化算法对其进行求解．模拟数据和实际数据的实验表明,文中方法比仅仅使用灰度特征,跟踪结果得到了改善,对比实验结果也优于基于概率算法的退火粒子滤波．     

基于视频的人体动画

现有的基于运动捕获的动画普遍存在投资大，人体的运动受到捕获设备限制等缺陷。提出了新的基于视频的人体动画技术，首先从视频中捕获人体运动，然后将编辑处理后的运动重定向到动画角色，产生满足动画师要求的动画片段。对其中的运动捕获、运动编辑和运动重定向等关键技术进行了深入研究，并基于这些关键技术开发了一个基于双像机的视频动画系统（VBHA），系统运行结果表明了从来源广、成本低的视频中捕获运动，并经过运动编辑和运动重定向后生成逼真动画的可行性。     

Constructing Human Motion Manifold With Sequential Networks

This paper presents a novel recurrent neural network-based method to construct a latent motion manifold that can represent a wide range of human motions in a long sequence. We introduce several new components to increase the spatial and temporal coverage in motion space while retaining the details of motion capture data. These include new regularization terms for the motion manifold, combination of two complementary decoders for predicting joint rotations and joint velocities and the addition of the forward kinematics layer to consider both joint rotation and position errors. In addition, we propose a set of loss terms that improve the overall quality of the motion manifold from various aspects, such as the capability of reconstructing not only the motion but also the latent manifold vector, and the naturalness of the motion through adversarial loss. These components contribute to creating compact and versatile motion manifold that allows for creating new motions by performing random sampling and algebraic operations, such as interpolation and analogy, in the latent motion manifold.     

基于单目视频运动跟踪的三维人体动画

针对传统人体动画制作成本高、人体运动受捕获设备限制等缺陷,提出了一种基于单目视频运动跟踪的三维人体动画方法。首先给出了系统实现框架,然后采用比例正交投影模型及人体骨架模型来恢复关节的三维坐标,关节的旋转欧拉角由逆运动学计算得到,最后采用H-anim标准对人体建模,由关节欧拉角驱动虚拟人产生三维人体动画。实验结果表明,该系统能够对人体运动进行准确的跟踪和三维重建,可应用于人体动画制作领域。     

基于分块主成分分析的人体运动合成

在高维运动数据处理中,传统降维方法过度关注于保护拓扑结构和重构信息,导致低维子空间参数具有不可理解性。针对该问题,提出一种基于分块主成分分析的运动合成方法。对根据人体骨骼结构特点分组的运动数据进行分块主成分分析,获得具有特定语义的低维子空间参数。以跳跃运动为例进行实验,结果表明,该方法通过直观地改变具有语义的运动参数,可实时合成满足要求的运动结果。     

多表情源的人脸表情合成技术

提出了基于一个局部约束偏移和相对偏移技术的图像变形方法,用于人脸表情合成．该方法可以自动克服目前表情合成方法的非特征区域的形变,并与脸型外观相匹配．在此基础上,提出了基于多表情源的人脸表情合成技术．从人脸图像划分出三个主要表现表情的区域,并对每个区域根据多个表情源的加权平均的相对偏移量进行图像局部变形,最后利用加权平均的表情比图像加强表情．实验结果表明,用该方法得到的人脸表情自然逼真,更为重要的是,通过调节权向量的取值,可以取得不同模式的表情,丰富了表情表现的内涵．     

计算机视觉与机器学习技术在三维人体动画中的应用综述

近年来计算机视觉与机器学习技术广泛应用于三维人体动画领域中.基于图像/视频的人体运动数据获取技术、数字角色和场景建模、交互式角色动画控制与运动生成等方面都大量应用了计算机视觉技术;同时,机器学习理论在三维人体运动数据重用以及后期智能角色动画创作中扮演了越来越重要的角色,并得到一些很好的研究成果.文中以三维人体动画创作流程为主线对这些方法的基本思想和关键技术进行了归纳与分析,并讨论了三维人体动画制作技术的发展趋势.     

BilVideo: Design and Implementation of a Video Database Management System

With the advances in information technology, the amount of multimedia data captured, produced, and stored is increasing rapidly. As a consequence, multimedia content is widely used for many applications in today’s world, and hence, a need for organizing this data, and accessing it from repositories with vast amount of information has been a driving stimulus both commercially and academically. In compliance with this inevitable trend, first image and especially later video database management systems have attracted a great deal of attention, since traditional database systems are designed to deal with alphanumeric information only, thereby not being suitable for multimedia data.In this paper, a prototype video database management system, which we call BilVideo, is introduced. The system architecture of BilVideo is original in that it provides full support for spatio-temporal queries that contain any combination of spatial, temporal, object-appearance, external-predicate, trajectory-projection, and similarity-based object-trajectory conditions by a rule-based system built on a knowledge-base, while utilizing an object-relational database to respond to semantic (keyword, event/activity, and category-based), color, shape, and texture queries. The parts of BilVideo (Fact-Extractor, Video-Annotator, its Web-based visual query interface, and its SQL-like textual query language) are presented, as well. Moreover, our query processing strategy is also briefly explained.This work is partially supported by the Scientific and Research Council of Turkey (TÜBİTAK) under Project Code 199E025, Turkish State Planning Organization (DPT) under Grant No. 2004K120720, and European Union under Grant No. FP6-507752 (MUSCLE Network of Excellence Project).     

面向彩色图像和视频的文本提取新方法

随着基于内容检索技术的发展，人们逐渐意识到包含在彩色图像和视频中的文本具有重要的语义作用，并需要采用有效的方法来提取这些文本，文中提出一个全面作用在RGB颜色空间3个分量上的彩色图像边缘检测新算子和一种利用空间频率特征，结合彩色边缘检测与基于区域图像分割方法的彩色图像和视频文本提取新算法。实验表明在彩色图像和视频的文本提取中，文中算子形成的二值边缘图像的文本区域轮廓清晰完整，有利于下一步文本区域与背景的剥离，该算法具有较高的广西区域提取准确率和较好的对于文本字符在尺寸和颜色方面的适应性。     

3维人体运动编辑与合成技术综述

为了使人们对3维人体运动编辑与合成技术有个概略了解,对当前3维人体运动编辑和合成技术的研究现状进行了系统阐述。首先对4大类3维人体运动合成方法进行了分析比较;然后按照运动捕获数据的表示方法、运动编辑技术、运动合成技术3个方面着重分析了运动捕获数据驱动的运动合成方法的发展现状;最后对目前3维人体运动编辑与合成技术研究中的难点问题及未来研究重点进行了展望。