2DPCA-SIFT:一种有效的局部特征描述方法

PCA-SIFT （Principal component analysis—scale invariant feature transform）方法通过对归一化梯度向量进行PCA降维,在保留特征不变性的同时,有效地降低了特征矢量的维数,从而提高了局部特征的匹配速度. 但PCA-SIFT中对本征向量空间的求解非常耗时,极大地限制了PCA-SIFT的灵活性与应用范围. 本文提出采用2DPCA对梯度向量块进行降维的特征描述方法. 该方法相比于PCA-SIFT,可以快速地求解本征空间. 实验结果表明:2DPCA-SIFT在多种图像变换匹配和图像检索实验中可以实现与PCA-SIFT相当的性能,并且从计算效率上看,2DPCA-SIFT具有更好的扩展性.     

自相似特征彩色图像检索算法

针对传统的分形图像检索方法不能很好的体现图像的颜色自相似特征,且具有计算量大、速度慢的缺点,提出了适合彩色图像的自相似特征编码方法,将编码空间由灰度空间扩展到了彩色空间,充分体现了图像的颜色自相似特征.为了达到更好的检索效果,提出了对图像的自相似特征编码进行奇异值分解来构造特征向量的方法,并定义了相似度度量公式来支持图像检索.实验结果表明,本文提出的算法具有较好的可行性和有效性.     

基于局部保持映射的图像隐密检测算法

提出了一种新的基于局部保持映射（Locality Preserving Projections,LPP）降维的图像隐密检测方案。为降低图像特征向量的维数,同时保持其内在低维结构,方便构造更有效的分类器,在经过小波变换形成图像特征后,利用LPP算法得到图像特征集的低维流形,实现对图像高维特征的降维。进而使用支持向量机（SVM）算法将降维后的特征映射到分类特征空间,实现对正常图像和隐密图像分类。实验结果表明,与不采用降维算法的检测方案相比,提出的方案能够显著地提高检测的准确率。     

保局投影在图像隐密检测中的应用

为解决图像隐密检测中图像特征维数过高导致的"维数灾难"问题,在保持图像特征内在低维结构的基础上降低特征向量的维数,方便构造更有效的分类器,提出了一种基于保局投影(locality preserving projections,LPP)降维的图像隐密检测算法,对待测图像进行小波变换形成图像特征后,利用LPP算法实现对图像高维特征的降维,得到图像特征集的低维流形.使用支持向量机(SVM)算法将降维后的特征映射到分类特征空间,实现对正常图像和隐密图像分类.实验结果表明,与不使用降维算法的检测方案相比,基于LPP降维的检测算法能够显著地提高检测的准确率.     

基于深度特征字典学习和Largevis的遥感图像检索

提出了一种基于深度特征字典学习和Largevis的遥感图像检索方法。该方法以Inception v4为骨干网络,提取了第一个Reduction Block输出的特征图,并对其进行重组。然后利用K均值聚类算法对重组后的特征进行训练,构造深度特征字典。基于深度特征字典,对卷积特征图进行量化,得到紧凑的特征表示向量,将其与全连接层特征相结合,形成图像特征表示向量。为了避免“维度灾难”的问题,采用Largevis降维方法对图像特征表示向量进行降维。采用L2距离度量方法对降维后的特征进行相似性比对,实现了遥感图像的检索。在RS19、UCM和RSSCN7数据集上的实验结果表明,与现有的方法相比,该方法能获得更好的检索性能。     

基于特征匹配的快速降维排序搜索方法

在大数据时代背景下,越来越多的用户或者企业将大量的数据上传至云端存储以便减轻本地存储的压力和获得高效的数据共享服务管理,由此可搜索加密技术应运而生,检索效率与保证数据安全一直是研究的热点。因此,本文提出一种基于特征匹配的快速降维排序搜索方法(DRFM)。通过提出的特征得分算法,创建每一篇文档的索引特征向量;通过提出的匹配得分算法,创建查询关键词的查询匹配向量。使用K-L变换算法对所有文档索引特征向量以及查询匹配向量进行降维,提高算法效率。理论分析与实验结果表明所提的方案高效且可行。     

基于SVM的图像低层特征与高层语义的关联*

在基于内容的图像检索中,针对图像的低层可视特征与高层语义特征之间的鸿沟,提出了一种基于支持向量机(SVM)的语义关联方法。通过对图像低层特征的分析,提取了颜色和形状特征向量(221维),将它们作为支持向量机的输入向量,对图像类进行学习,建立图像低层特征与高层语义的关联,并应用于鸟类、花卉、海洋以及建筑物等几个典型的语义类别检索。实验结果表明,该方法可适应于不同用户的图像检索,并提高了检索性能。     

图像相似性改进算法

针对图像相似性度量问题,提出一种图像相似性改进算法。首先,分别得到源图像和候选图像的三个向量,包括HSV颜色空间H分量的颜色直方图向量、尺度不变特征转换（SIFT）算法局部特征向量以及图像颜色矩向量;然后,采用向量拼接的方法融合上述三个向量,借助主成分分析对融合后的向量降维,生成新的特征向量;最后,计算源图像和候选图像特征向量之间的欧氏距离,进行特征点匹配和图像相似度计算。实验结果表明,所提算法不仅提高了颜色直方图算法对于颜色分布接近图像的识别精度,而且减少了SIFT算法对于平坦区域较多图像的误判,平均查准率较颜色直方图算法和SIFT算法分别提高了23.8和9.6个百分点。所提算法能够有效提高识别图像相似性的准确度,判别结果更符合人眼观察结果。     

图像相似性改进算法

针对图像相似性度量问题,提出一种图像相似性改进算法。首先,分别得到源图像和候选图像的三个向量,包括HSV颜色空间H分量的颜色直方图向量、尺度不变特征转换（SIFT）算法局部特征向量以及图像颜色矩向量;然后,采用向量拼接的方法融合上述三个向量,借助主成分分析对融合后的向量降维,生成新的特征向量;最后,计算源图像和候选图像特征向量之间的欧氏距离,进行特征点匹配和图像相似度计算。实验结果表明,所提算法不仅提高了颜色直方图算法对于颜色分布接近图像的识别精度,而且减少了SIFT算法对于平坦区域较多图像的误判,平均查准率较颜色直方图算法和SIFT算法分别提高了23.8和9.6个百分点。所提算法能够有效提高识别图像相似性的准确度,判别结果更符合人眼观察结果。     

基于形状特征及纹理特征的中药材检索方法

为有效提取中药材图像的特征,提高中药材图像分类准确率并提升检索性能,对中药材图像的梯度方向直方图形状特征和局部二元模式纹理特征进行研究,对2种特征进行维数改进,提出一种基于形状特征和纹理特征的中药材检索方法。使用改进的图像梯度方向直方图和分块局部二元模式进行形状及纹理的特征提取;对提取得到的特征向量进行线性组合;采用一对一方式构造多分类器,使用支持向量机进行分类检索。实验结果表明,组合降维特征提取算法能在中药材图像数据集中取得较好的识别效果。     

唇读技术在角色动画交互中的研究与应用

在角色动画制作过程中,为了实现表演者与角色模型的实时交互,使角色动画的表情、口型与声音一致,创作出真实自然的角色动画,提出了一种基于唇读技术的交互式角色面部动画制作方法的设计方案,以降低面部动画的难度,提高角色动画的制作质量与效率。     

Performance‐driven animation of hand‐drawn cartoon faces

We present a novel performance‐driven approach to animating cartoon faces starting from pure 2D drawings. A 3D approximate facial model automatically built from front and side view master frames of character drawings is introduced to enable the animated cartoon faces to be viewed from angles different from that in the input video. The expressive mappings are built by artificial neural network (ANN) trained from the examples of the real face in the video and the cartoon facial drawings in the facial expression graph for a specific character. The learned mapping model makes the resultant facial animation to properly get the desired expressiveness, instead of a mere reproduction of the facial actions in the input video sequence. Furthermore, the lit sphere, capturing the lighting in the painting artwork of faces, is utilized to color the cartoon faces in terms of the 3D approximate facial model, reinforcing the hand‐drawn appearance of the resulting facial animation. We made a series of comparative experiments to test the effectiveness of our method by recreating the facial expression in the commercial animation. The comparison results clearly demonstrate the superiority of our method not only in generating high quality cartoon‐style facial expressions, but also in speeding up the animation production of cartoon faces. Copyright © 2011 John Wiley & Sons, Ltd.     

利用OpenGL生成人脸视点无关纹理图

在基于计算机的人脸动画领域中,人脸视点无关纹理图对增强人脸的真实感和加快绘制速度起着关键的作用.本文阐述了从多张照片合成人脸纹理图的关键问题和解决方案,介绍了一个用OpenGL快速生成视点无关纹理图的方法,并将其应用到一个MPEG-4兼容的人脸动画系统,满足了实时调整的要求.     

Piavca: a framework for heterogeneous interactions with virtual characters

This paper presents a virtual character animation system for real- time multimodal interaction in an immersive virtual reality setting. Human to human interaction is highly multimodal, involving features such as verbal language, tone of voice, facial expression, gestures and gaze. This multimodality means that, in order to simulate social interaction, our characters must be able to handle many different types of interaction and many different types of animation, simultaneously. Our system is based on a model of animation that represents different types of animations as instantiations of an abstract function representation. This makes it easy to combine different types of animation. It also encourages the creation of behavior out of basic building blocks, making it easy to create and configure new behaviors for novel situations. The model has been implemented in Piavca, an open source character animation system.     

具有真实感的三维人脸动画

具有真实感的三维人脸模型的构造和动画是计算机图形学领域中一个重要的研究课题.如何在三维人脸模型上实时地模拟人脸的运动,产生具有真实感的人脸表情和动作,是其中的一个难点.提出一种实时的三维人脸动画方法,该方法将人脸模型划分成若干个运动相对独立的功能区,然后使用提出的基于加权狄里克利自由变形DFFD(Dirichlet free-form deformation)和刚体运动模拟的混合技术模拟功能区的运动.同时,通过交叉的运动控制点模拟功能区之间运动的相互影响.在该方法中,人脸模型的运动通过移动控制点来驱动.为了简化人脸模型的驱动,提出了基于MPEG-4中脸部动画参数FAP(facial animation parameters)流和基于肌肉模型的两种高层驱动方法.这两种方法不但具有较高的真实感,而且具有良好的计算性能,能实时模拟真实人脸的表情和动作.     

视频驱动人脸动画合成

描述了一种实时的视频驱动的人脸动画合成系统.通过该系统,用户只要在摄像头前面表演各种脸部动作,就可以控制虚拟人脸的表情.首先,建立一个基于肌肉的三维人脸模型,并使用肌肉激励参数控制人脸形变.为提高人脸动画的真实感,将口轮匝肌分解为外圈和内圈两部分,同时建立脸部形变与下颌转动的关系.然后,使用一种实时的特征点跟踪算法跟踪视频中人脸的特征点.最后,将视频跟踪结果转换为肌肉激励参数以驱动人脸动画.实验结果表明,该系统能实时运行,合成的动画也具有较强真实感.与大部分现有的视频驱动的人脸动画方法相比,该系统不需要使用脸部标志和三维扫描设备,极大地方便了用户使用.     

视频驱动人脸动画合成(英文)

In this paper, we present a system for real-time performance-driven facial animation. With the system, the user can control the facial expression of a digital character by acting out the desired facial action in front of an ordinary camera. First,we create a muscle-based 3D face model. The muscle actuation parameters are used to animate the face model. To increase the reality of facial animation, the orbicularis oris in our face model is divided into the inner part and outer part. We also establish the relationship between jaw rotation and facial surface deformation. Second, a real-time facial tracking method is employed to track the facial features of a performer in the video. Finally, the tracked facial feature points are used to estimate muscle actuation parameters to drive the face model. Experimental results show that our system runs in real time and outputs realistic facial animations.Compared with most existing performance-based facial animation systems, ours does not require facial markers, intrusive lighting,or special scanning equipment, thus it is inexpensive and easy to use.     

改进Wav2Lip的文本音频驱动人脸动画生成

为了提高中文唇音同步人脸动画视频的真实性, 本文提出一种基于改进Wav2Lip模型的文本音频驱动人脸动画生成技术. 首先, 构建了一个中文唇音同步数据集, 使用该数据集来预训练唇部判别器, 使其判别中文唇音同步人脸动画更加准确. 然后, 在Wav2Lip模型中, 引入文本特征, 提升唇音时间同步性从而提高人脸动画视频的真实性. 本文模型综合提取到的文本信息、音频信息和说话人面部信息, 在预训练的唇部判别器和视频质量判别器的监督下, 生成高真实感的唇音同步人脸动画视频. 与ATVGnet模型和Wav2Lip模型的对比实验表明, 本文模型生成的唇音同步人脸动画视频提升了唇形和音频之间的同步性, 提高了人脸动画视频整体的真实感. 本文成果为当前人脸动画生成需求提供一种解决方案.     

Facial animation retargeting and control based on a human appearance space

Expressive facial animations are essential to enhance the realism and the credibility of virtual characters. Parameter‐based animation methods offer a precise control over facial configurations while performance‐based animation benefits from the naturalness of captured human motion. In this paper, we propose an animation system that gathers the advantages of both approaches. By analyzing a database of facial motion, we create the human appearance space. The appearance space provides a coherent and continuous parameterization of human facial movements, while encapsulating the coherence of real facial deformations. We present a method to optimally construct an analogous appearance face for a synthetic character. The link between both appearance spaces makes it possible to retarget facial animation on a synthetic face from a video source. Moreover, the topological characteristics of the appearance space allow us to detect the principal variation patterns of a face and automatically reorganize them on a low‐dimensional control space. The control space acts as an interactive user‐interface to manipulate the facial expressions of any synthetic face. This interface makes it simple and intuitive to generate still facial configurations for keyframe animation, as well as complete temporal sequences of facial movements. The resulting animations combine the flexibility of a parameter‐based system and the realism of real human motion. Copyright © 2010 John Wiley & Sons, Ltd.     

基于Maya的人物动画研究

为了对二维图像实现人物动画,对人物图像进行轮廓提取、贴图,给模型添加骨骼并进行骨骼绑定,最后进行人物动画模拟。实验结果表明,基于Maya的人物动画能够以较高真实度生成人物动画。