一种基于融合的单幅图像超分辨率重建

图像超分辨率重建是由一幅或者多幅低分辨率图像序列重建与之对应的高分辨率图像。高分辨率图像具有更高像素密度,可以提供更多的图像细节,这些细节往往在一些具体应用场景中起到关键性作用。针对单幅低分辨率重建超分辨率应用问题,提出了一种基于图像融合的方法,该方法选取两种或者两种以上利用生成对抗网络算法进行超分辨率图像的重建算法,然后对它们各自重建的图像进行图像融合。图像融合使用将两幅或多幅图像综合成一幅新的图像。融合能利用两幅(或多幅)图像在时空上的相关性及信息上的互补性,可以使得融合后得到的图像对场景有更全面、清晰的描述,从而更有利于人眼的识别。借鉴了集成学习的思想,该文使用BasicSR、SRGAN和ESRGAN这三种超分辨率重建算法生成的超分辨率图像进行两两交叉融合进行仿真实验。实验结果表明,这种利用不同生成对抗网络重建的超分辨率图像进行融合简单有效,融合后的超分辨率图像质量在两个指标上PSNR和SSIM上总体优于融合前的图像质量。     

基于shape from silhouette方法的虚拟人体构造

逼真的人体三维模型（虚拟人体）在产品设计，计算机动画，虚拟现实等领域都有着广泛的需求，为此，提出了一种基于shape from silhouette的人体三维模型构造方法，该方法所需要的器材只是一个普通的数码相机，通过从不同角度对人体进行拍摄，然后经过摄像机定标，体积生成，表面重建，纹理映射后就可重建出逼真的人体三维模型。实验结果表明，此方法精度较高，整个过程简单快捷，是一种非常实用的方法。     

基于SMPL可变模型和单幅图像的动画三维重建方法

提出一种基于人体皮肤多线性(Skinned Multiple Person Linear, SMPL)模型的3D动画重建方法。将SMPL模型与一副图像进行拟合,对SMPL轮廓进行扭曲,以匹配原始图像中目标人物轮廓;向投影SMPL法线贴图和蒙皮贴图应用该扭曲,获得可用于构建人物的正面视图和背面视图;将视图与拟合的3D骨架相结合,以重建目标人物轮廓。此外,针对自遮挡问题,提出一个解决方案。对包括艺术作品、海报、涂鸦等正面图进行测试,通过提出的用户接口改变3D人物姿态,通过编辑和调整,从单幅人物图像重建的3D动画接近现实动画。所提方法在细节处理方面较好,手部、头发等纹理细节部分得到了较好的保留和再现,优于一些同类方法。     

基于深度学习的单幅图像超分辨率重建综述

单幅图像超分辨率SISR重建指从单幅低分辨率图像恢复出高分辨率图像.深度学习方法越来越多地用于图像超分辨重建领域,由于深度网络模型可以自主学习低分辨率图像到高分辨率图像之间的映射关系,与传统方法相比在该领域展现出了更好的重建效果,因而基于深度学习的方法已经成为目前图像超分辨率重建领域的主流方向.围绕现有的超分辨深度网络...     

真实感三维模型的纹理融合

提出一种消除物体表面纹理接缝,重建高精度真实感三维模型的纹理融合方法.首先将不同视场的深度图像匹配到同一坐标系下,经过深度图像融合获得物体完整的几何模型;然后确定深度图像和纹理图像的映射关系,并定义复合权重进行纹理融合来获取整个纹理映射图,并进行模型的纹理映射.该方法可消除物体表面重叠区域由于光照变化、几何模型的非完全漫反射以及拍摄视场的改变等外界因素引起的色彩差异,重构真实感三维模型;且对物体的几何形状、拍摄视场没有限制,能够自由拍摄,并实现高精度三维纹理模型.实验结果表明,文中方法是有效和鲁棒的.     

关节动画人体动画基于物理模型的动画技术

在三维计算机动画中，把人体作为其中的角色一直是研究者感兴趣的目标，因而关节动画越来越成为人们致力解决的研究课题。在这一方面引人注目的早期工作从动画电影《TonydePeltrie》和《RendezvousaMontreal》可见一斑，而近期在这一方面的工作更是令人惊叹不已，如电影《终结者Ⅱ》、《保罗纪公园》。虽然计算机动画在广告、娱乐、教育、科学计算可视化和仿真等领域占据越来越重要的角色，人体和动物动画的许多问题仍未很好解决。人体具有200个以上的自由度和非常复杂的运动，人的形状不规则，人的肌肉随着人体的运动而变形，人的个性、…     

基于深度学习的单幅图像三维人脸重建研究综述

在计算机视觉领域中,三维人脸重建是一个具有研究价值的方向,高质量地重建出三维人脸在人脸识别、防伪、游戏娱乐、影视动画和美容医疗等领域具有重要的意义.近二十年来,虽然基于单幅图像的三维人脸重建领域已经取得很大的进展,但使用传统算法进行重建的结果仍会受到人脸表情、遮挡、环境光的影响,并且会出现重建效果精度不佳和鲁棒性不足等...     

基于形变模型的真实感三维人脸动画研究

论文提出了一种新的基于三维人脸形变模型,并兼容于MPEG-4的三维人脸动画模型。采用基于均匀网格重采样的方法建立原型三维人脸之间的对齐,应用MPEG-4中定义的三维人脸动画规则,驱动三维模型自动生成真实感人脸动画。给定一幅人脸图像,三维人脸动画模型可自动重建其真实感的三维人脸,并根据FAP参数驱动模型自动生成人脸动画。     

基于视频的人体动画

现有的基于运动捕获的动画普遍存在投资大，人体的运动受到捕获设备限制等缺陷。提出了新的基于视频的人体动画技术，首先从视频中捕获人体运动，然后将编辑处理后的运动重定向到动画角色，产生满足动画师要求的动画片段。对其中的运动捕获、运动编辑和运动重定向等关键技术进行了深入研究，并基于这些关键技术开发了一个基于双像机的视频动画系统（VBHA），系统运行结果表明了从来源广、成本低的视频中捕获运动，并经过运动编辑和运动重定向后生成逼真动画的可行性。     

基于单幅图像学习的生成对抗网络模型

将卷积神经网络引入生成对抗网络可提高所生成图像的质量,但网络的感受野较小且难以学习各个特征通道之间的重要关系.在SinGAN网络的基础上,提出一种能从单幅图像中学习的生成对抗网络模型.在SinGAN网络的生成器和鉴别器中引入Inception V2模块以增加网络宽度扩大感受野,采用多个卷积核提取图像特征并进行特征融合,...     

基于人体图像生成的姿态无关人物识别

人物识别技术能够使机器人具备对用户身份识别的能力,从而有效提高机器人的智能交互水平。人物识别面临的主要挑战之一是姿态的变化对人物身份特征提取的影响。针对该问题,提出基于人体图像生成的姿态无关人物识别方法,通过生成与库中目标人物相同姿态的人体图像,消除姿态变化对人物外观特征造成的影响。该方法首先利用人体分割图将人体区域与背景分离,尽量降低复杂多变的背景对人物外观特征的干扰;然后在目标姿态的引导下生成与目标图像姿态一致的人物图像;最后设计了一个特征融合模块将源图像和生成图像的身份特征进行融合,提取姿态无关的鲁棒身份特征用于人物识别。此外,为更好地区分不同的人物,在训练中生成相同姿态的负样本,对约束模型学习更为细粒的可鉴别性身份特征。人物识别和人体图像生成的实验结果验证了该方法的有效性。     

基于生成对抗网络的图像动漫化

动漫风格的图像具有高度的简化和抽象等特征,为了解决将现实世界图像转化成动漫风格图像这一问题,提出一种基于生成对抗网络的图像动漫化方法。本文的生成网络是类U-Net的全卷积结构,对输入图像先下采样,并加上浅层的特征用双线性插值的方法进行上采样,判别网络则采用Patch GAN加谱归一化的结构,分别计算语义内容损失和风格损失以提高网络的稳定性。本文采用surface表征损失、structure表征损失和texture表征损失代替风格损失,使得生成动漫图像的效果更可控。写实图像选用train2014,人脸图像采用CelebA-HQ数据集。使用本文模型在这些数据集上进行实验,实验结果表明,本文模型能够有效地完成图像动漫化的过程,并生成较高质量的动漫化图像。     

基于Kinect的人体三维重建方法

通过Kinect体感仪,实现人体三维重建.使用Kinect体感仪,扫描获取人体三维数据,利用深度数据转换算法实现二维顶点的三维化,再通过红外相机姿态跟踪算法进行顶点集配准,求解出相机每次的相对位移与转动角度,实现相机姿态跟踪,并将每次拍摄到的点集转换到同一全局坐标系下,使用晶格化显示集成算法将点云集成到提前划分好精度及尺寸的体素晶格中,最后利用投影映射算法获得可视化的人体三维立体模型.使用Kinect体感仪及三脚架等辅助设备方便快捷地获取人体三维重建结果,并通过3D打印技术对模型进行输出.该研究实现了人体三维重建中人体扫描、处理、重建、输出全流程.     

基于人体部件的视频行为识别方法研究

现有人体行为识别算法主要依赖于粗粒度的视频特征,但这些特征不足以有效描述人体行为的动作构成,从而降低了深度学习模型对易混淆行为的识别能力.该研究提出了一种基于人体部件的视频行为识别方法,通过学习人体细粒度部件的动作表示,自底向上地学习人体行为视频表征.该方法主要包含:(1)部件特征增强模块,用于增强基于图像的人体部件特...     

基于单目视频运动跟踪的三维人体动画

针对传统人体动画制作成本高、人体运动受捕获设备限制等缺陷,提出了一种基于单目视频运动跟踪的三维人体动画方法。首先给出了系统实现框架,然后采用比例正交投影模型及人体骨架模型来恢复关节的三维坐标,关节的旋转欧拉角由逆运动学计算得到,最后采用H-anim标准对人体建模,由关节欧拉角驱动虚拟人产生三维人体动画。实验结果表明,该系统能够对人体运动进行准确的跟踪和三维重建,可应用于人体动画制作领域。     

基于动作单元分析的人体动画合成方法研究

从运动捕获数据中提取出反映人体运动规律的基本动作单元,合成新的人体动画已成为研究热点.但已有动作单元提取方法忽略了运动序列的时序性和不同关节之间的运动相关性.针对该问题,提出了一种新的基本动作单元提取方法,首先,采用PCA方法对高维人体运动数据进行降维分析,并采用马氏距离平方度量姿态间的相似性;其次,结合动态时间归整方法和误差平方和准则对时序运动序列进行自动切分和标注;最后,建立不同动作单元之间的概率转移模型构建运动图,并根据约束条件合成新的逼真人体动画.     

一种人体运动骨骼提取和动画自动生成方法

现有的动画生成方法存在手工操作繁琐、模型姿态受局限等问题.提出了一种新的人体模型动画自动生成方法,首先自动提取和识别位于人体四肢和头顶末端的5个特征点,以特征点为起点,计算模型等测地线的中心线.在中心线上根据人体测量学知识,确定关节点的近似位置,然后根据人体骨骼刚性运动特征和运动数据文件提供的骨骼信息,进行关节点精确定位,再通过热力学扩散方程计算顶点权重最后将提取的骨骼采用局部坐标架对齐的方法实现与运动数据匹配,并以运动数据驱动皮肤产生人体动画实验结果表明,与现有算法相比,具有与模型姿态无关、全自动、产生动画效果好等特点.     

基于可见光单图像三维结构恢复方法综述

基于可见光单图像的三维重构方法一直是计算机视觉领域的研究热点,该文从光照物体的材质和结构差异,以及成像过程中信息损失等因素着手,对基于光照模型、基于几何图元以及基于深度学习策略的三维重建方法进行了分类和概述,并分析讨论各类方法的优缺点以及未来的研究方向。     

基于深度图像序列的虚拟人蒙皮动画算法

虚拟人的蒙皮动画是虚拟人建模领域中的一个重要问题,在影视制作、动画设计、虚拟现实等应用中有着重大的价值。对于虚拟人蒙皮动画的研究,核心问题是蒙皮参数的计算,而蒙皮计算的准确与否决定了动画效果的逼真与否。常用的方法是根据骨骼与皮肤的距离进行直接计算,但是该方法对于姿态具有很大的依赖性,且没有定量的衡量标准,准确度难以保证。本文提出一种基于深度图像序列进行蒙皮参数优化计算的方法,该方法根据不同姿态下深度图像序列,设计关于蒙皮参数和姿态参数的优化函数,将不同姿态下的变形结果进行综合考虑,通过交替优化蒙皮参数和姿态参数,直到目标函数收敛,输出蒙皮参数。实验结果表明,与其他方法相比,本文方法在视觉上有更好的动画效果,在误差对比上,本文方法误差更小。