基于时空全局优化的视频修复

提出一种基于样本的视频修复算法,将视频修复问题看作是嵌入到时空视频体中的一个三维图的离散的全局优化问题,可有效地修复视频中较大破损的区域.首先建立待修复视频的马尔科夫随机场(MRF),然后设置新的目标函数,将修复问题转化为马尔科夫随机场的多标号问题,使待修复区域与其周围区域在颜色的相似性和运动的相似性保持一致性.进而提出了灵巧置信传播求解算法,有效求解此目标函数,大大降低了标准置信传播算法的时空复杂度.还提出了与视觉相关的像素权值的概念,使得算法能更好地按照视觉合理性计算时空块的相似度.对复杂动态场修复结果实验表明,较现有算法,文中算法能更好地修复出显著结构和运动信息.     

虚拟乒乓球手的强化学习训练方法

沉浸感是虚拟现实应用的重要特征之一,而虚拟场景中角色行为的智能性与真实性对虚拟现实应用的沉浸感有着显著影响.利用强化学习方法对球拍的击球策略进行训练,根据乒乓球游戏规则设计了一系列奖励函数,使之能根据来球起点位置与初始速度生成球拍的有效击球轨迹;进而以球拍轨迹约束虚拟球员的持拍手腕关节,采取逆向运动学与强化学习相结合的方法估计出球拍击球时虚拟球手的击球动作,得到能用合理姿态进行成功击球的虚拟球手.消融分析实验验证了所提出的奖励函数的合理性与有效性;测试实验则表明,所设计的虚拟球手能以合理的击球动作击球,成功率达到93%以上,与基于模仿学习的方法相仿,且高于其他方法;但基于模仿学习的方法需要物理采集训练数据,而训练强化学习网络所需的数据只需随机生成,所需代价更低.     

三维人体模型姿态与形状重构

为了解决单张照片人体重构出现的姿态翻转问题,提高重构模型的准确度,提出相邻帧姿态约束和人体轮廓线匹配的姿态与形状序列同时重构算法.对视频中的每一帧,首先估计出图像中人物的二维关节点、人物脸部特征点及其边缘轮廓线;然后将参数化模型SMPL所表达的三维人体投影到二维平面上,使得投影后的二维信息与对应的视频帧二维信息相匹配;最后通过调整SMPL的姿态与形状参数来最小化匹配能量函数,从而重构出与视频帧中人物具有相似姿态与形状的三维人体模型.此外,为了使重构结果显得更真实,也对图像帧中人体的头部姿态进行了检测和匹配.该算法在MPI-INF-3DHP数据集、Youku视频和自拍视频帧上均进行了实验,实验结果表明,与SMPLify算法等相比,该算法能有效地避免重构结果中出现姿态翻转的现象,且能在保证模型整体姿态相似性的前提下重构出准确的头部姿态和相似的模型形状.     

误差可控的细分曲面图像矢量化EI北大核心CSCD

为了提高矢量化图像的重构质量,提出一种基于细分曲面的误差可控矢量化算法.首先提取图像特征,构建特征约束的初始网格,并利用二次误差度量方法简化初始网格,得到特征保持的基网格;然后利用带尖锐特征的Loop细分曲面拟合图像颜色,得到控制网格;最后计算重构图像的误差,对控制网格进行自适应细分,直至重构误差达到用户需求.实验结果表明,该算法能够大幅度提高初始重构结果的质量,并在一定程度上做到误差可控.     

二维碰撞感知的单张图像参数化人体与服装重构

已有的基于图像的人体与服装重构大都不考虑身体与衣物之间的交互,导致独立重构结果互相穿刺.本文提出一个二维碰撞感知的从单张图像重构人体与服装的优化方法,利用SMPL和TailorNet参数化模型来分别表示人体和衣服的三维形状,进而建立约束能量求解人体形状参数,运动参数和服装细节控制参数.我们的方法在初始化阶段对输入图像进行了语义分割以及二维关节点的估计,并采用human mesh recovery初步估计人体的形状与运动参数作为能量优化的初始值.我们的能量优化由两部分构成:其一是形状与姿态约束,利用图像中人体的关节位置和着装人体区域对三维参数化模型的投影的关节位置和投影区域进行约束,保证重建模型与图像在形状与姿态上的一致性;其二是人体与衣服的碰撞约束,引入重构人体与服装模型的二维投影区域间的误差对人体与衣服进行碰撞约束,以避免相互穿刺,考虑到基于投影的约束对视点敏感,我们在三维空间中进行视点采样,从而建立多视角的二维投影约束.考虑到能量中包含了TailorNet,不容易计算梯度,我们利用爬山法交替地对人体形状,姿态和服装尺寸参数进行优化求取最优解.最后,通过一系列实验对本文方法和最近的一...     

基于新视角合成的视频摘要交互式浏览

现有视频摘要方法大多仅在固定视角下对视频内容进行压缩,限制了视频内容的浏览空间,导致压缩后的视频内容相互碰撞和遮挡.最近的方法改变视频内容的时空关系,但导致摘要结果与原始视频的相似度降低.本文研究基于新视角合成技术的交互式摘要视频浏览算法,通过为视频内容构建新的观察视角,增加视频浏览空间,从本质上减少视频内容碰撞和遮挡的可能性.为完全避免碰撞现象,提出了特定视角下投影遮挡消除技术,仅需较小地改变视频内容的时空关系,保证摘要视频与原始视频内容的一致性.最后,为方便用户交互式浏览摘要视频,构建了观察视角自动生成算法,根据当前摘要内容实时推荐并调整到最优观察视角.实验结果和用户调查表明本文提出的交互式视频摘要算法能有效压缩视频冗余信息,提高了摘要视频准确度、易理解程度.     

结合图像细节特征的全局优化纹理合成

提出了一种结合图像细节特征的全局优化纹理合成算法.作者利用非线性分解方法获取纹理细节作为特征图,将其作为纹理图像一个新的信息通道来引导纹理合成.联合图像细节信息通道和颜色通道,在图像上建立了一个全局的纹理合成能量方程,采用最大期望值算法迭代优化求解出一个全局的能量最小值.在全局优化算法中,构建样本纹理和待合成纹理之间的各个信息通道直方图匹配算法,进一步提高纹理合成的质量.文中同时给出了结合细节特征的图像和视频纹理合成算法,实验结果表明,文中的方法较好地解决了纹理合成中合成的纹理图像结构不连续或特征结构容易断裂等问题.     

基于联合双边滤波的纹理合成上采样算法

提出了一个新的纹理合成的上行采样算法,即利用现有的高分辨率的样本纹理作为先验引导条件,对合成的低分辨率的纹理进行插值,获取更好的高分辨率纹理合成结果.该算法的主要思想是基于联合双边滤波器进行纹理合成上采样,对低分辨率合成纹理应用空间滤波,而将一相似的边界滤波联合地应用在高分辨率的样本纹理上.该算法克服了传统的以光滑性为先验引导条件的上采样方法会导致图像特征模糊的缺点,使获得的上采样纹理图像保持纹理特征,同时视觉上光滑.文中给出了图像和视频纹理合成结果的上行采样算法.实验结果表明,文中的方法减小了优化纹理合成过程所需的时间和空间,获取了更好的图像和视频合成纹理上采样效果.     

AC-HAPE3D：基于强化学习的异形填充算法

在 3D 打印、快递物流等领域,需要将形状各异的零件或货物在限定的空间中摆放,称为异形填 充。给出一种摆放方案,以便将尽可能多的多面体放入给定容器;或者一批物体紧密地摆放,使得占用体积最小, 则称为异形填充问题。这是个 NP 问题,很难高效求解。基于此,研究在一个可变维度的三维容器内摆放给定的 一组多面体,使得打包后容器的可变维度最小。并提出一个基于强化学习的算法 AC-HAPE3D,利用启发式算法 HAPE3D 将问题建模为马尔可夫过程,再利用基于策略的强化学习方法 Actor-Critic 进行学习。同时用体素来表 示容器和多面体,从而简化状态信息的表达,并用神经网络表示价值函数和策略函;为了解决状态信息长度以及 动作空间可变的问题,采取遮罩的方法来屏蔽部分输入和输出,并且引入 LSTM 来处理变长的状态信息。在 5 个 不同的数据集进行的实验表明算法能够取得较好的结果。     

高精度连续人脸轮廓提取

提取连续且高精度的人脸轮廓线是很多图像应用重要的基础步骤.然而很多现有的轮廓提取方法并不能很好地应用在人脸轮廓上.为此提出一种快速可靠的人脸轮廓提取方法,能够在关键点提供初始化后提取到高精度连续人脸轮廓线.其主要步骤是先拟合关键点形成一条初始化曲线,沿其密集采样重叠的矩形区域,将整个人脸轮廓区域划分成很多小的区域;然后在每个局部的矩形区域提取出一条抛物线引导基于梯度的局部人脸轮廓线;最后从很多局部人脸轮廓线中,通过全局融合找到最终的人脸轮廓线.这种交叉验证的机制保证了最后结果的正确性.最后在LFPW和HELEN人脸数据集上进行了实验,结果表明文中方法能有效地提高人脸轮廓提取的精度.