结合伪标签生成与噪声标签学习的弱监督点云分割

针对当前基于深度学习的点云分割技术对点级别标注训练数据的依赖问题,提出一种基于伪标签生成与噪声标签学习的弱监督点云分割框架.首先,利用点云具有非局部相似性的特点,基于局部-非局部图对点云数据进行建模;其次,基于关系图卷积网络,以半监督的方式为稀疏标注的点云训练集数据生成高质量的伪标签;最后,针对生成的伪标签中存在噪声标签的问题,设计一种利用含噪声标签数据准确训练现有点云分割网络的渐进式噪声鲁棒损失函数.在ShapeNet Part与S3DIS等公开点云分割数据集上的实验结果表明,该框架在推理阶段不增加模型额外运算量的情况下,当使用10%的标签时,在ShapeNet Part数据集上的分割精度与全监督方法相差0.1%;当使用1%的标签时,在S3DIS数据集上的分割精度与全监督方法相差5.2%.     

基于多级时空域3D卷积的换脸视频检测方法

近年来,视频换脸技术发展迅速。该技术可被用于伪造视频来影响政治行动和获得不当利益,从而给社会带来严重危害,目前已经引起了各国政府和舆论的广泛关注。本文通过分析现有的主流视频换脸生成技术和检测技术,指出当前主流的生成方法在时域和空域中均具有伪造痕迹和生成损失。而当前基于神经网络检测合成人脸视频的算法大部分方法只考虑了空域的单幅图像特征,并且在实际检测中有明显的过拟合问题。针对目前检测方法的不足,本文提出一种高效的基于时空域结合的检测算法。该方法同时对视频换脸生成结果在空域与时域中的伪造痕迹进行捕捉,其中,针对单帧的空域特征设计了全卷积网络模块,该模块采用3D卷积结构,能够精确地提取视频帧阵列中每帧的伪造痕迹;针对帧阵列的时域特征设计了卷积长短时记忆网络模块,该模块能够检测伪造视频帧之间的时序伪造痕迹;最后,根据特征分类设计特征网络金字塔网络结构,该结构能够融合不同尺寸的时空域特征,通过多尺度融合来提高分类效果,并减少过拟合现象。与现有方法相比,该方法在训练中的收敛效果和分类效果方面有明显优势。除此之外,我们在保证检测准确率的前提下采用较少的参数,相比现有结构而言训练效率更高。     

点模型的曲面局部重建Splat

为了适应高度精细模型的渲染的需要，基于点的渲染技术被提出并开始得到广泛应用。对于模型远离视点的情况，基于点的渲染技术取得了很好的效果，但是当模型靠近视点时．传统的基于点的渲染技术通过加大点在屏幕上的投影来填补点投影之间的“空洞”，由此降低了渲染的质量。提出了一种基于曲面点集重建的渲染技术，能够对输入点集作局部分析，提取曲面的参数，并通过重采样的方法，获得新的、密集的采样点，生成近景的高质量渲染结果。     

表面网格控制的快速毛发建模

针对现有角色毛发建模复杂耗时的问题,提出一种基于多边形表面网格的快速毛发建模方法.首先构建粗糙的表面网格来大致表示毛发的整体形态,随后计算控制毛发走向的参数,并基于此自动生成形状网格对应的空间毛发轨迹线来修正毛发走向,使结果在拟合用户指定的毛发形态的同时兼容现有的风格化方法.实验结果表明,该方法使用类似表面网格建模的方法即可完成高质量毛发的建模,在得到较好结果的同时大大降低了建模的难度与工作量,并增强对结果的可控性.另外,文中方法也可方便地与基于物理的运动模拟方法结合生成毛发动画.     

DGOA：基于动态图和偏移注意力的点云上采样

由三维扫描设备直接得到的点云经常是稀疏、不均匀、有噪声的,因而点云上采样在点云重建、渲染等领域扮演了越来越关键的角色。为此提出了一种新的基于动态图和偏移注意力的点云上采样网络DGOA,主要包含局部特征提取(LFE)、全局特征提取(GFE)和坐标重建(CR) 3个模块。LFE采用多层结构提取邻域信息,每层基于特征相似性构建动态图,可以在特征空间自适应的将点云分组,增大感受野,获得长距离的语义信息,更好的建模点云的局部几何形状。GFE采用基于拉普拉斯算子的偏移注意力使每个点都能获得点云的全局信息,使生成点云的细节与原始点云一致,减少噪声的影响。CR借鉴FoldingNet操作,避免生成点的聚集。此外,整个网络与输入点云中点的顺序无关,具有置换不变性。在多个数据集的定量与定性实验结果表明,该方法优于其他方法,并且具有良好的泛化性和稳定性。     

基于二维点云图的三维人体建模方法

近年来基于二维图像的三维建模方法取得了快速发展,但就人体建模而言,由于摄像头采集到的二维人体图像包含衣物、发丝等大量的纹理信息,而像虚拟试衣等相关应用需要将人体表面的衣物褶皱等纹理信息去除,同时考虑到裸体数据采集侵犯了用户的隐私,因此提出一种基于二维点云图像到三维人体模型的新型建模方法。与摄像机等辅助设备进行二维图片数据集的采集不同,该算法的输入是由三维人体点云模型以顶点模式绘制的二维点云渲染图。主要工作是建立一个由二维点云图和相应的人体黑白二值图构成的数据集,并训练一个由前者生成后者的生成对抗网络模型。该模型将二维点云图转化为相应的黑白二值图。将该二值图输入一个训练好的卷积神经网络,用于评估二维图像到三维人体模型构建的效果。考虑到由不完整三维点云数据重建完整的三维人体网格模型是一个具有挑战性的问题,因此通过模拟二维点云的破损和残缺状态,使得算法能够处理不完整的二维点云图。大量的实验结果表明,该方法重建出的三维人体模型能够有效实现视觉上的真实感,为了对重建后的精度进行定量的分析,选取了人体特征中具有代表性的腰围特征作为误差评估;为了增加三维人体模型库中人体形态的多样性,还引入一种便捷的三维人体模型数据增强技术。实验结果表明,该算法只需要输入一张二维点云图像,就能快速创建出相应的数字化人体模型。     

基于帧间一致性的自监督室内逆渲染

针对目前逆渲染监督学习方法难以获得标签、泛化能力差的问题,提出了一种基于IFC（inter-frame coherence）的自监督训练方法。由于逆渲染问题的不适定性,引入额外的反照率一致性损失和交叉渲染损失强化自监督网络,其主要思想是对连续光照变化的图像序列执行IFC约束。即通过图像帧之间的位姿图和深度图,在相邻帧之间执行图像投影和扭曲;通过这种方法在相邻帧之间建立约束,并使用孪生训练来确保对光度不变量的一致估计。该方法使用完全卷积神经网络从室内视频序列中恢复几何形状、反射率和光照。自监督网络使用没有标签的连续帧图像集合进行训练,通过结合可微分渲染器,使网络以自监督的方式进行学习。通过与其他主流方法的比较,定量和定性实验结果表明提出方法在多个基准上表现更优。     

基于OpenGL驱动的三维场景重构

基于OpenGL环境,提出利用场景渲染结果即帧缓存数据(主要包括颜色缓存及深度缓存)进行局部三维场景重构的方法.根据投影变换原理和深度缓存特点研究了逆投影变换,得到了三维点元的重构方法.在此基础上,利用帧缓存数据重构每像素对应的三维点元,从而构成相机坐标系下的三维点云模型,即原始三维场景在当前相机视角下的离散采样,被定义为虚拟视模型.根据透视投影和帧缓存的特点,分析了虚拟视模型的点位精度,实验表明虚拟视模型具有较高的相对精度.提出的场景重构方法具有天然的多分辨特性,支持场景简化与流式传输以及独立于场景的具体表示形式,可采用拦截方式从一般三维软件中实时重构虚拟视模型,从而提供了一种获取三维数据的新方法.     

融合TDA的深度自编码网络车辆目标检测

针对在雪天环境下交通监控检测实时性差和准确率低的问题，提出了融合TDA的深度自编码网络车辆目标检测方法.该方法首先将监控视频帧的图像转化为点云数据；进而通过分割后提取车辆目标的点云数据并利用拓扑数据分析对车辆目标的点云数据进行处理；最后利用量化后的拓扑数据分析得到的车辆目标数据的单纯复形表示作为输入样本，对深度自编码网络进行训练，以栈式自编码结构的最后两层隐藏层作为输出构建车辆目标的特征模型，通过全连接层输入Softmax分类层做分类，使网络可以更加快速精确地对雪天环境下的目标和背景进行分类.实验结果表明，该方法能有效在雪天复杂环境下检测车辆目标并在精度以及速度上均有所提高.     

动态卷积生成对抗网络的视频帧预测方法研究

针对当前视频帧预测模型中存在的预测准确度较差和物体结构信息丢失等问题,提出了一种动态卷积生成对抗网络.在生成网络中,首先使用卷积长短时记忆网络初步提取输入视频流的图像特征,然后利用卷积神经动态平流单元对视频流中的运动特征进行提取,最后将上述两种特征组合后输出一组预测视频帧;在判别网络中,采用一个3D卷积网络一次性接收全...     

最小能量约束与ARDP算法混合的病灶点云重建

针对传统面绘制方法随真实感的提升效率急剧下降,且交互性及灵敏度较差的问题,基于CT点云数据提出了一种肝脏病灶的表面重建方法。首先改进了点云数据的插值和自适应精简方法;然后提出将模型重构过程分为两部分,先通过最小能量约束和简化的MC算法由点云距离场快速创建粗糙的基底模型,接着提出一种线性最优化的ARDP算法用于自动计算点元投影向量,从而将当前模型表面节点直接映射至点云,通过交互式地确定迭代次数可按需逐步提高模型精确度,最终获取高质量模型,实现散乱点到平滑面的直接过渡。实验结果表明,利用该算法生成平均误差小于0.000 1的高精模型将大大缩短时间,且对不规则病灶模型有着良好的适应性。     

一种基于平面运动视差不变性的立体视频整帧丢失重建技术

针对立体视频单个视点中的整帧丢失问题,提出基于平面运动视差不变性的差错隐藏方案。该方案主要包括两个部分:1)利用两个视点的运动一致性,根据视差定位目标位置,把正确接收视点的当前帧与前一帧的帧差投影到丢失帧所在视点,作为当前帧与前一帧的帧差,再由帧差及前一帧的像素值重建丢失的帧;2)根据空洞特征自适应地选择基于邻域的方法或基于运动向量的方法进行空洞填补。实验结果表明,所提算法能够高质量地重建丢失的帧,其重建质量优于现有算法。     

基于信息熵和几何轮廓相似度的多变量决策树

现有的多变量决策树在分类准确性与树结构复杂性两方面优于单变量决策树,但其训练时间却高于单变量决策树,使得现有的多变量决策树不适用于快速响应的分类任务.针对现有多变量决策树训练时间高的问题,提出了基于信息熵和几何轮廓相似度的多变量决策树(IEMDT).该算法利用几何轮廓相似度函数的一对一映射特性,将n维空间样本点投影到一维空间的数轴上,进而形成有序的投影点集合,然后通过类别边界和信息增益计算最优分割点集将有序投影点集合划分为多个子集,接着分别对每个子集继续投影分割,最终生成决策树.在8个数据集上的实验结果表明：IEMDT具有较低的训练时间,并且具有较高的分类准确性.     

基于因果发现的神经网络集成方法

现有的神经网络集成方法主要通过扰动训练数据来产生精确且差异度较大的个体网络,从而获得较强的泛化能力.利用因果发现技术,在取样结果中找出类别属性的祖先属性,然后使用仅包含这些属性的数据生成个体网络,从而有效地将扰动训练数据与扰动输入属性结合起来,以产生精确度高且差异度大的个体.实验结果表明,该方法的泛化能力与当前一些流行的集成方法相当或更好.     

融合缺失点云形状信息的保结构修复网络EI北大核心CSCD

传统点云模型修复中由于未考虑输入的缺失点云形状固有特征,难以有效地保持原始形状结构特征信息.为此,提出一种融合缺失点云形状信息的保结构修复网络.该网络采用编码器-解码器结构,借助多层感知器和最大池化层以获得输入点云形状的特征码字.其中,编码器以缺失的点云数据作为输入;解码器则对编码得到的点云特征码字使用4个2D网格进行折叠操作以拟合点云形状得到粗修复结果,再将输入点云数据与粗修复结果进行拼接融合,并对融合后的点云数据经过迭代最远点采样得到最终的点云形状修复结果.实验结果表明,与已有网络修复结果相比,该网络在ModelNet40数据集上的平均误差低11%~53%,在ShapeNet数据集上的平均误差低15%~28%,而对具有精细结构的物体修复结果的平均误差低59%~70%.该网络在修复点云形状缺失部分的同时,能够有效地保持输入形状的结构特征信息,对不同程度的数据缺失具有鲁棒性;与已有网络相比,该网络点云修复结果的误差较小、点云分布较均匀.     

基于特征融合的三维人脸点云质量判断

针对使用双目结构光扫描仪获取的三维人脸点云,提出了一种特征融合网络(FFN)来完成人脸点云质量判断任务.首先,对三维点云预处理切割出人脸面部区域,使用点云和对应的二维平面投影得到的图像作为输入;其次,分别训练用于点云学习的动态图卷积神经网络(DGCNN)和ShuffleNet两个模块;然后,提取出两个网络模块的中间层特...     

基于移动最小二乘曲面的点云拼接算法

针对现有点云拼接方法受被测零件复杂外形和测量噪声影响的问题,提出基于移动最小二乘( Moving Least-Squares,MLS)曲面的点云拼接算法.该算法利用一种极值投影方法来有效计算点到MLS曲面的对应点,并结合迭代最近点(Iterative Closest Point,ICP)算法将各个视角的点云统一到该ML...     

基于先验知识的单视图三维点云重建算法研究

单幅图像的三维重建是一个不适定问题,由于图像与三维模型间存在的表示模式差异,通常存在物体自遮挡、低光照、多类对象等情况,针对目前单幅图像三维模型重建中重建模型具有歧义性的问题,提出了一种基于先验信息指导的多几何角度约束的三维点云模型重建方法。首先,通过预训练三维点云自编码器获得先验知识,并最小化输入图像特征向量与点云特征向量的差异,使得输入图像特征分布逼近点云特征分布;然后,利用可微投影模块将图像的三维点云表示形式从不同视角投影到二维平面;最后,通过最小化投影图与数据集中真实投影图的差异,优化初始重建点云。在ShapeNet和Pix3D数据集上与其他方法的定量定性比较结果表明了该方法的有效性。     

基于时空生成对抗网络的视频修复

针对现有视频修复中存在的修复结果语义信息不连续问题,提出基于时空生成对抗网络的修复方法,其包含2种网络模型:单帧修复模型和序列修复模型.单帧修复模型采用单帧堆叠式生成器和空间判别器,实现对起始帧的高质量空间域缺损修复.在此基础上,序列修复模型针对后续帧的缺损问题,采用序列堆叠式生成器和时空判别器,实现时空一致的视频修复.在UCF-101和FaceForensics数据集上的实验结果表明,该方法能够大幅提升修复视频的时空连贯性,与基准方法相比,在峰值信噪比、结构相似性、图像块感知相似性和稳定性误差等性能指标上均表现更优.     

基于生成式对抗网络及自注意力机制的无监督单目深度估计和视觉里程计

提出了一种基于生成式对抗网络(GAN)和自注意力机制(self-attention mechanism)的单目视觉里程计方法,命名为SAGANVO(SAGAN visual odometry).该方法将生成式对抗网络学习框架应用于深度估计和视觉里程计任务中,通过GAN生成逼真的目标帧来准确求解出场景的深度图和6自由度位姿.与此同时,为了提高深度网络对场景细节、边缘轮廓的学习能力,将自注意力机制结合到网络模型中.最后,在公开数据集KITTI上展现了所提出的模型和方法的高质量结果,并与现有方法进行了对比,证明了SAGANVO在深度估计和位姿估计中的性能优于现有的主流方法.