基于机器学习的三维场景高度真实感绘制方法综述

目前,电影、动漫、游戏等产业对真实感绘制的需求越来越高,而三维场景高度真实感绘制通常需要耗费大量的计算时间和存储空间来计算全局光照,如何在保证绘制质量的前提下提升绘制速度依然是图形学领域面临的核心和热点问题之一.数据驱动的机器学习方法开辟了一种新的研究思路,近年来研究者将多种高度真实感绘制方法映射为机器学习问题,从而大大降低了计算成本.总结分析了近年来基于机器学习的高度真实感绘制方法的研究进展,具体包括:基于机器学习的全局光照优化计算方法、基于深度学习的物理材质建模方法、基于深度学习的参与性介质优化绘制方法、基于机器学习的蒙特卡洛降噪方法等.详细论述了各种绘制方法与机器学习方法的映射思路,归纳总结了网络模型以及训练数据集的构建方式,并在绘制质量、绘制时间、网络能力等多个方面开展了对比分析.最后,本文提出了机器学习和真实感绘制相结合的可能思路和未来展望.     

辐射度场景中双向纹理函数表面的绘制

双向纹理函数(BTF)表面一般采用点采样数据来定义表面的光照属性,因而这类表面很难运用基于面片分割的辐射度方法进行绘制,提出一种将辐射度算法扩展到包括BTF表面场景的有效方法.对表面的BTF样本区域首先进行像素聚类,再在各个像素类内对视线采样方向做进一步自适应的聚类,在各个视线类内像素分别拟合一个低频光照甬数,并求它们在各个视线类内光照细节的高频光照函数.低频光照函数作为该表面区域的平均反射属性参与辐射度计算,生成场景的整体光照效果;然后利用计算的辐射度值和高频光照函数重建该表面区域的BTF材质细节.文中方法不仅取得了较高的压缩效率,而且在BTF材质表面产生了辉映等全局光照效果.最后利用硬件实现了视点快速改变时的场景绘制.     

基于梯度图的微结构表面全局光照实时绘制

针对带有微结构表面的几何模型全局光照计算复杂、难以达到实时性要求的问题,提出一种基于高度梯度图分析的全局光照实时绘制方法.首先,定义微结构高度梯度图,并据此构建可见点的局部最高点集合.其次,给出面向微结构表面对象实时绘制的全局光照计算模型,将光照计算近似分解为环境光入射、光源直接光照和一次交互漫反射这3种分量的计算.在环境光计算过程中,提出一种自适应环境光遮挡计算,借助局部最高点集合计算遮挡角.在直接光照中,给出一种微结构阴影的修正方法,搜索入射光方向的最近局部最高点剖面;通过比较剖面内光线投影与局部最高点的遮挡角,近似确定由微结构造成的阴影区域.最后,根据可见点的局部最高点集合确定一次交互漫反射的采样范围,进行渗色处理.整个全局光照计算方法在图像空间完成,较好地利用了延迟着色的思想和GPU并行计算的特点.算法可以在使用低精度几何模型时表现出带有微结构表面的高精度模型的全局光照效果,且适用于动态场景和可变形物体的全局光照计算.     

利用球谐方法分散计算场景的全局光照

作为一种特殊的光照模型,辐射度在图形学中有着重要的应用.然而,由于其计算的复杂性,辐射度方法一直得不到广泛的应用,特别是在动态场景中.提出一种基于辐射度算法的全局光照实时加速算法,在原有基于点采样进行场景的全局光照近似的基础上,提出了不同的点采样计算方法,以提高辐射度方法对动画场景的适应性.算法对场景中的物体建立六面体包围盒,并在包围盒各顶点设置采样点,这样就可以在环境变化对其光照影响不大的情况下采用原有的计算结果,实现辐射度算法在动态场景中的计算加速.同时,对场景中的每个物体的光照,利用立方体映射计算直接光照;而对物体间的能量交换采用点采样方法进行近似计算并利用附近采样点的光照插值作为物体的光照.实验结果表明,该算法可以减少大量的间接光照计算,提高了辐射度算法的效率.     

包含反射、折射和焦散效果的全局光照快速绘制方法

基于分治的思想,提出一种能够交互绘制直接光照、间接光照、反射、折射、焦散等多种效果的全局光照近似计算方法.该方法采用粗粒度的体结构来模拟低频间接光照,利用细粒度的图像对场景进行采样,计算反射、折射和焦散效果;将粗粒度的体采样和细粒度的图像方法相结合,提出了包含多次递归反射、折射的延缓收集缓冲区构建方法、基于体素的双向光照收集方法以及多分辨率自适应光照收集方法.与光子映射方法相比,文中方法更快,针对完全动态的场景绘制速度在10～30帧/s之间;与其他加速单一效果的方法相比,该方法不但可以快速准确地计算间接光照,而且包含了多种镜面效果,绘制效果逼真,显著增强了真实感.     

基于光辐射预计算的场景实时绘制算法

光辐射传输预计算对于提高场景绘制效果很关键。对光辐射传输预计算进行了研究,提出了一种基于SH的光辐射传输预计算的算法,在低频环境光照条件下实时生成漫反射物体。将光源分布函数和光辐射传输函数分别用SH进行分解,则出射光强为两者生成的系数向量点积。绘制的场景中包含了阴影,相互反射等全局光照效果。实验结果表明算法逼近程度好,绘制质量高,具有一定的实用价值。     

超球流形约束下的3DMM分步全局优化

通过综合运用人脸空间的超球流形约束、基于梯度的启发式全局优化、光照的球面谐波描述以及凸包可见点集的直接消隐方法,提出一种三维可形变模型的图像匹配方法.首先通过形状超球流形约束下的全局优化算法求解摄像机参数和形状参数,然后使用以上参数和凸包点集的直接消隐方法确定物像点对应关系,最后根据物像点对应关系由反射率超球流形约束下的全局优化算法求解光照参数和反射率参数.定量的对比实验结果表明,该方法无需借助分区域拟合、人为估计参数值、层次匹配策略或复杂的特征组合,即可由单幅图像恢复三维可形变模型(3DMM)的全部参数.     

基于非局部几何信号的点模型去噪算法

与传统的基于局部几何信号去噪方法不同,提出了一种基于非局部几何信号的点模型去噪算法.该算法通过双边滤波算子,计算出每个点的微分坐标信息作为“几何灰度值”;基于模型上每个点的邻域的微分信息进行相似性匹配计算,对点模型上的“几何灰度值”进行全局加权平均,获得该点最终的微分信号;最后重建出该点的几何信息.进一步,提出了基于混合树的加速方法,对具有相似特征的邻域进行聚类,减少了匹配的空间复杂度,提高了计算效率.实验结果表明,算法简单高效,获得了满意的去噪效果.     

基于高效置信传播的改进马尔可夫随机场高光谱数据分类算法

针对马尔可夫随机场分类算法中类条件概率估计不准及全局能量最小化计算负担重的问题,提出一种基于高效置信传播的改进马尔可夫随机场高光谱数据分类算法.采用基于光谱信息的统计支持向量机方法提高类条件概率估计精度;通过马尔可夫随机场分类算法引入空间相关信息,实现光谱与空间信息的有效结合;设计一种高效置信传播优化算法,降低计算负担、提高算法精度.实验结果表明该算法平均分类精度达到95.78%,Kappa系数为93.34%,且计算时间约为标准置信传播算法的25%,因此是一种计算负担小、分类精度高且具有实用价值的高光谱数据地物分类方法.     

体绘制中视点和光源的协同优化

针对体绘制中只对视点或光照参数的单独优化而导致体数据中隐含的信息无法在图像空间中表现最大化的问题,提出一种视点和光源位置协同优化的方法,在传输函数不变的情况下选择最优的视点和光照参数.该方法基于信息熵设计,并南视点熵、光照熵及两者之间的互偶熵组成视点与光照统一评估框架,用来评估不同视点和光照参数条件下最终绘制图像表达的信息量.视点熵用于评估与视点相关的不透明度值分布所包含的信息量;光照熵的计算则通过考虑颜色在图像空间的分布,使用基于区域的mean shift算法进行基于颜色的图像空间划分;互偶熵用于评估光照前后绘制图像亮度变化所带来的信息量.对各种体数据的实验结果表明,采用文中方法能够有效地协同优化视点和光源位置.