基于机器学习的三维场景高度真实感绘制方法综述

目前,电影、动漫、游戏等产业对真实感绘制的需求越来越高,而三维场景高度真实感绘制通常需要耗费大量的计算时间和存储空间来计算全局光照,如何在保证绘制质量的前提下提升绘制速度依然是图形学领域面临的核心和热点问题之一.数据驱动的机器学习方法开辟了一种新的研究思路,近年来研究者将多种高度真实感绘制方法映射为机器学习问题,从而大大降低了计算成本.总结分析了近年来基于机器学习的高度真实感绘制方法的研究进展,具体包括:基于机器学习的全局光照优化计算方法、基于深度学习的物理材质建模方法、基于深度学习的参与性介质优化绘制方法、基于机器学习的蒙特卡洛降噪方法等.详细论述了各种绘制方法与机器学习方法的映射思路,归纳总结了网络模型以及训练数据集的构建方式,并在绘制质量、绘制时间、网络能力等多个方面开展了对比分析.最后,本文提出了机器学习和真实感绘制相结合的可能思路和未来展望.     

辐射度场景中双向纹理函数表面的绘制

双向纹理函数(BTF)表面一般采用点采样数据来定义表面的光照属性,因而这类表面很难运用基于面片分割的辐射度方法进行绘制,提出一种将辐射度算法扩展到包括BTF表面场景的有效方法.对表面的BTF样本区域首先进行像素聚类,再在各个像素类内对视线采样方向做进一步自适应的聚类,在各个视线类内像素分别拟合一个低频光照甬数,并求它们在各个视线类内光照细节的高频光照函数.低频光照函数作为该表面区域的平均反射属性参与辐射度计算,生成场景的整体光照效果;然后利用计算的辐射度值和高频光照函数重建该表面区域的BTF材质细节.文中方法不仅取得了较高的压缩效率,而且在BTF材质表面产生了辉映等全局光照效果.最后利用硬件实现了视点快速改变时的场景绘制.     

基于梯度图的微结构表面全局光照实时绘制

针对带有微结构表面的几何模型全局光照计算复杂、难以达到实时性要求的问题,提出一种基于高度梯度图分析的全局光照实时绘制方法.首先,定义微结构高度梯度图,并据此构建可见点的局部最高点集合.其次,给出面向微结构表面对象实时绘制的全局光照计算模型,将光照计算近似分解为环境光入射、光源直接光照和一次交互漫反射这3种分量的计算.在环境光计算过程中,提出一种自适应环境光遮挡计算,借助局部最高点集合计算遮挡角.在直接光照中,给出一种微结构阴影的修正方法,搜索入射光方向的最近局部最高点剖面;通过比较剖面内光线投影与局部最高点的遮挡角,近似确定由微结构造成的阴影区域.最后,根据可见点的局部最高点集合确定一次交互漫反射的采样范围,进行渗色处理.整个全局光照计算方法在图像空间完成,较好地利用了延迟着色的思想和GPU并行计算的特点.算法可以在使用低精度几何模型时表现出带有微结构表面的高精度模型的全局光照效果,且适用于动态场景和可变形物体的全局光照计算.     

利用球谐方法分散计算场景的全局光照

作为一种特殊的光照模型,辐射度在图形学中有着重要的应用.然而,由于其计算的复杂性,辐射度方法一直得不到广泛的应用,特别是在动态场景中.提出一种基于辐射度算法的全局光照实时加速算法,在原有基于点采样进行场景的全局光照近似的基础上,提出了不同的点采样计算方法,以提高辐射度方法对动画场景的适应性.算法对场景中的物体建立六面体包围盒,并在包围盒各顶点设置采样点,这样就可以在环境变化对其光照影响不大的情况下采用原有的计算结果,实现辐射度算法在动态场景中的计算加速.同时,对场景中的每个物体的光照,利用立方体映射计算直接光照;而对物体间的能量交换采用点采样方法进行近似计算并利用附近采样点的光照插值作为物体的光照.实验结果表明,该算法可以减少大量的间接光照计算,提高了辐射度算法的效率.     

包含反射、折射和焦散效果的全局光照快速绘制方法

基于分治的思想,提出一种能够交互绘制直接光照、间接光照、反射、折射、焦散等多种效果的全局光照近似计算方法.该方法采用粗粒度的体结构来模拟低频间接光照,利用细粒度的图像对场景进行采样,计算反射、折射和焦散效果;将粗粒度的体采样和细粒度的图像方法相结合,提出了包含多次递归反射、折射的延缓收集缓冲区构建方法、基于体素的双向光照收集方法以及多分辨率自适应光照收集方法.与光子映射方法相比,文中方法更快,针对完全动态的场景绘制速度在10～30帧/s之间;与其他加速单一效果的方法相比,该方法不但可以快速准确地计算间接光照,而且包含了多种镜面效果,绘制效果逼真,显著增强了真实感.     

基于光辐射预计算的场景实时绘制算法

光辐射传输预计算对于提高场景绘制效果很关键。对光辐射传输预计算进行了研究,提出了一种基于SH的光辐射传输预计算的算法,在低频环境光照条件下实时生成漫反射物体。将光源分布函数和光辐射传输函数分别用SH进行分解,则出射光强为两者生成的系数向量点积。绘制的场景中包含了阴影,相互反射等全局光照效果。实验结果表明算法逼近程度好,绘制质量高,具有一定的实用价值。     

超球流形约束下的3DMM分步全局优化

通过综合运用人脸空间的超球流形约束、基于梯度的启发式全局优化、光照的球面谐波描述以及凸包可见点集的直接消隐方法,提出一种三维可形变模型的图像匹配方法.首先通过形状超球流形约束下的全局优化算法求解摄像机参数和形状参数,然后使用以上参数和凸包点集的直接消隐方法确定物像点对应关系,最后根据物像点对应关系由反射率超球流形约束下的全局优化算法求解光照参数和反射率参数.定量的对比实验结果表明,该方法无需借助分区域拟合、人为估计参数值、层次匹配策略或复杂的特征组合,即可由单幅图像恢复三维可形变模型(3DMM)的全部参数.     

基于非局部几何信号的点模型去噪算法

与传统的基于局部几何信号去噪方法不同,提出了一种基于非局部几何信号的点模型去噪算法.该算法通过双边滤波算子,计算出每个点的微分坐标信息作为“几何灰度值”;基于模型上每个点的邻域的微分信息进行相似性匹配计算,对点模型上的“几何灰度值”进行全局加权平均,获得该点最终的微分信号;最后重建出该点的几何信息.进一步,提出了基于混合树的加速方法,对具有相似特征的邻域进行聚类,减少了匹配的空间复杂度,提高了计算效率.实验结果表明,算法简单高效,获得了满意的去噪效果.     

基于高效置信传播的改进马尔可夫随机场高光谱数据分类算法

针对马尔可夫随机场分类算法中类条件概率估计不准及全局能量最小化计算负担重的问题,提出一种基于高效置信传播的改进马尔可夫随机场高光谱数据分类算法.采用基于光谱信息的统计支持向量机方法提高类条件概率估计精度;通过马尔可夫随机场分类算法引入空间相关信息,实现光谱与空间信息的有效结合;设计一种高效置信传播优化算法,降低计算负担、提高算法精度.实验结果表明该算法平均分类精度达到95.78%,Kappa系数为93.34%,且计算时间约为标准置信传播算法的25%,因此是一种计算负担小、分类精度高且具有实用价值的高光谱数据地物分类方法.     

体绘制中视点和光源的协同优化

针对体绘制中只对视点或光照参数的单独优化而导致体数据中隐含的信息无法在图像空间中表现最大化的问题,提出一种视点和光源位置协同优化的方法,在传输函数不变的情况下选择最优的视点和光照参数.该方法基于信息熵设计,并南视点熵、光照熵及两者之间的互偶熵组成视点与光照统一评估框架,用来评估不同视点和光照参数条件下最终绘制图像表达的信息量.视点熵用于评估与视点相关的不透明度值分布所包含的信息量;光照熵的计算则通过考虑颜色在图像空间的分布,使用基于区域的mean shift算法进行基于颜色的图像空间划分;互偶熵用于评估光照前后绘制图像亮度变化所带来的信息量.对各种体数据的实验结果表明,采用文中方法能够有效地协同优化视点和光源位置.     

利用形状因子采样的实时全局光照绘制

为了对物体表面材质进行实时编辑,提出一种动态光照和任意视点条件下的实时全局光照算法.该算法预计算各面片的形状因子,并存储其中较大的形状因子值和相应的面片号,这些面片是光照贡献最大的面片.一次间接光照利用这些面片计算,并用亮度补偿策略增加计算精度,而二次及多次间接光照则用近似公式估算,整个光照计算过程在GPU中完成.实验结果表明,文中算法在视点改变、光照改变和材质改变情况下,对静态场景能获得逼真的实时全局光照绘制效果.     

一种基于哈尔小波的软阴影渲染算法在GPU上的实现

由于小波相比球面谐波函数能够更好地表现许多高频光照细节,哈尔小波被越来越多地被应用在许多基于PRT的全局光照渲染算法中.在PRT框架下,利用小波变换对光照、遮挡、BRDF等函数进行预处理.然后,利用所得到的预处理数据,在GPU上来实时地渲染软阴影.在渲染过程中,使用Tree-structured算法来计算渲染方程.为了能在GPU上实现该算法,对该算法中所用到数据结构的实现方式进行重新设计,并对该算法的实现过程进行调整和优化.同时,利用GPU的一些特性,在一些实现细节上也进行了相应优化.     

基于PRT的大规模场景全局光照技术

为了解决传统的基于光辐射传输预计算(PRT)的全局光照技术在大规模场景下渲染效率低下的问题,在对PRT光照算法的本质进行分析的基础上,提出了一种基于四叉树的自适应网格细分算法.根据光照方程中的可见性函数,只在需要产生阴影的地方进行网格细分,并利用四叉树来重组模型数据,避免了传统的网格均匀细分方法导致的模型复杂度大幅增加,从而会影响绘制效率的问题.通过在虚拟机场仿真系统中的实际应用,对两种算法进行了比较,表明了该算法在效果和效率上均优于原有算法.     

表驱动的细分曲面GPU绘制

为了充分利用GPU的并行计算能力高效地绘制递归定义的细分曲面,提出一种基于GPU的面分裂细分曲面的实时绘制算法.该算法通过离线预计算生成可以复用的细分查找表,它由细分矩阵组成,其大小仅与奇异点度数和最大细分深度线性相关,与输入网格无关;对于细分曲面控制网格的每个曲面片,如果包含2个或2个以上奇异点,则进行一次局部预细分;之后对于不规则曲面片,利用细分查找表由初始控制网格直接计算得到各细分层次上的控制顶点,无需逐层计算,从而最大限度地发挥GPU的并行处理能力;最后对各层次上的规则曲面片使用硬件细分着色器绘制,大大提高绘制效率.实验结果表明,文中算法可以高效地绘制细分曲面的极限曲面.     

立即辐射度综述*

立即辐射度作为一种实时全局光照方法,近年来在真实感实时绘制应用研究中得到了广泛的关注,尤其是与当前图形处理硬件GPU的配合,已使其成为适合于在PC上实现复杂场景实时绘制的一种重要方法。对立即辐射度算法进行了综述,以立即辐射度发展历程为主线,分析算法的基本思想,深入剖析了立即辐射度当前的扩展及优化;展现了立即辐射度方法的一个清晰蓝图,指出了该方法在实时全局光照领域中进一步的研究热点和发展方向。     

视点重要度驱动的自适应光子追踪

针对随机光子追踪方法绘制光照条件困难的场景的效果差、收敛慢问题,提出一种基于视点重要度的自适应光子追踪方法.首先根据场景的视点重要度构造视点重要度图,并基于视点重要度和光子路径可见性来构造新的重要性函数;然后结合自适应马尔科夫链蒙特卡洛方法和分布交换技术采样该函数,以产生新的光子路径;最后设计了一种新的采样分布选择策略,先计算执行分布交换的概率,再根据概率决定生成新路径的采样分布.实验结果表明,该方法能高效地绘制困难光照场景,绘制结果具有较高的质量.     

一种基于密度的局部离群点检测算法DLOF

离群点可分为全局离群点和局部离群点.在很多情况下,局部离群点的挖掘比全局离群点的挖掘更有意义.提出了一种基于密度的局部离群点检测算法DLOF.该方法通过引入信息熵用于确定各对象的离群属性,在计算各对象之间的距离时采用加权距离,并给离群属性较大的权重,从而提高离群点检测的准确度.另外,该算法在计算离群因子时,采用了两步优化技术,并对采用这两步优化技术后算法的时间复杂度进行了详细分析.理论分析和实验结果表明了该方法是有效可行的.     

图实现算法综述与评测分析

图实现(Graph realization)问题研究基于节点间全部或部分距离关系测量, 在$d$维空间中计算图的顶点坐标, 使得在所实现图中各节点之间实现距离与测量距离尽可能一致.图实现问题是一个典型的优化问题, 在传感器网络定位、蛋白质结构重建、数据可视化、社交网络分析、机器人同步定位与构图等领域有着广泛应用.图实现的研究同图刚性理论有着紧密的联系, 图的刚性与全局刚性决定图的可实现性.在可实现图中, 现有工作提出几类典型的代表性图实现算法, 包括: 1)基于三边测距类方法; 2)求解距离方程类方法; 3)基于全局优化类方法; 4)基于模块拼合类方法.本文对图实现的刚性理论, 四类图实现算法的设计思想、适用条件、算法流程等进行综述分析, 通过实验对算法进行准确性、计算复杂度、可靠性等方面的比较和分析.     

针对PRT的大规模场景的自适应网格细分

针对Pre-computed Radiance Transfer(PRT)全局光照算法的特点,提出了一种针对大规模场景的模型细分方法.基于PRT的全局光照算法的渲染结果和模型的精细程度密切相关,对于小规模的场景,可以使用比较精细的模型以得到很好的绘制结果,但对于大规模场景,对整个模型都使用精细的网格是十分浪费资源和不可接受的.通过加入PRT算法中计算的一些权重值,对模型中影响全局光照效果很大的地方进行精细的细分,对全局光照效果影响很小的地方进行较粗的细分或者不细分,从而实现既能提升全局光照效果,又不会过量增加模型规模的自适应网格细分.     

实体建模数值反应堆的高质量绘制

针对传统体绘制算法采用全局实体网格化和光线均匀采样策略,难以适应大规模数值反应堆数据的可视分析问题,提出一种面向实体特征的数值反应堆可视化方法.首先利用高重复性的组件特征设计按需网格化的绘制流水线,支撑网格高效重建;然后采用均质属性的实体特征,提出基于表面的非结构网格体绘制加速算法;最后耦合轮廓线等表意性绘制增强效果.实验结果表明,该方法能够可扩展地处理大规模反应堆数据,高质量地表现反应堆结构和关键介质界面.