基于3维模型的数字浮雕生成技术

目的 浮雕是雕塑艺术的一种,根据其空间结构和用途的不同分为高浮雕、浅浮雕和凹浮雕3类。随着数字化技术和3D打印技术的发展,数字化浮雕的生成技术已经成为近年来计算机图形学领域的研究热点之一,从3维模型生成浮雕以其真实自然的效果成为浮雕生成的主要方法之一。为了使即将进入该领域的学者尽快了解该方法的现状和发展趋势,本文对3种类型的浮雕生成技术进行了系统的综述。方法 介绍了3种类型的浮雕生成技术,着重比较分析了基于3维网格模型的数字浅浮雕生成过程中的关键技术,存在问题及解决方案。针对复杂3维网格模型在生成数字凹浮雕过程中存在的部分细节信息丢失、特征线类型体现形式不完善、线条与形体间的过渡尚未解决、生成浮雕效果不自然等具体问题,提出了适用于3维复杂网格模型生成数字凹浮雕的研究方案。同时,从角色动画序列出发,对最优浮雕的生成技术进行了探讨,探讨结合信息熵理论计算选择最佳动作及观察视角的场景,还原艺术家的创作过程,为适用于面向3维打印的用户浮雕产品定制服务提供了可行的解决方案。结果 基于3维模型的浮雕生成方法是生成数字浮雕的一种重要方法,如何通过压缩和细节保持相关算法得到效果自然的浮雕模型一直是研究者们研究的热点问题。结论 虽然由3维模型生成数字浮雕是一种行之有效的方法,但是仍存在细节信息丢失、线条过渡不自然、特征线类型不完善等几个值得继续研究的问题,另外一个值得研究的问题就是如何智能地从3维动画序列生成浮雕。     

二次联合稀疏表示和低秩近似的浅浮雕优化

目的 针对低质量浅浮雕表面的噪声现象,提出一种二次联合局部自适应稀疏表示和非局部低秩矩阵近似的浅浮雕优化算法。方法 本文方法分两个阶段。第1阶段,将浅浮雕灰度图划分成大小相同的数据块,提取边界块并进行去噪,分别对数据块进行稀疏表示和低秩近似处理。一方面,通过字典学习获得过完备字典和稀疏编码;另一方面,利用K均值聚类算法（K-means）将事先构建的外部字典库划分成k类,从k个簇中心匹配每个数据块的相似块并组成相似矩阵,依次进行低秩近似和特征增强处理。最后通过最小二乘法求解,重建并聚合新建数据块以得到新的高度场。第2阶段与第1阶段的结构相似,主要区别在于改用重建高度场的非局部自身相似性来实现块匹配。结果 在不同图像压缩率下（70%,50%,30%）,对比本文方法与BM3D（block-matching and 3D filtering）、WNNM（weighted nuclear norm minimization）、STROLLR（sparsifying transform learning and low-rank）、TWSC（trilateral weighted sparse coding）4个平滑降噪方法的浅浮雕重建结果,发现BM3D和STROLLR方法的特征保持虽好,但平滑效果较差,WNNM方法出现模型破损现象,TWSC方法的平滑效果比BM3D和STROLLR方法更好,但特征也同时被光顺化。阴影恢复形状法（shape from shading,SFS）是一种基于图像的3D建模法,但是其重建结果比较粗糙。相比之下,本文方法生成的浅浮雕模型更加清晰直观,在浅浮雕的特征增强和平滑去噪方面都展现出更好的性能。结论 本文综合数据块的局部稀疏性和数据块之间的非局部相似性对粗糙的浅浮雕模型进行二次高度场重建。本文方法有效改善了现有浅浮雕模型的质量,提高了模型的整体视觉效果,为浅浮雕的优化提供了新方法。     

基于法向域的浅浮雕风格化设计

针对数字浅浮雕设计,通过对已有浅浮雕进行整体优化以及局部细节特征的调整来获得不同风格样式的浅浮雕,提出了一种基于法向域的浅浮雕重新风格化方法.首先使用高斯滤波提取初始浅浮雕高度图的高频信息和低频信息,分别表示浅浮雕的细节特征和整体形状;然后通过双边曲面拟合将高频和低频高度图转化为法向图,获得不同频域的法向信息;再运用不同投影方式的球极映射对这2个频域的法向进行编辑;最后通过最小二乘法重建出新的高度图,获得风格迥异的浅浮雕模型.该方法通过分离浅浮雕模型上不同频率的特征信息并在法向域上分别处理,不仅自然地保留和增强了模型表面的特征细节,而且得到了各种异于原浅浮雕模型的风格效果.实验结果表明,文中方法简单有效,为浅浮雕的设计制作提供了新的思路和方法.     

结合深度图像和强度图像的人脸浅浮雕生成算法

针对单纯基于深度图像压缩方法生成的三维浮雕模型容易存在大量噪声,并且易丢失细节的问题,为了生成特征表达准确且具有艺术美感的人脸浅浮雕,提出一种基于三维深度图像和与之对应的二维强度图像的混合人脸浅浮雕的生成算法.首先对三维深度图像的高度场进行压缩生成浮雕基网格;然后提取二维强度图像的灰度信息、梯度信息和显著度信息,并基于显著度信息对基网格的高度场相应地叠加灰度和梯度信息,以保持脸部五官的细节;最后根据显著度信息使用Laplace算子对网格进行光顺处理,使脸部光滑.实验结果表明,与单纯使用基于深度图像压缩方法相比,文中算法生成的浅浮雕模型可以更好地保持五官的细节特征;与基于图像的浮雕生成方法相比,该算法避免了复杂交互操作,可以更好地保持人脸的整体轮廓和形状.     

超分辨率重建的素描人脸识别

目的 基于学习的超分辨率重建由于引入了先验知识,可以更好地描述图像的细节部分,显著地增强图像的分辨率,改善图像的视觉效果。将超分辨率重建应用在素描人脸识别中,既可以增加人脸图像的质量也可以有效地提高识别精度。方法 首先利用特征脸算法根据素描图像合成人脸灰度图像,然后对合成的人脸图像利用稀疏表示进行超分辨率重建,最后利用主成分分析对重建前后的合成人脸分别进行识别。结果 在香港中文大学的素描人脸库(CUFS)上进行实验。经过超分辨率重建之后的人脸在眼睛等部位细节描述更好。同时,由于重建过程中引入了先验知识,重建之后的素描人脸识别率有提高。支持向量机算法得到的识别率由重建前的65%提高至66%,本文利用的主成分分析算法得到的识别率由重建前的87%提高至89%。结论 基于超分辨率重建的素描人脸识别算法可以有效地改善合成人脸图像的视觉效果并且提高素描人脸识别精度。     

图像场方向导数的局部区域重建

目的 目前图像修复的研究是以人眼不能察觉为目标,注重视觉效果而不追求重建的准确性。本文提出一种能准确重建图像缺损边缘的重建算法。方法 采用稳定场作为图像局部纹理的数学物理描述,提出基于点源影响函数的图像局部区域重建模型,该模型针对每一个缺损点,计算周围各已知点对它的影响,以期较为准确地重建该点;并根据该场中的方向导数,分析各已知点与缺损点的差异性及相似性,确定一种点源影响函数的计算方法,以实现该重建模型。结果 实验结果表明所提算法与传统修复算法相比,对图像边缘及纹理细节的重建更加清晰,同时保持了较好的整体视觉效果;且重建过程无迭代计算,具有较高的效率。结论 实验结果表明,该算法在重建效率和准确重建方面均取得了较好的成果。     

基于流形调和变换的浅浮雕生成算法

针对利用3D网格生成浅浮雕不能使用精确的网格表示、浮雕细节保持特性依赖于规则采样高度域上分辨率的问题,提出一种基于3D网格频域分析的浅浮雕算法.从信号处理的角度出发,首先利用网格的几何微分性质和拓扑结构通过离散调和变换将网格的深度信号变换到频域;其次提出一种基于几何频率能量的频域划分策略,将频率分割为低频、高频和噪声,再对低频进行线性压缩,利用各项同性的扩散函数对高频进行自适应非线性压缩并过滤噪声,得到信号在频域上一组新的变换系数;最后利用调和逆变换将处理后的频域映射到信号的空域重建浮雕模型.实验结果表明,该算法可通过控制频谱的分割和扩散函数的参数实现浮雕模型细节的增强.     

一种提高3D模型浅浮雕建模质量的方法

顶点数较少的3D模型本身细节不够丰富,浅浮雕建模生成的浮雕效果较差.针对低分辨率3D模型本身细节不够丰富的问题,引入深度学习的方法对3D模型生成的法向图做超分辨率放大,设计出一种基于法向图的超分辨率卷积神经网络,丰富低分辨率法向图的细节,网络的输入是低分辨率3D模型的法向图,输出是高分辨率法向图.实验结果表明:该算法可以有效提升低分辨率法向图的细节,显著提升低分辨率3D模型的浅浮雕建模质量.     

融合结构与非结构信息的自然图像恰可察觉失真阈值估计

目的 研究表明,图像的恰可察觉失真（JND）阈值主要与视觉系统的亮度适应性、对比度掩模、模块掩模以及图像结构等因素有关。为了更好地研究图像结构对JND阈值的影响,提出一种基于稀疏表示的结构信息和非结构信息分离模型,并应用于自然图像的JND阈值估计,使JND阈值模型与人眼视觉系统具有更好的一致性。方法 首先通过K-均值奇异值分解算法（K-SVD）得到过完备视觉字典。然后利用该过完备字典对输入的自然图像进行稀疏表示和重建,得到该图像对应的结构层和非结构层。针对结构层和非结构层,进一步设计基于亮度适应性与对比度掩模的结构层JND估计模型和基于亮度对比度与信息不确定度的非结构层JND估计模型。最后利用一个能够刻画掩模效应的非线性可加模型对以上两个分量的JND估计模型进行融合。结果 本文提出的JND估计模型利用稀疏表示将自然图像的结构/非结构信息进行分离,然后采用符合各自分量特点的JND模型进行计算,与视觉感知机理高度一致。实验结果表明,本文JND模型能够有效地预测自然图像的JND阈值,受污染图的峰值信噪比（PSNR）值比其他3个JND对比模型值高出35 dB。结论 与现有模型相比,该模型与人眼主观视觉感知具有更好的一致性,更能有效地预测自然图像的JND阈值。     

基于三维场景和图像边缘特征的浅浮雕建模

针对数字浅浮雕设计,通过对已有的浅浮雕建模方法进行分析,提出一种结合深度场边缘特征自动生成浅浮雕的方法。从三维场景中获取深度图,再将深度图分割成块,利用局部图像结构的优点,用随机结构化森林来学习精确且计算有效的边缘检测器,得到的边缘图再进行处理得到平滑且细节增强的浅浮雕轮廓;视边缘连续图为概率场,提出根据概率场对深度场的梯度域进行自适应的非线性压缩;通过求解泊松方程来恢复浅浮雕的高度场。实验结果表明,该方法对于大部分三维场景能在合理时间内自动生成效果良好的浅浮雕模型。     

讲基于曲率特征的三维模型浮雕压缩算法

基于三维拓扑和几何信息的数字化浮雕生成,是浮雕设计领域的一个全新发展方向。根据浮雕艺术形式的特点,实现了一种基于三维测量数据的浮雕曲面生成算法。该算法将浮雕的生成抽象为三维模型在某个投影方向上深度场的压缩过程,以模型曲面的几何信息作为压缩对象,生成的浮雕曲面在深度方向上的立体感可由用户自由控制。实验表明该方法在保持模型拓扑结构一致性的基础上,包含了丰富的几何细节特征。算法可以利用现有的各种实体造型,生成灵活多样的浮雕艺术品,具有广泛的应用前景。     

Real-time bas-relief generation from a 3D mesh

Most of the existing approaches to bas-relief generation operate in image space, which is quite time-consuming in practice. This paper presents a different bas-relief generation algorithm based on geometric compression and starting from a 3D mesh input. The feature details are first extracted from the original objects using a spatial bilateral filtering technique. Then, a view-dependent coordinate mapping method is applied to build the height domain for the current view. After fitting the compression datum plane, the algorithm uses an adaptive compression function to scale and combine the Z values of the base mesh and the fine details. This approach offers control over the level of detail, making it flexible for the adjustment of the appearance of details. For a typical input mesh with 100 k triangles, this algorithm computes a bas-relief in 0.214 s.     

细节保持的曲面浅浮雕算法

为保持曲面浮雕的细节特征,改善浮雕与背景曲面的过渡效果,提出一种细节保持的曲面浮雕算法.首先采用Canny算子在梯度域定位内外轮廓,获得连续的梯度域;其次提出非线性函数,并用其压缩梯度幅值实现形状压缩;再通过双边滤波算子来保持和增强浮雕细节;最终通过求解积分方程重建曲面浮雕.该算法将背景曲面作为积分方程的优化条件,使浮雕在轮廓处向曲面光滑过渡;在重建过程中利用Fourier变换的微分性质在频域实现方程的精确求解,无需设置迭代收敛条件;通过调整参数可方便地控制浮雕整体变化范围、细节锐化程度以及浮雕与背景曲面的过渡效果.实验结果表明,文中算法参数的几何意义直观,所得曲面浮雕细节清晰,边界过渡自然.     

Relief extraction and editing

Bas-reliefs are widely used in the world around us, for example, on coinage, for branding products, and for sculptural decoration. Reverse engineering of reliefs–extracting existing reliefs from input surfaces–makes it possible to apply them to new items; relief editing tools allow modification of reverse-engineered reliefs. This paper presents a novel approach to relief extraction based on differential coordinates, which offers advantages of speed and precise extraction. It also gives the first method in the literature specifically designed for relief editing. The base surface is estimated using normal smoothing and Poisson reconstruction, allowing a relief (which may lie on a smooth or textured input surface) to be automatically extracted by height thresholding. We also provide a range of relief editing tools, also using differential coordinates, permitting both global transformations (translation, rotation, and scaling) of the whole relief, as well as local modifications to the relief. Our relief editing algorithm, unlike generic mesh editing algorithms, is specifically designed to preserve the geometric detail of the relief over the base surface. The effectiveness of our methods is demonstrated on various examples of real industrial interest.     

Bas-Relief Generation Using Adaptive Histogram Equalization

An algorithm is presented to automatically generate bas-reliefs based on adaptive histogram equalization (AHE), starting from an input height field. A mesh model may alternatively be provided, in which case a height field is first created via orthogonal or perspective projection. The height field is regularly gridded and treated as an image, enabling a modified AHE method to be used to generate a bas-relief with a user-chosen height range. We modify the original image-contrast-enhancement AHE method to use gradient weights also to enhance the shape features of the bas-relief. To effectively compress the height field, we limit the height-dependent scaling factors used to compute relative height variations in the output from height variations in the input; this prevents any height differences from having too great effect. Results of AHE over different neighborhood sizes are averaged to preserve information at different scales in the resulting bas-relief. Compared to previous approaches, the proposed algorithm is simple and yet largely preserves original shape features. Experiments show that our results are, in general, comparable to and in some cases better than the best previously published methods.     

多级特征引导网络的红外与可见光图像融合

目的 以卷积神经网络为基础的深度学习技术在图像融合方面表现出优越的性能。在各类图像融合领域,红外与可见光的图像融合应用十分广泛,这两种图像各自的特性十分鲜明,二者信息交互融合得到的融合图像具有显著的价值和意义。为了提高红外与可见光图像的融合质量,本文提出了一种多级特征引导网络的融合框架。方法 本文框架中编码器用于提取源图像的特征,并将多级特征引导至解码器中对融合结果进行重建。为了有效地训练网络,设计了一种混合损失函数。其中,加权保真项约束融合结果与源图像的像素相似度,而结构张量损失鼓励融合图像从源图像中提取更多的结构特征,为了有效进行多尺度信息交互,不同于普通的编解码结构,本文方法在编码器每一层的每一部分均进行特征引导,在编码部分采用池化对尺寸进行缩小,解码采用上采样将尺寸放大,实现多尺度融合与重建,有效弥补了训练过程中卷积层数的堆叠导致的信息的丢失,在编码部分适时地对特征进行引导,及时地与解码层进行融合,在网络结构构建完成后,提出一种损失融合算法,从红外图像和可见光图像各自特点出发,分别设计基于视觉显著性权值估计的2范数损失和基于结构张量的F范数损失。结果 为了说明融合方法的可行性,...     

An algorithm for the rapid generation of bas-reliefs based on point clouds

This paper proposes an algorithm for the rapid generation of bas-reliefs based on point clouds, which involves two steps: generation of a coarse model and establishment of fine mesh surfaces of the model. In the first step, a modified Z-Buffer algorithm is adopted to designate the visibility of every point before control points in a gridded distribution are arranged on the base plane of a relief. Afterwards, under the constraints of depth and normal information, the optimal compression ratio of the control points is obtained through use of a linear solution. For the compression ratio, bilinear interpolation is performed to generate an original model of the relief. In the establishment of the fine mesh surfaces, an index for measuring surface changes is proposed to adjust the height of the relief once again so as to highlight its detailed features. The aforementioned algorithm is verified by experimental work.