边界光场

提出一种新的基于图像的绘制方法——边界光场．该方法基于3D全光函数的思想，并使之与场景几何相结合．该方法克服了已有的IBR漫游系统的一些缺陷，利用自适应的的全光采样模式，根据场景复杂度或用户要求组织采样数据，降低了场景数据量；由于场景几何的参与，纠正了较大的深度变形；新的采样数据组织模式去除了对漫游范围的限制．文中方法可有效地应用于虚拟或真实场景漫游系统中．     

基于环境光场和漫反射光场的动态场景绘制

利用光强的可叠加性，本文提出了将光场分解为不随场景变化的子光场的思想，使得物体、光源、观察点都可自由变动的动态场景绘制也能利用基于图象的绘制技术之优势。依靠漫反射与观察方向的无关性，本文还提出了漫反射光场的四维表示法，并且利用物体对不同点光源的漫反射之间以及环境光与漫反射光之间的内在联系，只用一个单位强度的单色点光源为物体构造漫反射光场，从而节省了存储空间和预处理时间。利用其数据结构的一致性，环境光场、漫反射光场和深度场中对应点的数据被合并成５维矢量以便更有效地压缩。本文给出的绘制算法，能准确地计算出物体的颜色和场景中阴影的变化等动态场景的典型特征，从而为在低档计算机实现动态场景的实时绘制提供了理论和技术依据。     

基于改进型遮挡查询的复杂场景漫游算法

场景漫游中存在大量复杂模型时,由于其巨大的几何与纹理数据量,渲染速度会随之显著变慢.提出一种改进的大规模场景实时漫游技术,有效地利用了GPU的硬件遮挡查询技术.与以往的方法相比,通过一种改进的可见性分类查询队列,能同时减少遮挡查询次数和渲染状态的改变;并使用一种简单有效的排序方法,解决了同类方法中出现的遮挡错误的问题.实验证明该方法能有效提高复杂场景下漫游的渲染速度.     

基于随机遮挡孔径的光场图像混叠检测方法

现有光场采集系统存在角度信息欠采样的问题,由此引起的图像混叠效应降低了光场图像质量. 本文在2D光场框架下分析了光场图像混叠的空域模型,并且提出一种变换离散孔径采样密度的混叠检测方法. 该方法通过计算随机遮挡孔径（Random masked aperture,RMA）成像点集的变异系数进行混叠检测,特点在于无需已知场景深度和纹理的先验信息. 以平面相机阵列为采集平台,本文在多组真实光场数据集上进行了方法的验证,并且在检测结果基础上对混叠效应进行了修正.     

基于光场成像的数据提取与预处理方法

光场是空间中同时包含位置和方向信息的四维光辐射场的参数化表示,光场数据的获取为计算成像提供了很多新的发展方向。光场相机能够获取空间四维光场信息,相比传统成像方式多出2个自由度,因而在图像重建过程中,能够获得更加丰富的图像信息。市面上的Lytro Illum相机相对于Lytro1.0相机的成像效果更加丰富,因此利用Lytro Illum光场相机获取四维光场信息,提取出其中的有效光场数据,反演出8bit/pixel的原始四维光场图像数据,并对基于微透镜模型的光场数据进行一系列的算法预处理,从而得到易于理解的标准四维光场矩阵和子光圈图像矩阵,为光场成像技术的数据开发和应用奠定了基础。     

重构SPPCSPC与优化下采样的小目标检测算法

针对小目标图像检测中存在相互遮挡、背景复杂和特征点少的问题，基于YOLOv7提出一种重构SPPCSPC与优化下采样的小目标检测算法。在骨干网络的SPPCSPC模块中裁剪CBS层、引入SimAM注意力机制并缩小池化核，以提高关注密集目标区域，提取更多相互遮挡的小目标特征；在颈部网络中，将下采样结构中的SConv替换为SPD Conv，再添加一个四倍下采样分支，以减少小目标特征丢失，提高复杂背景下小目标特征捕获量；把网络模型的损失函数由CIoU替换为Wise IoU，聚焦一般质量瞄框，提升收敛速度。在公开数据集VisDrone2021上做对比实验和消融实验，该算法与原始YOLOv7算法相比，mAP提升5.09个百分点，FPS值达到40，参数量减少2.5 MB，表明小目标检测精度显著提升，同时保持了推理速度并减少了参数量；在公开数据集VOC2007+2012上做泛化实验，mAP提升3.35个百分点，表明该算法具有通用性。     

改进的多目标回归实时人脸检测算法

针对物体检测实时多目标回归算法中分别优化各四个位置参数，割裂了四个位置变量之间的关系，造成对物体的边框回归不够准确且训练不易收敛的问题，提出一种带检测评价函数（Intersection over Union，IoU）作为损失函数的实时多目标回归人脸检测算法。首先基于Redmond等提出实时多目标回归模型，采用该模型检测实时性的机制，然后融合了IoU函数作为位置参数的损失函数，将实时多目标回归模型中的四个独立位置参数整合成一个单元进行优化，避免了基础模型的缺陷。算法在人脸检测基准库FDDB上进行测试，实验结果表明：在人脸检测的有效性上优于主流的传统人脸检测算法，检测速度上领先于其他经典深度学习方法。提出的算法在检测人脸的有效性和检测速度两者之间取得了一个较好的平衡，为构建实用的人脸相关应用系统提供了参考价值。     

结合径向线的局部遮挡下的3维人脸识别

目的 3维人脸点云的局部遮挡是影响3维人脸识别精度的一个重要因素。为克服局部遮挡对3维人脸识别的影响,提出一种基于径向线和局部特征的3维人脸识别方法。方法 首先为了充分利用径向线的邻域信息,提出用一组局部特征来表示径向线;其次对于点云稀疏引起的采样点不均匀,提出将部分相邻局部区域合并以减小采样不均匀的影响;然后,利用径向线的邻域信息构造代价函数,进而构造相应径向线间的相似向量。最后,利用相似向量来进行径向线匹配,从而完成3维人脸识别。结果 在FRGC v2.0数据库上进行不同局部特征识别率的测试实验,选取的局部特征Rank-1识别率达到了95.2%,高于其他局部特征的识别率;在Bosphorus数据库上进行不同算法局部遮挡下的人脸识别实验,Rank-1识别率达到了最高的92.0%;进一步在Bosphorus数据库上进行不同算法的时间复杂度对比实验,耗费时间最短,为8.17 s。该算法在准确率和耗时方面均取得了最好的效果。结论 基于径向线和局部特征的3维人脸方法能有效提取径向线周围的局部信息;局部特征的代价函数生成的相似向量有效减小了局部遮挡带来的影响。实验结果表明本文算法具有较高的精度和较短的耗时,同时对人脸的局部遮挡具有一定的鲁棒性。该算法适用于局部遮挡下的3维人脸识别,但是对于鼻尖部分被遮挡的人脸,无法进行识别。     

3D遮挡模型引导的光场图像深度获取

目的 光场相机可以通过单次曝光同时从多个视角采样单个场景,在深度估计领域具有独特优势。消除遮挡的影响是光场深度估计的难点之一。现有方法基于2D场景模型检测各视角遮挡状态,但是遮挡取决于所采样场景的3D立体模型,仅利用2D模型无法精确检测,不精确的遮挡检测结果将降低后续深度估计精度。针对这一问题,提出了3D遮挡模型引导的光场图像深度获取方法。方法 向2D模型中的不同物体之间添加前后景关系和深度差信息,得到场景的立体模型,之后在立体模型中根据光线的传输路径推断所有视角的遮挡情况并记录在遮挡图（occlusion map）中。在遮挡图引导下,在遮挡和非遮挡区域分别使用不同成本量进行深度估计。在遮挡区域,通过遮挡图屏蔽被遮挡视角,基于剩余视角的成像一致性计算深度;在非遮挡区域,根据该区域深度连续特性设计了新型离焦网格匹配成本量,相比传统成本量,该成本量能够感知更广范围的色彩纹理,以此估计更平滑的深度图。为了进一步提升深度估计的精度,根据遮挡检测和深度估计的依赖关系设计了基于最大期望（exception maximization,EM）算法的联合优化框架,在该框架下,遮挡图和深度图通过互相引导的方式相继提升彼此精度。结果 实验结果表明,本文方法在大部分实验场景中,对于单遮挡、多遮挡和低对比度遮挡在遮挡检测和深度估计方面均能达到最优结果。均方误差（mean square error,MSE）对比次优结果平均降低约19.75%。结论 针对遮挡场景的深度估计,通过理论分析和实验验证,表明3D遮挡模型相比传统2D遮挡模型在遮挡检测方面具有一定优越性,本文方法更适用于复杂遮挡场景的深度估计。     

林木场景漫游系统的研究与实现

由于林木本身结构复杂,因此在模拟中几何模型的面片数多。如何在保证一定的视觉真实感的前提下,尽量简化场景模型,实现林木场景的快速绘制,一直是计算机图形学领域的热点问题。提出了一种适合包含大面积林木的自然场景漫游系统的实现方法,即利用3维建模软件3ds max构建场景模型,然后基于虚拟开发工具Open Scene Graph（OSG）实现场景的实时绘制和漫游。充分利用软件的特点和功能,实现了包含大面积林木的自然场景的漫游,同时还根据相交测试原理实现了漫游过程中的碰撞检测。实验结果表明,此系统具有较高的绘制速度,能满足包含大面积林木的自然场景实时漫游的要求,同时能达到一定的场景真实感。     

Real-time per-pixel focusing method for light field rendering

Computational Visual Media - Light field rendering is an image-based rendering method that does not use 3D models but only images of the scene as input to render new views. Light field...     

Autostereoscopic Rendering of Multiple Light Fields

Light fields were introduced a decade ago as a new high‐dimensional graphics rendering model. However, they have not been thoroughly used because their applications are very specific and their storage requirements are too high. Recently, spatial imaging devices have been related to light fields. These devices allow several users to see three‐dimensional (3D) images without using glasses or other intrusive elements. This paper presents a light‐field model that can be rendered in an autostereoscopic spatial device. The model is viewpoint‐independent and supports continuous multiresolution, foveal rendering, and integrating multiple light fields and geometric models in the same scene. We also show that it is possible to examine interactively a scene composed of several light fields and geometric models. Visibility is taken care of by the algorithm. Our goal is to apply our models to 3D TV and spatial imaging.     

光场成像技术及其在计算机视觉中的应用

目的 光场成像技术刚刚在计算机视觉研究中展开初步应用,其相关研究比较零散,缺乏系统性。本文旨在系统介绍光场成像技术发展以及其应用在计算机视觉研究中有代表性的工作。方法 从解决计算机视觉问题的角度出发,4个层面讨论光场成像技术最近十年的研究工作,包括:1)主流的光场成像设备及其作为计算机视觉传感器的优点与不足;2)光场相机作为视觉传感器的标定、解码以及预处理方法;3)基于4维光场的图像渲染与重建技术,以及其如何促进计算机视觉研究;4)以4维光场数据为基础的特征表达方法。结果 逐层梳理出光场成像在求解视觉问题中的优势和局限,分析其中根本性的原理与掣肘,力图总结出亟待解决的关键问题以及未来的发展趋势。结论 作为一种颇具前景的新型计算机视觉传感器技术,光场成像技术的研究必将更为广泛和深入。研究应用于计算机视觉的光场成像技术将有力的引导和促进计算机视觉和光场成像技术协同发展。     

Undersampled Light Field Rendering by a Plane Sweep

Images synthesized by light field rendering exhibit aliasing artifacts when the light field is undersampled; adding new light field samples improves the image quality and reduces aliasing but new samples are expensive to acquire. Light field rays are traditionally gathered directly from the source images, but new rays can also be inferred through geometry estimation. This paper describes a light field rendering approach based on this principle that estimates geometry from the set of source images using multi‐baseline stereo reconstruction to supplement the existing light field rays to meet the minimum sampling requirement. The rendering and reconstruction steps are computed over a set of planes in the scene volume, and output images are synthesized by compositing results from these planes together. The planes are each processed independently and the number of planes can be adjusted to scale the amount of computation to achieve the desired frame rate. The reconstruction fidelity (and by extension image quality) is improved by a library of matching templates to support matches along discontinuities in the image or geometry (e.g. object profiles and concavities). Given a set of silhouette images, the visual hull can be constructed and applied to further improve reconstruction by removing outlier matches. The algorithm is efficiently implemented by a set of image filter operations on commodity graphics hardware and achieves image synthesis at interactive rates.     

Virtual stereo content rendering technology review for light-field display

Light field display (LFD) is considered as a promising technology to reconstruct the light rays’ distribution of the real 3D scene, which approximates the original light field of target displayed objects with all depth cues in human vision including binocular disparity, motion parallax, color hint and correct occlusion relationship. Currently, computer-generated content is widely used for the LFD system, therefore rich 3D content can be provided. This paper firstly introduces applications of light field technologies in display system. Additionally, virtual stereo content rendering techniques and their application scenes are thoroughly combed and pointed out its pros and cons. Moreover, according to the different characteristics of light field system, the coding and correction algorithms in virtual stereo content rendering techniques are reviewed. Through the above discussion, there are still many problems in the existing rendering techniques for LFD. New rendering algorithms should be introduced to solve the real-time light-field rendering problem for large-scale virtual scenes.     

Layered Reconstruction for Defocus and Motion Blur

Light field reconstruction algorithms can substantially decrease the noise in stochastically rendered images. Recent algorithms for defocus blur alone are both fast and accurate. However, motion blur is a considerably more complex type of camera effect, and as a consequence, current algorithms are either slow or too imprecise to use in high quality rendering. We extend previous work on real‐time light field reconstruction for defocus blur to handle the case of simultaneous defocus and motion blur. By carefully introducing a few approximations, we derive a very efficient sheared reconstruction filter, which produces high quality images even for a low number of input samples. Our algorithm is temporally robust, and is about two orders of magnitude faster than previous work, making it suitable for both real‐time rendering and as a post‐processing pass for offline rendering.     

利用条件生成对抗网络的光场图像重聚焦

目的 传统的基于子视点叠加的重聚焦算法混叠现象严重,基于光场图像重构的重聚焦方法计算量太大,性能提升困难。为此,本文借助深度神经网络设计和实现了一种基于条件生成对抗网络的新颖高效的端到端光场图像重聚焦算法。方法 首先以光场图像为输入计算视差图,并从视差图中计算出所需的弥散圆(circle of confusion,COC)图像,然后根据COC图像对光场中心子视点图像进行散焦渲染,最终生成对焦平面和景深与COC图像相对应的重聚焦图像。结果 所提算法在提出的仿真数据集和真实数据集上与相关算法进行评价比较,证明了所提算法能够生成高质量的重聚焦图像。使用峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)进行定量分析的结果显示,本文算法比传统重聚焦算法平均PSNR提升了1.82 dB,平均SSIM提升了0.02,比同样使用COC图像并借助各向异性滤波的算法平均PSNR提升了7.92 dB,平均SSIM提升了0.08。结论 本文算法能够依据图像重聚焦和景深控制要求,生成输入光场图像的视差图,进而生成对应的COC图像。所提条件生成对抗神经网络模型能够依据得到的不同COC图像对输入的中心子视点进行散焦渲染,得到与之对应的重聚焦图像,与之前的算法相比,本文算法解决了混叠问题,优化了散焦效果,并显著降低了计算成本。     

环境光照下的毛发渲染与外观编辑

提出一种复杂环境光照条件下交互级毛发绘制与外观编辑的算法,其中光源采用球面径向基函数(SRBF)表示.推导出了一个可以用来精确表达Marschner毛发散射函数(Marschner S R,Jensen H W,Cammarano M,et al.Light scattering from human hair fibers.ACM Transactions on Graphics,2003,22(3):780-791)[2]的简洁一维圆高斯表达,该表达可以高效地以解析形式计算每个SRBF光源与毛发散射函数的积分,因此支持高效的单次散射和多次散射计算.与前人工作不同,文中算法完全在运行时进行所有的计算,不需要昂贵的预计算步骤,因此可以动态地改变毛发的散射参数.分析表明,文中提出的近似表示是精确且简洁的.此外,该算法可以处理椭圆头发截面的情况.通过在GPU上实现,文中算法可以达到交互帧率.     

Adaptive Acquisition of Lumigraphs from Synthetic Scenes

Light fields and Lumigraphs are capable of rendering scenes of arbitrary geometrical or illumination complexity in real time. They are thus interesting ways of interacting with both recorded real-world and high-quality synthetic scenes.
Unfortunately, both light fields and Lumigraph rely on a dense sampling of the illumination to provide a good rendering quality. This induces high costs both in terms of storage requirements and computational resources for the image acquisition. Techniques for acquiring adaptive light field and Lumigraph representations are thus mandatory for practical applications.
In this paper we present a method for the adaptive acquisition of images for Lumigraphs from synthetic scenes. Using image warping to predict the potential improvement in image quality when adding a certain view, we decide which new views of the scene should be rendered and added to the light field. This a-priori error estimator accounts for both visibility problems and illumination effects such as specular highlights.     

Free Form Incident Light Fields

This paper presents methods for photo‐realistic rendering using strongly spatially variant illumination captured from real scenes. The illumination is captured along arbitrary paths in space using a high dynamic range, HDR, video camera system with position tracking. Light samples are rearranged into 4‐D incident light fields (ILF) suitable for direct use as illumination in renderings. Analysis of the captured data allows for estimation of the shape, position and spatial and angular properties of light sources in the scene. The estimated light sources can be extracted from the large 4D data set and handled separately to render scenes more efficiently and with higher quality. The ILF lighting can also be edited for detailed artistic control.