面向LCD多投影显示的三阶段光学校正方法

光学校正对多投影无缝显示非常重要.用照相机作为测量工具,提出三阶段法构建三个显示模型解决多投影显示中遇到色度不一致和亮度不均匀的问题.三个模型分别被命名为单投影机模型、标准投影机模型和显示墙模型.单投影机模型描述投影机光学成像过程,标准投影机模型对每个投影机做规一化操作,显示墙模型中重新定义多投影显示的光学模型以达到无缝显示.给出不同品牌投影机协同工作的实验结果,表明方法对于多投影显示光学校正的有效性.     

基于摄影原理的三维纹理重建技术研究

讨论的是基于摄影原理的三维物体表面纹理的重建技术.该技术从国内外研究现状和主要不足出发,对三维物体表面纹理的采集和映射方法进行研究和改进,提出了较为合理的算法.纹理采集过程中分析了回转工作台的结构、纹理采集的原则并建立相关的坐标系;根据拍照和投影变换的原理建立三个坐标系对应点间的关系、推导出坐标变换关系式和转换矩阵;对模型表面微小面片法向量进行均匀化处理;通过计算面片的法向量与纹理采集方向向量的位置关系确定其最佳纹理,最后通过多角度映射达到三维物体表面纹理重建的目的.     

活体光学投影断层成像系统与应用

光学投影断层成像（Optical projection tomography,OPT）技术可以对1～10mm 尺度的低散射生物样本进行激发成像,具有微米级的空间分辨率、无辐射、成本低等特点,为小尺寸生物样本的高分辨率三维成像提供了一种新的手段. OPT最早通过对离体生物组织如小鼠胚胎、小鼠器官等成像,进行药物疗效评估、基因表达等研究,但是离体成像不能动态、完整地反映生物组织的变化,因此活体成像技术逐渐成为OPT领域的研究热点.本文详细介绍了我们自主研发的活体OPT系统,该成像系统以准直激光器为光源单元,高精密移动和旋转 电控平台为样本定位单元,低温电子倍增（Electron multiplying,EM） CCD探测器为采集单元,实现了针对果蝇蛹等小模式动物的活体三维成像.该系统的空间分辨率优于10 μm,成像视野1～10mm,扫描时间小于2min,重建时间小于5s.最后,本文通过果蝇蛹的三维活体成像实验展示该系统的操作流程、成像结果和初步的生物应用.     

一种分组并行的轻量化实时微观三维形貌重建方法

微观三维形貌重建作为精密制造领域生产制造的关键环节,其重建过程依赖于高分辨率稠密图像的采集.而面对复杂应用场景的高时效性需求,高分辨率稠密图像的输入会导致运算量与计算复杂度呈几何倍增加,无法实现高效率低延时的实时微观三维形貌重建.针对上述现状,本文提出一种分组并行的轻量级实时微观三维形貌重建方法GPLWS-Net,GPLWS-Net以U型网络为基础构造轻量化主干网络,以并行分组式查询加速三维形貌重建过程,并针对神经网络结构进行重参数化设计避免重建微观结构的精度损失.另外,为弥补现有微观三维重建数据集的缺失,本文公开了一组多聚焦微观三维重建数据集(Micro 3D),其标签数据利用多模态数据融合的方式获取场景高精度的三维结构.结果表明,本文提出的GPLWS-Net网络不仅可以保证重建精度,而且在三组公开数据集中相比于其他五类深度学习方法平均耗时降低39.15%,在Micro 3D数据集中平均耗时降低50.55%,能够实现复杂微观场景的实时三维形貌重建.     

基于CCD的多方向平行射束投影系统图像重建

高分辨率的空间敏感阵列以及实时、精确的图象重建算法是层析成象技术的关键。为了得到足够的投影数据,提出了几种用于光学层析成像的多方向平行射束投影结构,这几种结构均采用CCD器件作为敏感阵列,可得到高分辨率的被测物场投影信息。同时分析了这几种投影结构下图象重建中权重系数的计算方法,并对不同结构的图象重建效果进行了比较,得出了投影方向数、投影数据与重建图象质量之间的关系。仿真结果表明,采用CCD的平行射束投影系统可重建出很高质量的图象。     

虚拟现实技术在三维图像表面重建中的应用

传统的三维图像表面重建技术主要通过3D扫描方法进行立体重建,当面对复杂场景时无法获取帧点坐标,导致重建图像的分辨率较低。基于此,提出融合虚拟现实技术的三维图像表面重建方法。首先,结合群体优化策略和信息素矩阵临界值,获取三维图像边缘信息;其次,运用虚拟现实技术,完成最小识别距离计算、重建点坐标计算和重建深度距离计算,确定复杂场景内每个帧点的重建坐标信息;最后,进行背景图像与前景图像的匹配分析,得到三维图像表面重建结果。实验结果表明,对于原始分辨率为1120 PPI×800 PPI的三维图像,应用该方法进行重建,所得图像的分辨率稳定保持在1280 PPI×1024 PPI,能够满足图像重建要求。     

用线性神经网络映射光学过程层析成像的逆问题

过程层析成像 (Process tomography)的逆问题也称为成像算法 ,它不仅需要反映被测物质与激励场的相互作用原理 ,而且应与传感器的空间阵列结构相匹配 .成像算法的性能好坏 (包括图象质量和每帧计算需时 )是过程层析成像技术能否应用于工业过程监控系统的关键问题之一 .为了得到性能良好的重建图象 ,提出了一种线性神经网络图象重建算法 .该算法首先通过建立光学层析成像的正问题和逆问题的线性化模型来求解正问题 ,以得出图象和投影的关系模式对 ,然后将其用于训练和构造线性神经网络 ;最后使用训练好的线性神经网络来映射光学层析成像的逆问题 .实验表明 ,该方法具有较高的图象质量和极高的成像实时性 ,是一种性能良好的图象重建算法     

基于光学频率梳的高精度几何量检测系统

复杂结构高精度在线测量是航空航天等多个领域结构件生产过程中必要的环节,对产品质量起到决定性作用。针对现有手工测量方法结构特征尺寸精度低、三维形貌重建困难和数据一致性差等问题,提出了一种基于光学频率梳的非接触在线测量方法,并对结构件表面三维特征进行测量实验。该方法将机械平台与光学频率梳测量方法相融合,构建了以飞秒光学频率梳为基础的表面特征高精度测量体系。通过图像处理与分析获取表面三维点云数据,计算拟合得到被测物体的表面形貌特征,进而解算出被测物体的几何参数。实验结果表明：采用该测量方法和处理算法搭建的系统最大检测面积为900 mm×1100 mm,测量重复精度为0.01 mm,结合工控机数据处理软件,可实现自动化在线检测。     

锥束 X-射线 CT 投影数据的仿真

研究 CT 图像优化问题,针对提高精确性和有效性,传统的解析方法很难应用于几何形状比较复杂的物体.为了提高CT 图像重建精度,提出从离散化图像的 Radon 变换,推导出一种模拟 X-射线投影数据的模型,并提出采用模型的快速计算方法.模型不受物体内部几何形状和扫描轨迹限制,用于数字化灰度图像.利用上述方法对三维 SHEPP-LOGAN 模型的投影数据进行仿真,并对得到的数据采用 OS-EM 算法进行重建.结果表明,提高了图像精度,进一步验证了方法的有效性.     

引入三维阴影及镜面反射的两步光源检测算法

现有基于光照模型的增强现实逆向光源检测算法要求校准物体的表面是纯漫反射体,检测出的位置误差较大.针对这一问题,提出一种引入投影阴影三维形状特征及镜面反射分量的两步光源检测算法.算法分为光源位置和强度检测两个部分,在光源位置已知的条件下引入带有镜面反射分量的Cook-Torrance模型检测强度,并采用随机采样分区、误差处理等机制.同时使用投影阴影三维形状特征代替平面阴影角点特征,然后利用光线跟踪检测光照位置.实验表明该算法检测光源位置更加准确,检测光强有效,较好地解决了点光源位置检测不准确和受校准物材质限制问题.     

All-optical quantitative framework for bioluminescence tomography with non-contact measurement

In this contribution, we present an all-optical quantitative framework for bioluminescence tomography with non-contact measurement. The framework is comprised of four indispensable steps: extraction of the geometrical structures of the subject, light flux reconstruction on arbitrary surface, calibration and quantification of the surface light flux and internal bioluminescence reconstruction. In particular, the geometrical structures are retrieved using a completely optical method and captured under identical viewing conditions with the bioluminescent images. As a result, the proposed framework avoids the utilization of computed tomography or magnetic resonance imaging to provide the geometrical structures. On the basis of experimental measurements, we evaluate the performance of the proposed all-optical quantitative framework using a mouse shaped phantom. Preliminary result reveals the potential and feasibility of the proposed framework for bioluminescence tomography.     

基于多视角视频的运动重建

为了更逼真地从视频图像序列中实现三维人体骨架动画形式的提取,以便进一步地对人体运动进行分析与研究,提出了一种基于多视角视频的运动重建的方法。该方法充分利用了标记点的信息,其核心步骤有标定摄像机,提取标记点,跟踪标记点和人体运动三维重建四个主要方面。其中,在跟踪标记点时,使用了基于多视觉的目标跟踪算法,该算法由结合了扩展卡尔曼滤波预测与标记点轨迹平滑性约束所构成的双目立体视觉跟踪与多目视觉数据融合两个方面。实验结果证明了所提方法的有效性与可行性。     

小场景交互式稠密三维重建系统

近年来,随着 GPU 技术的深入发展和并行算法的日益成熟,使得实时三维重建成 为可能。文中实现了一种针对小场景的交互式稠密三维重建系统,此系统借助先进的移动跟踪 技术,可以准确地估计相机的即时位置。提出了一种改进的多视深度生成算法,在 GPU 加速下 能够实时计算场景的深度。改进算法中的亚像素级的半全局匹配代价累积提高了多视立体匹配 的精度,并结合全局优化的方法计算出了准确的场景深度信息。深度图被转换为距离场,使用 全局优化的直方图压缩融合算法和并行的原始对偶算法实现了深度的实时融合。实验结果证明 了重建系统的可行性和重建算法的正确性。     

多视重建的研究现状

：对目前的多视重建技术进行了综述．先介绍了多视重建的分类和评价方法，然后分析了光照一致性约 束和可见性约束，再分别讨论了几个有代表性的算法，如深度图方法、空间雕刻法、变形模型方法、目标函数求解 法（包括水平集法、图割法）、种子生长法、概率估算法（马尔可夫场方法、EM 方法）等等，再探讨了这些算法的不 足之处．最后，提出了融合多种方法、多种线索的3 维重建新思路，以提高多视重建的完整性和精度．     

基于多视图三维重建方法在实验室系统中的应用研究

针对愈渐复杂的实验室系统,采用基于多视图的三维重建方法,实现对实验室系统中设备的结构重建.通过尺度不变特征变换(SIFT)匹配算法进行特征提取和匹配,并利用随机抽样一致性算法(RANSAC)和交叉过滤法降低误匹配率;通过多视图聚簇/基于面片的三维多视角立体视觉算法(CM-VS/PMVS)获取稠密点云;利用PCL泊松曲面...     

Two-stage source reconstruction algorithm for bioluminescence tomography using hybrid FEM

A two-stage source reconstruction algorithm for bioluminescence tomography (BLT) is developed using hybrid finite element method (FEM). The proposed algorithm takes full advantages of linear and quadratic FEMs, which can be used to localize and quantify bioluminescent source accurately. In the first stage, a large permissible region is roughly determined and then iteratively evolved to reduce matrix dimension using efficient linear FEM. In the final stage, high-convergence quadratic FEM is applied to improve reconstruction result. Both numerical simulation and physical experiment are performed to evaluate the proposed algorithm. The relevant results demonstrate that quantitative reconstruction can be well achieved in terms of computation efficiency, source position, power density, and total power when compared with previous studies.     

一种采用纹理分布特征的标定方法

纹理重建是文物数字化保护工作的重要内容,针对中小型文物纹理重建中多视角纹理采集的自动化标定问题,提出了一种新的用于纹理采集的量化特征标定方法,以提高三维空间点与二维像素点之间拟合的精度。按照实物表面色彩种类及几何图案数量两类重要的纹理特征,进行纹理分布数据的归一化整理;利用归一化后的数据对拍摄角度的标定模板进行标定;最后通过透视投影原理计算三维空间点与二维像素点之间的多视角配准与映射。实验结果表明,量化特征标定方法的非均匀特性与均匀标定模板相比较,在不明显增加计算量的同时,能更好地体现纹理精度。     

Geographic,Geometrical and Semantic Reconstruction of Urban Scene from High Resolution Oblique Aerial Images

An effective approach is proposed for 3D urban scene reconstruction in the form of point cloud with semantic labeling. Starting from high resolution oblique aerial images, our approach proceeds through three main stages:geographic reconstruction, geometrical reconstruction and semantic reconstruction. The absolute position and orientation of all the cameras relative to the real world are recovered in the geographic reconstruction stage. Then, in the geometrical reconstruction stage, an improved multi-view stereo matching method is employed to produce 3D dense points with color and normal information by taking into account the prior knowledge of aerial imagery. Finally the point cloud is classified into three classes (building, vegetation, and ground) by a rule-based hierarchical approach in the semantic reconstruction step. Experiments on complex urban scene show that our proposed 3-stage approach could generate reasonable reconstruction result robustly and efficiently. By comparing our final semantic reconstruction result with the manually labeled ground truth, classification accuracies from 86.75% to 93.02% are obtained.      

Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system

Structured light methods achieve 3D modelling by observing with a camera system, a known pattern projected on the scene. The main drawback of single projection structured light methods is that moving the projector changes significatively the appearance of the scene at every acquisition time. Classical multi-view stereovision approaches based on the appearance matching are then not useable. The presented work is based on a two-cameras and one single slide projector system embedded in a hand-held device for industrial applications (reverse engineering, dimensional control, etc). We propose a method to achieve multi-view modelling for camera pose and surface reconstruction estimation in a joint process. The proposed method is based on the extension of a stereo-correlation criterion. Acquisitions are linked through a generalized expression of local homographies. The constraints brought by this formulation allow an accurate estimation of the modelling parameters for dense reconstruction of the scene and improve the result when dealing with detailed or sharp objects, compared to pairwise stereovision methods.     

The Theory and Practice of Coplanar Shadowgram Imaging for Acquiring Visual Hulls of Intricate Objects

Acquiring 3D models of intricate objects (like tree branches, bicycles and insects) is a challenging task due to severe self-occlusions, repeated thin structures, and surface discontinuities. In theory, a shape-from-silhouettes (SFS) approach can overcome these difficulties and reconstruct visual hulls that are close to the actual shapes, regardless of the complexity of the object. In practice, however, SFS is highly sensitive to errors in silhouette contours and the calibration of the imaging system, and has therefore not been used for obtaining accurate shapes with a large number of views. In this work, we present a practical approach to SFS using a novel technique called coplanar shadowgram imaging that allows us to use dozens to even hundreds of views for visual hull reconstruction. A point light source is moved around an object and the shadows (silhouettes) cast onto a single background plane are imaged. We characterize this imaging system in terms of image projection, reconstruction ambiguity, epipolar geometry, and shape and source recovery. The coplanarity of the shadowgrams yields unique geometric properties that are not possible in traditional multi-view camera-based imaging systems. These properties allow us to derive a robust and automatic algorithm to recover the visual hull of an object and the 3D positions of the light source simultaneously, regardless of the complexity of the object. We demonstrate the acquisition of several intricate shapes with severe occlusions and thin structures, using 50 to 120 views. Electronic Supplementary Material  The online version of this article () contains supplementary material, which is available to authorized users. This is an extension and consolidation of our previous work on coplanar shadowgram imaging system (Yamazaki et al. 2007) presented at IEEE International Conference on Computer Vision 2007.