Topological equivalence between a 3D object and the reconstruction of its digital image

Digitization is not as easy as it looks. If one digitizes a 3D object even with a dense sampling grid, the reconstructed digital object may have topological distortions and, in general, there exists no upper bound for the Hausdorff distance. This explains why so far no algorithm has been known which guarantees topology preservation. However, as we will show, it is possible to repair the obtained digital image in a locally bounded way so that it is homeomorphic and close to the 3D object. The resulting digital object is always well-composed, which has nice implications for a lot of image analysis problems. Moreover, we will show that the surface of the original object is homeomorphic to the result of the marching cubes algorithm. This is really surprising since it means that the well-known topological problems of the marching cubes reconstruction simply do not occur for digital images of r-regular objects. Based on the trilinear interpolation, we also construct a smooth isosurface from the digital image that has the same topology as the original surface. Finally, we give a surprisingly simple topology preserving reconstruction method by using overlapping balls instead of cubical voxels. This is the first approach of digitizing 3D objects which guarantees topology preservation and gives an upper bound for the geometric distortion. Since the output can be chosen as a pure voxel presentation, a union of balls, a reconstruction by trilinear interpolation, a smooth isosurface, or the piecewise linear marching cubes surface, the results are directly applicable to a huge class of image analysis algorithms. Moreover, we show how one can efficiently estimate the volume and the surface area of 3D objects by looking at their digitizations. Measuring volume and surface area of digital objects are important problems in 3D image analysis. Good estimators should be multigrid convergent, i.e., the error goes to zero with increasing sampling density. We will show that every presented reconstruction method can be used for volume estimation and we will give a solution for the much more difficult problem of multigrid-convergent surface area estimation. Our solution is based on simple counting of voxels and we are the first to be able to give absolute bounds for the surface area.     

伪点云修正增强激光雷达数据

目的 激光雷达在自动驾驶中具有重要意义,但其价格昂贵,且产生的激光线束数量仍然较少,造成采集的点云密度较稀疏。为了更好地感知周围环境,本文提出一种激光雷达数据增强算法,由双目图像生成伪点云并对伪点云进行坐标修正,进而实现激光雷达点云的稠密化处理,提高3D目标检测精度。此算法不针对特定的3D目标检测网络结构,是一种通用的点云稠密化方法。方法 首先利用双目RGB图像生成深度图像,根据先验的相机参数和深度信息计算出每个像素点在雷达坐标系下的粗略3维坐标,即伪点云。为了更好地分割地面,本文提出了循环RANSAC （random sample consensus）算法,引入了一个分离平面型非地面点云的暂存器,改进复杂场景下的地面分割效果。然后将原始点云进行地面分割后插入KDTree （k-dimensional tree）,以伪点云中的每个点为中心在KDTree中搜索若干近邻点,基于这些近邻点进行曲面重建。根据曲面重建结果,设计一种计算几何方法导出伪点云修正后的精确坐标。最后,将修正后的伪点云与原始激光雷达点云融合得到稠密化点云。结果 实验结果表明,稠密化的点云在视觉上具有较好的质量,物体具有更加完整的形状和轮廓,并且在KITTI （Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上提升了3D目标检测精度。在使用该数据增强方法后,KITTI数据集下AVOD （aggregate view object detection）检测方法的AP_3D-Easy （average precision of 3D object detection on easy setting）提升了8.25%,AVOD-FPN （aggregate view object detection with feature pyramid network）检测方法的AP_BEV-Hard （average precision of bird’s eye view on hard setting）提升了7.14%。结论 本文提出的激光雷达数据增强算法,实现了点云的稠密化处理,并使3D目标检测结果更加精确。     

目标自适应图像分块与小目标提取

针对传统二维直方图方法的难点,提出了采用基于分水岭变换的图像自适应分块的解决方法,新方法能使得每个小目标都被分割在同一个图像区域内,克服了传统图像分块方法采用固定分块,易造成将同一目标分到多个区域的缺点。方法中首先采用了基于标记点的灰度图像重建方法对图像进行预处理,在自适应增强目标的同时也克服了分水岭变换易造成过度分割的影响,在此基础上进一步地对图像采取了基于分水岭变换的图像分块,接着在每一个分块区域中采用引入目标分布信息阈值选取方法,得到二值化的结果。实验表明该方法目标分割结果稳定,适合于小目标的分割提取。     

主动目标几何建模研究方法综述

目的 目标建模是机器视觉领域的主要研究方向之一,主动目标建模是在保证建模完整度的情况下,通过有计划地调节相机的位姿参数,以更少的视点和更短的运动路径实现目标建模的智能感知方法。为了反映主动目标建模的研究现状和最新进展,梳理分析了2004年以来的相关文献,对国内外研究方法做出概括性总结。方法 以重构模型类型和规划视点所用信息作为划分依据,将无模型的主动目标建模方法分为基于表面的主动目标建模方法、基于搜索的目标建模方法和两者相结合的方法3大类,重点对前两类方法进行综述,首先解释了每类方法的基本思想,总结每类方法涉及的问题,然后对相关问题的主要研究方法进行归纳和分析,最后将各个问题的解决方法进行合理的搭配组合,形成不同的主动目标建模方法,并对各类方法的优势和局限性进行了总结。结果 各类主动目标建模算法在适用场景范围、计算复杂度等方面存在差异,但相对于传统的被动目标建模方法,当前的主动目标建模算法已经能够极大程度地提高建模任务的质量和降低建模所需代价。结论 基于表面的主动目标建模方法思想相对简单,但仅适用于表面简单的目标建模。基于搜索的目标建模方法能够量化地评价每一个候选视点,适用广泛且涉及的问题相对于基于表面的方法有更大的解决空间,有更多的研究成果产生。将二者涉及问题的不同研究方法相搭配,可以构成不同的主动目标建模方法子类。     

ST-Rec3D：基于结构和目标感知的三维重建

基于视图的三维重建旨在从二维图像恢复出其对应的三维形状。现有方法主要通过编码器-解码器结构,结合二元交叉熵函数及其变形,完成三维重建,取得较好的重建结果。然而,编码器在编码过程中缺乏对输入视图的结构感知能力,造成重建的三维模型几何细节不准确;以二元交叉熵函数为主的损失函数在体素分布不均衡的情况下,目标感知能力较差,导致其重建结果存在断裂、缺失等不完整性问题。针对此类问题,提出了一种具有结构和目标感知能力的三维重建网络(ST-Rec3D),以单视图或多视图为输入,由粗到细地重建出三维模型;结合注意力机制提出了一种具有空间结构感知能力的编码器,即结构编码器,以充分捕捉输入视图中的空间结构信息,有效感知重建物体的几何细节;将IoU损失引入到三维体素模型重建中,在体素分布不均衡的情况下,精准感知目标物体,确保重建物体的完整性和准确性。在ShapeNet和Pix3D数据集上的对比结果表明,ST-Rec3D在单视图和多视图上重建的三维模型的完整性和准确性均优于当前方法。     

基于运动目标轨迹优化的监控视频浓缩方法

视频浓缩是包含原视频有效信息的简短表示,以便于视频的存储、浏览和检索。然而,大部分视频浓缩方法得到的浓缩视频中会丢失少量目标,不能完整表达原始视频的全部内容。本文介绍了一种基于目标轨迹优化的视频浓缩方法。首先使用改进的目标轨迹提取算法提取原视频中目标的 轨迹,然后利用马尔可夫随机场模型和松弛线性规划算法得到每条轨迹的最优时间标签,将其与背景序列和目标轨迹结合生成浓缩视频。实验结果表明,与传统的视频浓缩方法相比,本文方法生成的浓缩视频具有较高的浓缩比,保证了信息的完整性又具有良好的视觉效果。     

Transparent and Specular Object Reconstruction

This state of the art report covers reconstruction methods for transparent and specular objects or phenomena. While the 3D acquisition of opaque surfaces with Lambertian reflectance is a well‐studied problem, transparent, refractive, specular and potentially dynamic scenes pose challenging problems for acquisition systems. This report reviews and categorizes the literature in this field. Despite tremendous interest in object digitization, the acquisition of digital models of transparent or specular objects is far from being a solved problem. On the other hand, real‐world data is in high demand for applications such as object modelling, preservation of historic artefacts and as input to data‐driven modelling techniques. With this report we aim at providing a reference for and an introduction to the field of transparent and specular object reconstruction. We describe acquisition approaches for different classes of objects. Transparent objects/phenomena that do not change the straight ray geometry can be found foremost in natural phenomena. Refraction effects are usually small and can be considered negligible for these objects. Phenomena as diverse as fire, smoke, and interstellar nebulae can be modelled using a straight ray model of image formation. Refractive and specular surfaces on the other hand change the straight rays into usually piecewise linear ray paths, adding additional complexity to the reconstruction problem. Translucent objects exhibit significant sub‐surface scattering effects rendering traditional acquisition approaches unstable. Different classes of techniques have been developed to deal with these problems and good reconstruction results can be achieved with current state‐of‐the‐art techniques. However, the approaches are still specialized and targeted at very specific object classes. We classify the existing literature and hope to provide an entry point to this exiting field.     

大规模结构网格数据的相关性统计建模轻量化方法

高置信度的数据可视分析对于大规模数值模拟至关重要,但是当前高性能计算机的存储瓶颈导致可视分析应用获取原始高分辨率网格数据越来越困难. 基于统计建模的方法能够极大降低高分辨数据存储成本,但是重建数据的不确定性高. 为此,提出了一种大规模结构网格数据的相关性统计建模轻量化方法,用于对并行数值模拟生成的大规模多块体数据进行高效分析与可视化. 该方法的技术核心是通过数据块间的统计相关性,指导邻接数据块的统计建模,从而有效地保留数据统计特征,且不需要对不同并行计算节点中的数据块进行合并与重新分块. 通过耦合数据块的数值分布信息、空间分布信息和相关性信息,该方法可以更精确地重建原始数据,降低可视化的不确定性. 实验测试采用了最大10亿网格规模的5组科学数据,定量分析结果显示,在相同数据压缩比下,该方法相比现有方法可将数据重建精度最大提升近2个数量级.

     

三维场景点云理解与重建技术

3维场景理解与重建技术能够使计算机对真实场景进行高精度复现并引导机器以3维空间的思维理解整个真实世界,从而使机器拥有足够智能参与到真实世界的生产与建设,并能通过场景的模拟为人类的决策和生活提供服务。3维场景理解与重建技术主要包含场景点云特征提取、扫描点云配准与融合、场景理解与语义分割、扫描物体点云补全与细粒度重建等,在处理真实扫描场景时,受到扫描设备、角度、距离以及场景复杂程度的影响,对技术的精准度和稳定性提出了更高的要求,相关的技术也十分具有挑战性。其中,原始扫描点云特征提取与配准融合旨在将同场景下多个扫描区域进行特征匹配,从而融合得到完整的场景点云,是理解与重建技术的基石;场景点云的理解与语义分割的目的在于对场景模型进行整体感知并根据语义特征划分为功能性物体甚至是部件的点云,是整套技术的核心组成部分;后续的物体点云细粒度补全主要研究扫描物体的结构恢复和残缺部分补全,是场景物体点云细粒度重建的关键性技术。本文围绕上述系列技术,详细分析了基于3维点云的场景理解与重建技术相关的应用领域和研究方向,归结总结了国内外的前沿进展与研究成果,对未来的研究方向和技术发展进行了展望。     

一种新的基于平面检测器的锥形束体积重建算法

由于锥形束体积重建算法具有较高的获取投影数据的速度、较大的 X射线利用率及能保持重建物体的空间和密度各向同性等方面的优点 ,因而引起了人们的广泛关注 .针对锥顶轨迹为单圆的锥形束体积重建问题 ,提出了一种基于平面检测器的 T- FDK算法 (简称 FT- FDK算法 ) .该算法首先将锥形束投影数据重排为倾斜平行投影数据 ,然后再经过加权滤波和反投影重建来得到待测物体的三维结构 .实验结果表明 ,该算法不仅与传统的 FDK算法有相同的计算复杂度 ,且重建图象的质量有了明显的提高 ,因而该算法在医学成像和无损探伤等领域具有重要的实用价值 .     

On the abs algorithms for perturbed linear systems ∗

One of the most important problems in numerical analysis and numerical optimization is to solve a linear system of equations. Sometimes it should be repeated when one of the equations is replaced by a new one. In this paper as a result of theoretical analysis, an algorithm model and a particular algorithm which are based on the ABS class are proposed. After the original linear system has been solved by the ABS class, the algorithms proposed here can efficiently solve the new system which is obtained from the original system by replacing one of its equations by using information obtained in the previous computation. These algorithms can be used continually when some equations of the original system are replaced by new equations successively with less computation effort.     

深度学习在基于单幅图像的物体三维重建中的应用

基于单幅图像的物体三维重建是计算机视觉领域的一个重要问题，近几十年来得到了广泛的关注.随着深度学习的不断发展，近年来基于单幅图像的物体三维重建取得了显著进展.本文对深度学习在基于单幅图像的物体三维重建领域的研究进展及具体应用进行了综述.首先介绍了基于单幅图像的三维重建的研究背景及其传统方法的研究现状，其次简要介绍了深度学习并详细综述了深度学习在基于单幅图像的物体三维重建中的应用，随后简要概述了三维物体重建的常用公共数据集，最后进行了分析与总结，指出了目前存在的问题及未来的研究方向.     

基于PTM模型文物纹理映射算法

针对三维重建物体纹理不真实与不精确问题，提出了基于PTM（Polynomial Texture Maps）模型的文物纹理映射算法，该算法利用了多项式颜色依赖性的特质，采取表征颜色与亮度依赖关系的双二次多项式系数进行存储纹素数据，从而实现在变化的光照条件下重建物体的表面纹理。此外针对原PTM模型中存在的原始采集图像漫反射异常、亮度信息分布不均匀、重建拟合系数不精确，导致的重建图像纹理模糊、存在重影、物体细节纹理缺失等问题，提出了改进多项式的基函数和优化拟合系数的PTM算法以及PTM图像采集设备的优化方法，最后经实验验证，提出的算法使得重建物体纹理的真实性与精确度均得到了有效提高。     

结合超像元和子空间投影支持向量机的高光谱图像分类

目的 高光谱图像包含了丰富的空间、光谱和辐射信息,能够用于精细的地物分类,但是要达到较高的分类精度,需要解决高维数据与有限样本之间存在矛盾的问题,并且降低因噪声和混合像元引起的同物异谱的影响。为有效解决上述问题,提出结合超像元和子空间投影支持向量机的高光谱图像分类方法。方法 首先采用简单线性迭代聚类算法将高光谱图像分割成许多无重叠的同质性区域,将每一个区域作为一个超像元,以超像元作为图像分类的最小单元,利用子空间投影算法对超像元构成的图像进行降维处理,在低维特征空间中执行支持向量机分类。本文高光谱图像空谱综合分类模型,对几何特征空间下的超像元分割与光谱特征空间下的子空间投影支持向量机（SVMsub）,采用分割后进行特征融合的处理方式,将像元级别转换为面向对象的超像元级别,实现高光谱图像空谱综合分类。结果 在AVIRIS（airbone visible/infrared imaging spectrometer）获取的Indian Pines数据和Reflective ROSIS（optics system spectrographic imaging system）传感器获取的University of Pavia数据实验中,子空间投影算法比对应的非子空间投影算法的分类精度高,特别是在样本数较少的情况下,分类效果提升明显;利用马尔可夫随机场或超像元融合空间信息的算法比对应的没有融合空间信息的算法的分类精度高;在两组数据均使用少于1%的训练样本情况下,同时融合了超像元和子空间投影的支持向量机算法在两组实验中分类精度均为最高,整体分类精度高出其他相关算法4%左右。结论 利用超像元处理可以有效融合空间信息,降低同物异谱对分类结果的不利影响;采用子空间投影能够将高光谱数据变换到低维空间中,实现有限训练样本条件下的高精度分类;结合超像元和子空间投影支持向量机的算法能够得到较高的高光谱图像分类精度。     

图像场方向导数的局部区域重建

目的 目前图像修复的研究是以人眼不能察觉为目标,注重视觉效果而不追求重建的准确性。本文提出一种能准确重建图像缺损边缘的重建算法。方法 采用稳定场作为图像局部纹理的数学物理描述,提出基于点源影响函数的图像局部区域重建模型,该模型针对每一个缺损点,计算周围各已知点对它的影响,以期较为准确地重建该点;并根据该场中的方向导数,分析各已知点与缺损点的差异性及相似性,确定一种点源影响函数的计算方法,以实现该重建模型。结果 实验结果表明所提算法与传统修复算法相比,对图像边缘及纹理细节的重建更加清晰,同时保持了较好的整体视觉效果;且重建过程无迭代计算,具有较高的效率。结论 实验结果表明,该算法在重建效率和准确重建方面均取得了较好的成果。     

双目立体视觉三维重建实验平台研究

三维重建是计算机视觉和虚拟现实领域的一个重要研究内容,其中,欧式重建以其直观能够反应物体原貌的特点在反求工程中得到了广泛的应用。为反求工程的需要开发了一套基于双目立体视觉的三维重建软件,综合考虑了欧式三维重建误差产生多种因素,给出了一整套比较完备的欧式三维重建流程,基于真实图像的实验结果表明,该实验平台可以获得较高的重建精度和良好的重建效果。     

Manufacturing Models of Biomedical Objects via CAD/CAM and GKS

Picture generating methods like tomography have drastically improved the possibility for the conception of biomedical objects in living humans. They have proved to be of major significance in surgical planning. Computer Aided Design (CAD) methods based on tomography are in the research phase for the three-dimensional reconstruction and display using computer graphics for even better visualization. We provide a method beyond that by manufacturing physical three-dimensional models via the Graphical Kernel System (GKS) and Computer Aided Manufacturing (CAM) methods. This kind of method is very well suited for visualization in some application areas. Moreover it yields physical models which can be manipulated in the preoperative phase. Lastly a physical bone model can be a substitute for the original object.     

融合目标增强与稀疏重构的显著性检测

目的 为了解决图像显著性检测中存在的边界模糊,检测准确度不够的问题,提出一种基于目标增强引导和稀疏重构的显著检测算法（OESR）。方法 基于超像素,首先从前景角度计算超像素的中心加权颜色空间分布图,作为前景显著图;由图像边界的超像素构建背景模板并对模板进行预处理,以优化后的背景模板作为稀疏表示的字典,计算稀疏重构误差,并利用误差传播方式进行重构误差的校正,得到背景差异图;最后,利用快速目标检测方法获取一定数量的建议窗口,由窗口的对象性得分计算目标增强系数,以此来引导两种显著图的融合,得到最终显著检测结果。结果 实验在公开数据集上与其他12种流行算法进行比较,所提算法对具有不同背景复杂度的图像能够较准确的检测出显著区域,对显著对象的提取也较为完整,并且在评价指标检测上与其他算法相比,在MSRA10k数据集上平均召回率提高4.1%,在VOC2007数据集上,平均召回率和F检验分别提高18.5%和3.1%。结论 本文提出一种新的显著检测方法,分别利用颜色分布与对比度方法构建显著图,并且在显著图融合时采用一种目标增强系数,提高了显著图的准确性。实验结果表明,本文算法能够检测出更符合视觉特性的显著区域,显著区域更加准确,适用于自然图像的显著性目标检测、目标分割或基于显著性分析的图像标注。     

基于区域统计特征的PolSAR影像分割

本文提出一种利用区域统计特征的PolSAR影像分割方法,以解决目前研究中在降低斑点噪声和提高分割效率方面的不足。首先利用基于梯度分割影像的分水岭算法进行SAR影像初分割,针对差值梯度非恒虚警率(CFAR),可能给出虚假边缘从而导致分割错误的问题,引入恒虚警率的均值比率梯度（ROA,Ratio of Average）;同时,考虑到梯度影像中存在大量局部极小值,直接用分水岭处理得到初分割结果,存在过度过分割,给出了一种利用形态学方法进行梯度重构以消除局部极小值、抑制过分割的方法。然后,基于初分割得到区域,计算区域相干矩阵的最大似然估计,结合假设检验和相干矩阵的Wishart分布,给出一种有效描述区域相似度的目标函数,通过建立区域邻接关系图(RAG,Region Adjacent Graph),执行等级区域合并得到最终分割结果。利用模拟数据,德国奥伯法芬霍芬L波段实测数据和中国海南陵水黎族自治县X波段的高分辨率数据,验证文中方法,初分割结果证实梯度重构处理不会破坏原有梯度结构,并能有效抑制过分割;最终分割结果定性定量对比分析表明,文中给出的目标函数,在分割效率、信息保持和分割精度上都有较好表现。上述结果证实了文中方法能有效降低斑点噪声,提高分割效率,从而提供更加准确的分割结果。     

基于卷积神经网络改进的图像自动分割方法

针对图像序列三维重建中多视角目标分割需要人工参与任务繁重的问题,提出一种基于卷积神经网络改进的图像自动分割方法。首先将序列图像去噪处理、归一化并进行语义标注后制作数据集,然后对改进的融合多尺度特征和残差连接的卷积神经网络进行训练,得到优化后的卷积神经网络分割模型,最后将预分割图像加载到优化的分割模型中得到归一化的掩码图,再利用三次样条插值法将其恢复分辨率后与原图做自定义的掩码操作得到高清分割结果。本文以主流分割软件PhotoShop分割结果为参考标准进行对比,实验结果证明,该方法的准确率与参考标准接近,而且可实现批量自动分割,较好的解决三维重建中目标分割任务繁重的问题。