基于CT的医学图像三维重建

本文介绍了医学CT三维重建的算法,分析了目前所用的关键技术,为医学图像三维重建应用软件的开发打下了理论基础.最后使用VTK开发包,以手部骨骼三维重建为例,给出了实现面绘制和体绘制方案和结果.     

深度学习在基于单幅图像的物体三维重建中的应用

基于单幅图像的物体三维重建是计算机视觉领域的一个重要问题，近几十年来得到了广泛的关注.随着深度学习的不断发展，近年来基于单幅图像的物体三维重建取得了显著进展.本文对深度学习在基于单幅图像的物体三维重建领域的研究进展及具体应用进行了综述.首先介绍了基于单幅图像的三维重建的研究背景及其传统方法的研究现状，其次简要介绍了深度学习并详细综述了深度学习在基于单幅图像的物体三维重建中的应用，随后简要概述了三维物体重建的常用公共数据集，最后进行了分析与总结，指出了目前存在的问题及未来的研究方向.     

基于深度学习的单视图三维重建综述

计算机视觉是计算机领域研究的热门方向,而三维重建在计算机视觉方面具有很高的研究价值.近年来,随着深度学习、人工智能不断的发展,基于深度学习的单视图三维重建工作受到大量学者的关注.介绍了基于深度学习的单视图三维重建的三种常用方法、三维重建工作常用数据集和其具体的应用领域,并对基于深度学习的单视图三维重建进行了小结与展望.     

基于深度学习的单视图三维重建

单视图三维重建在计算机视觉领域中是一个具有挑战性的问题.为了提升现有三维重建算法重建后三维模型的精度,本文除了提取图像全局特征之外还提取图像局部特征,结合全局特征和局部特征并选取SDF (signed distance function)作为重建后的三维物体表达方式,不仅提高了模型的精度,生成了更高质量的3D形状,还增强了模型的泛化能力,使得深度模型可以以较高质量重建出其他物体种类.实验结果表明,本文提出的深度网络结构和3D形状表示方法与当今最先进的重建算法相比,无论在重建后三维模型的效果还是新型物体的泛化中都有更好的表现.     

基于面绘制的医学序列图像三维重建

基于医学CT图像序列,利用改进的面绘制方法,分别实现了皮肤和骨骼的三维表面重建。在皮肤重建中,主要采用阈值分割法和迭代法相结合而得到光滑逼真的效果。在骨骼重建过程中,采用二值法构建骨骼三维表面,并对得到的结果进行去噪处理,进而得到清晰的骨骼轮廓。为了验证重建方法的通用性,实现了复杂结构器官--心脏的三维表面重建。实验结果表明,方法易于实现,获得了较理想的三维重建结果。重建的三维模型可进行旋转、放大和缩小等操作,这不仅有利于实现人机交互的功能,同时也有利于对模型进行设置和观察。     

深度学习背景下的图像三维重建技术进展综述

三维重建是指从单幅或多幅二维图像中重建出物体的三维模型并对三维模型进行纹理映射的过程。三维重建可获取从任意视角观测并具有色彩纹理的三维模型,是计算机视觉领域的一个重要研究方向。传统的三维重建方法通常需要输入大量图像,并进行相机参数估计、密集点云重建、表面重建和纹理映射等多个步骤。近年来,深度学习背景下的图像三维重建受到了广泛关注,并表现出了优越的性能和发展前景。本文对深度学习背景下的图像三维重建的技术方法、评测方法和数据集进行全面综述。首先对三维重建进行分类,根据三维模型的表示形式可将图像三维重建方法分类为基于体素的三维重建、基于点云的三维重建和基于网格的三维重建;根据输入图像的类型可将图像三维重建分类为单幅图像三维重建和多幅图像三维重建。随后介绍了不同类别的三维重建方法,从三维重建方法的输入、三维模型表示形式、模型纹理颜色、重建网络的基准值类型和特点等方面进行总结,归纳了深度学习背景下的图像三维重建方法的常用数据集和实验对比,最后总结了当前图像三维重建领域的待解决问题以及未来的研究方向。     

MC算法在医学图像三维重建中的应用

详细介绍了MC算法,提出了优化网格模型简化算法。优化网格模型简化算法选取坐标点的原则是,尽可能地接近原始网格,通常采用子集选择法或优化选择法。在尽可能保证图像精度的前提下,优化网格模型简化算法可以提高运算速度,而单纯的网格算法由于失真严重而缺乏实用价值。基于体绘制的网格化简化算法重建的三维模型比较完全,且算法简单,在多排螺旋CT等医学图像三维重建中有较好的应用。     

基于深度学习的胰腺肿瘤分割算法研究

胰腺癌是比较常见且死亡率较高的肿瘤疾病。医生需要在复杂的胰腺肿瘤CT图像中寻找可疑的肿瘤区域,这容易产生视觉疲劳,导致误诊。针对CT图像中胰腺肿瘤占比较小、不同尺度特征图间的交互性差等问题,在TransUNet模型的基础上增加了多尺度密集连接和极坐标余弦位置编码。实验结果表明,此模型在处理胰腺肿瘤分割任务时表现良好。     

基于VTK人体肺部的三维重建

医学图像三维重建技术是利用二维医学图像序列重建出三维模型,为医生提供直观、全面、准确的病灶和正常组织信息,是当今医学影像领域研究的热点之一。利用一个包含了多种面绘制技术的基于面向对象方法设计的、功能强大的可视化类库Visuali zation ToolKit（VTK）进行人体肺部断层图像的三维重建,讨论了面绘制算法中最常用的移动立方体法（MC）。重建效果表明基于VTK的面绘制技术具有应用灵活、重建效果逼真、重建速度较快等优点。为进一步研究人体肺部的动态建模打下基础。     

基于自监督深度学习的人脸表征及三维重建

非约束条件下,由于传统神经网络对于单个个体人脸表情变化过于敏感而对不同个体间人脸灵敏度有限,从而导致构建的三维模型几何特征与个体不匹配。针对上述问题,提出一种基于具有较强鲁棒性的自监督深度学习的人脸表征及三维重建算法,有效利用二维人脸的特征点信息自动映射到三维空间中实现三维人脸重建。选用Efficient Net为主体框架获取面部特征向量及三维形变模型参数,并在孪生神经网基础上引入对比损失函数扩大类间间距,减少类内间距,同时提出身份损失函数保留特征空间中同一个体的身份信息增强对形变的鲁棒性。在300W—LP和AFLW2000—3D数据集上,该算法均有不错的表现。     

基于Java 3D的医学图像三维重建系统

系统采用分层组件化的设计思想,在逻辑上分为三层:图像预处理层、图像分割层和用户界面层,实现了医学图像的二维标注与测量、三维体数据的分割、三维重建与交互功能。介绍了系统的体系结构和系统开发的主要技术方法。最后指出了系统的实用性和对医学研究方面的价值。     

基于多尺度CNN-RNN的单图三维重建网络

现有基于深度学习的三维重建算法主要从深度网络的单一层进行特征获取,二维图像特征提取不完整,造成三维重建效果不理想。为提高三维重建模型的精度及准确度,充分利用二维图像细节特征,有效转换为三维网络,提出一种基于多尺度CNN-RNN的单图三维重建网络。模型网络主要由三部分组成：二维编码器、转换器及三维编码器。模型借鉴高斯金字塔模型,构建多尺度网络,保留二维图像不同尺度上的特征值,通过RNN将其转换为三维特征。模型使用公共的ShapeNet数据集进行训练和测试,通过前后对比,发现使用多尺度特征提取的方法,模型具有更好的鲁棒性。与现有方法进行对比,本模型在飞机、柜子、汽车、显示器、灯、音响、沙发等模型的三维重建中拥有更好的重建效果。     

基于深度学习的人体动作草图到三维骨骼模型重建方法的研究

为了提高三维人体骨骼模型的建模效率并简化交互规则,提出了一种基于深度学习的手绘人体动作草图到三维骨骼模型的重建方法。首先将三维骨骼模型渲染为二维图像来建立维度映射关系,进而使用图像分类方法识别手绘草图动作并根据维度映射实现三维骨骼模型重建。在实验中使用基于深度卷积神经网络对图像分类模型进行构建,使用浅层卷积网络作为训练单元,并使用逐级分类与分块训练策略加速网络收敛速度来提高训练效率。最后实验结果验证了该方法的可行性与有效性。     

基于深度学习的单幅图像超分辨率重建综述

单幅图像超分辨率SISR重建指从单幅低分辨率图像恢复出高分辨率图像.深度学习方法越来越多地用于图像超分辨重建领域,由于深度网络模型可以自主学习低分辨率图像到高分辨率图像之间的映射关系,与传统方法相比在该领域展现出了更好的重建效果,因而基于深度学习的方法已经成为目前图像超分辨率重建领域的主流方向.围绕现有的超分辨深度网络...     

基于IBR的三维重建新方法

在研究普通的平面图像的基础上,基于图像渲染(IBR)提出了一种新的建立立体模型的方式。能对普通的平面单幅图像进行特征点提取,从而半自动地生成所需要的立体效果。该方法直接从图像中提取信息,渲染出具有照片真实感的模型。实验结果表明,利用该系统渲染的三维模型准确真实,能够满足虚拟现实等应用的需要。     

深度学习在单图像三维模型重建的应用

针对基于单图像重建的三维模型具有高度不确定性问题,提出了一种基于深度图像估计、球面投影映射、三维对抗生成网络相结合的网络模型算法。首先,通过深度估计器得到输入图像的深度图像,这有利于对图像进一步的分析;其次,将得到的深度图像通过球面投影映射转换为三维模型;最后,利用三维对抗生成网络对重建的三维模型的真实性进行判断,建立更逼真的三维模型。理论分析和仿真实验表明,与学习先验知识生成三维模型的算法LVP相比,所提模型在真实三维模型与重建三维模型的交并比（IoU）上提高了20.1%,倒角距离（CD）缩小了13.2%。实验结果表明,所提模型在单视图三维模型重建中具有良好的泛化能力。     

基于先验知识的单视图三维点云重建算法研究

单幅图像的三维重建是一个不适定问题,由于图像与三维模型间存在的表示模式差异,通常存在物体自遮挡、低光照、多类对象等情况,针对目前单幅图像三维模型重建中重建模型具有歧义性的问题,提出了一种基于先验信息指导的多几何角度约束的三维点云模型重建方法。首先,通过预训练三维点云自编码器获得先验知识,并最小化输入图像特征向量与点云特征向量的差异,使得输入图像特征分布逼近点云特征分布;然后,利用可微投影模块将图像的三维点云表示形式从不同视角投影到二维平面;最后,通过最小化投影图与数据集中真实投影图的差异,优化初始重建点云。在ShapeNet和Pix3D数据集上与其他方法的定量定性比较结果表明了该方法的有效性。     

MASR-PSN：低分光度立体图像的高分法向重建深度学习模型

目的 光度立体算法是一种单视角下的稠密三维重建方法,其利用相同视角下来自不同光照方向的一系列图像恢复像素级的表面法向。拍摄光度立体图像所用的高分辨率线性响应相机的成本十分昂贵且难以获取,很难通过传感器直接获取超高分辨率图像来恢复高分辨率表面法向。因此,提出一种基于深度神经网络的光度立体超分算法,以从低分光度立体图像中恢复出准确的高分表面法向。方法 首先,对原始的低分光度立体图像进行归一化预处理操作,以消除剧烈变化的表面反射率影响,并消减过饱和镜面反射的影响。随后,提出多层聚合超分光度立体网络（multi-level aggregation super resolution photometric stereo network,MASR-PSN）。MASR-PSN包含一个新颖的深浅层融合的最大池化聚合框架、权值共享的特征回归器、并行设计的不同尺寸卷积核的并行回归器结构,能够在保留多尺度信息的同时,增强特征表示,防止模式坍塌学习到某一固定尺度相关的非重要特征,以及防止3×3卷积核带来空间域上的过度平滑。结果 广泛的消融实验证明了提出的深浅层聚合层和并行权值共享回归器的有效性,能明显减少生成表面法向的平均角度误差（mean angular error,MAE）。本文方法仅需其他方法一半分辨率的光度立体图像,而能准确地恢复出复杂表面的结构。DiLiGenT benchmark数据集的定量实验和Light Stage Data Gallery数据集、 Gourd数据集的定性实验显示,MASR-PSN在预测表面法向精确度方面有明显提升。在DiLiGenT benchmark数据集中,本文方法在仅使用其他方法一半分辨率的光度立体图像的情况下,以96幅图像为输入时,取得7.31°的平均角度误差,比最佳方法提升0.08°,以10幅图像为输入时,取得9.00°的平均角度误差,比最佳方法提升0.43°。结论 提出的MASR-PSN方法提升了光度立体任务表面法向重建的准确性,在低分辨率的输入图像下,依然可以恢复出细节清晰的超分辨率表面法向。     

深度学习单目深度估计研究进展

单目深度估计是从单幅图像中获取场景深度信息的重要技术,在智能汽车和机器人定位等领域应用广泛,具有重要的研究价值。随着深度学习技术的发展,涌现出许多基于深度学习的单目深度估计研究,单目深度估计性能也取得了很大进展。本文按照单目深度估计模型采用的训练数据的类型,从3个方面综述了近年来基于深度学习的单目深度估计方法:基于单图像训练的模型、基于多图像训练的模型和基于辅助信息优化训练的单目深度估计模型。同时,本文在综述了单目深度估计研究常用数据集和性能指标基础上,对经典的单目深度估计模型进行了性能比较分析。以单幅图像作为训练数据的模型具有网络结构简单的特点,但泛化性能较差。采用多图像训练的深度估计网络有更强的泛化性,但网络的参数量大、网络收敛速度慢、训练耗时长。引入辅助信息的深度估计网络的深度估计精度得到了进一步提升,但辅助信息的引入会造成网络结构复杂、收敛速度慢等问题。单目深度估计研究还存在许多的难题和挑战。利用多图像输入中包含的潜在信息和特定领域的约束信息,来提高单目深度估计的性能,逐渐成为了单目深度估计研究的趋势。     

基于图像融合的微表面快速三维重构算法研究*

在分析电子探针图像多样性与相关性特征的基础上,提出先应用提升小波进行快速图像融合,以提高图像信息量,然后根据微表面图像纹理相似性,抽取出高程数据,通过顶点数组方式快速重构三维立体场景。实验表明,此方法信息量大、操作简单、场景逼真,易形成交互场景,具有较好的实际应用价值。