融合2D/3D摄像机的方法与获取高精度三维视觉信息的装置

三维飞行时间摄像机可实时同步获取场景三维信息和灰度图像信息.虽然它存在图像分辨率和质量较差等问题,但它可作为二维摄像机的互补.本文借鉴立体视觉技术,提出了一种2D/3D摄像机融合的三维视觉信息获取方案.论文首先基于固定空间关系和相近视野原则,设计2D/3D立体摄像机系统对空间场景同步成像.结合三维TOF摄像机成像特性,论文借鉴立体视觉技术完成二维摄像机的高质量二维彩色图像与插补后的三维摄像机深度图像的匹配关联.因此,本方法可实现场景的高精度彩色图像和对应三维空间信息的实时同步获取,同时保留了二维摄像机的高质量彩色二维成像和三维摄像机的快速稠密三维信息获取的优势.2D/3D摄像机图像融合匹配算法复杂度低,匹配精度和准确度取决于二维摄像机和三维摄像机自身性能、摄像机标定参数精度和深度图像插补算法,不会引入新的运算误差.试验结果验证了本文算法的有效性和精确度.     

基于立体视觉的3D地形拼接

为了从月球车上的全景相机所捕获的立体图像对重建月球车周围的3D地形,给地面科学家制定科学探测指令提供一个直观的可视化平台,预先展开了基于立体视觉的3D地形重建的研究,主要介绍了在3D地形拼接方面的研究进展。当恢复出多个局部3D地形模型时,首先基于边缘检测和图像匹配技术提取出相邻局部模型之间的公共数据点,然后采用分离旋转变换和平移矢量的策略拟合出相邻模型之间的坐标转换关系,之后就可以将局部模型统一在同一个坐标系下。通过室内和室外多次实验验证了该拼接方案。     

三维重建中深度图像配准方法研究

三维重建是计算机视觉的主要目的,也是计算机图形学领域的研究热点。通过两两配准和多视角配准的深度介绍和举例说明,系统介绍了深度图像配准方法。通过这些方法可以大大简化三维物体的识别和定位等问题,开辟了机器视觉的一个新途径。     

多模态医学图像融合超声检查系统的设计与实现

超声检查系统所呈图像中缺乏三维结构信息,且商业的医学图像分析软件价格昂贵。为此,开发一款综合病灶部位的三维模型和二维超声图像各自特征以及对应空间关系的检查系统。基于开源的医学图像处理软件、商用的电磁定位系统和超声成像系统,在局域网环境下,遵循OpenIGTLink协议进行数据共享的超声检查系统。该系统主要由超声图像信息共享模块、超声图像显示模块、超声探头实时跟踪模块、2D/3D配准融合模块组成。实验结果表明,该系统可初步应用于临床教学和临床辅助诊断等领域,具有价格低廉、扩展性强、维护方便等优势。     

脊柱手术导航中分步式2D/3D图像配准方法

为实现微创脊柱手术导航,提出一种将脊柱术前CT与其术中X射线图像配准的方法.首先基于一种最近点迭代法进行快速粗配准;然后提取图像的梯度特征,根据投影变换原理,采用寻找具有CT最大梯度投影位置的方法进行精配准.在模拟数据及临床标本上进行实验的配准率分别为92%和78%. 实验结果表明:该方法鲁棒性强、人工干预少、适合于临床应用.     

基于多幅实拍照片为真实景物模型添加纹理

利用实拍照片为基于真实景物创建的几何模型添加纹理的方法正在受到广泛的关注,实拍照片与几何模型的配准是这项技术的关键.以往方法采用3D-2D特征点匹配或侧影轮廓线匹配的方法进行配准,因此对空间物体的表面特征或轮廓线形状有特殊的要求.提出了一种新的配准方法来解决这一问题,由于采用了基于图像重建的采样点模型与已知几何模型在空间中匹配的方法实现配准,因而充分利用了物体几何形状本身的拓扑和曲率等信息,并可以一次性地实现所有图像与空间物体的配准.实验结果表明,该方法可以解决一部分用以往的方法尚无法处理的实际问题,且在重建空间采样点分布较为合理的情形下,纹理映射效果非常理想.     

半自动全向图与卫星遥感图快速配准

折反射全向图和卫星遥感图配准属于异构传感器图像配准问题,目前快速有效的解决方法比较少,但应用需求又比较多,鉴于此,提出了一种基于等角原理的半自动快速配准算法。通过全向Hough变换方法提取全向图中建筑物顶部轮廓直线,同时手工找出卫星图中建筑物顶部轮廓直线,通过角度关系结合投票方法计算出全向图可能拍摄位置,并用所有可能位置组成可行集,从可行集中选出最满意解。仿真实验与实景实验均表明该方法快速有效。     

基于投影近似不变性的3D-2D医学图像配准

研究了同一病人的MRA和DSA图像之间的3D-2D配准问题,提出了一种基于投影近似不变性的配准算法,即在同一视角下,同一病人的三维MRA血管骨架的投影与二维DSA的骨架保持一致。通过定义二者之间的代价函数,并利用牛顿迭代法可得到视角参数的最优解。针对临床采集的MRA和DSA数据进行了实验,取得了较为满意的结果。     

基于改进平衡优化器的医学2D/3D图像快速配准算法

医学三维图像(如CT、MRI等)和二维图像(如X光)的配准技术已经被广泛应用于临床诊断和手术规划中. 医学图像配准的实质为使用优化算法寻找某种空间变换, 使两张图像在空间以及结构上对齐. 配准过程中往往由于优化算法寻优精度不高、易陷入局部极值的问题导致配准质量低. 针对此问题, 提出一种改进的平衡优化器算法(improved equilibrium optimizer based on Logistic-Tent chaos map and Levy flight, LTEO), 首先针对种群初始化容易分布不均匀, 且随机性太高的问题, 引入Logistic-Tent混沌映射对种群进行初始化, 提高种群多样性, 使它们尽可能地分布于搜索空间内; 对迭代函数进行更新, 使得优化算法更注重全局范围的搜索, 提高算法收敛速度并利于找到全局最优解; 引入Levy飞行策略对停滞粒子进行扰动, 防止算法陷入局部极值. 最后将改进的平衡优化器算法用于2D/3D医学图像配准任务, 并对配准过程中数据的频繁传输进行优化, 降低配准耗时. 通过基准函数测试和临床配准实验对算法进行验证, 改进后的平衡优化器可有效提高寻优精度和稳定性, 并提高医学图像配准的质量.     

彩色Range图像的三维模型重建

重建包含模型真实纹理的彩色三维模型是计算机视觉研究领域的一个重要问题,提出了一种基于2.5维深度图像的三维配准算法,同时利用原始数据中的几何以及纹理信息,对多幅深度图像进行两两配准和全局配准。新算法在两两配准阶段将纹理信息用于初选两幅图像的匹配点对,在全局配准阶段将纹理信息用于计算残差,并据此更新对应点对的权重值用于下一次迭代计算。该算法克服了以往算法在纹理、几何信息的参数尺度量化等方面的问题。     

基于姿态编码器的2D/3D脊椎医学图像实时配准方法

2D/3D医学图像配准是骨科手术三维实时导航中的一项关键技术,然而传统的基于优化迭代的2D/3D配准方法需要经过多次迭代计算,无法满足医生在手术过程中对于实时配准的要求。针对该问题,提出一种基于自编码器的姿态回归网络来通过隐空间解码捕获几何姿态信息,从而快速地回归出术中X射线图像对应的术前脊椎位置的3D姿态,并经过重新投影生成最终的配准图像。通过引入新的损失函数,以“粗细”结合配准的方式对模型进行约束,保证了姿态回归的精确度。在CTSpine1K脊椎数据集中抽取100组CT扫描图像进行10折交叉验证,实验结果表明：所提出的模型所生成的配准结果图像与X射线图像的平均绝对误差（MAE）为0.04,平均目标配准误差（mTRE）为1.16 mm,单帧耗时1.7 s。与基于传统优化的方法相比,该模型配准时间大幅缩短。相较于基于学习的方法,该模型在快速配准的同时,保证了较高的配准精度。可见,所提模型可以满足术中实时高精配准的要求。     

基于单类Kinect的人体三维重建与优化

使用单一运动的类Kinect深度相机重建和优化静态3D全身人体模型.首先针对类Kinect深度相机产生噪声原因提出一种降噪处理方法进行降噪.结合深度信息和RGB信息获取匹配块,使用高斯混合模型进行局部配准和逐层封闭曲线拟合方法进行全局配准,结合改进方向距离函数进行合并,最后使用泊松表面重建方法获取三维模型.实验结果表明,该方法能够重建出较高精度的三维人体模型.     

基于投影图像 SURF 特征提取的三维模型配准

针对传统三维模型配准方法存在对点云初始位置有一定要求、模型配准的精度有 时不高等问题,提出了一种基于三维模型投影图像 SURF 特征提取的三维模型配准方法。首先 通过扫描三维模型数据确定投影图像的范围,判断每个投影图像像素所隶属的模型网格,并求 解从投影图像到纹理图像的映射关系,从而获取二维投影图像;然后对这两幅投影图像分别进 行 SURF 特征点的选取与特征值的计算,并按 SURF 特征值进行特征匹配,再根据投影图像像 素点与三维网格端点的映射关系计算三维特征点对;最后通过匹配的特征点对求取模型变换矩 阵完成三维模型的配准。实验结果表明,该方法在配准时间变化不大的前提下,有效提高了配 准精度,并具有较好的鲁棒性。     

基于GPU的快速三维医学图像刚性配准技术*

自动三维配准将多个图像数据映射到同一坐标系中,在医学影像分析中有广泛的应用。但现有主流三维刚性配准算法(如FLIRT)速度较慢,2563大小数据的刚性配准需要300 s左右,不能满足快速临床应用的需求。为此提出了一种基于CUDA(compute unified device architecture)架构的快速三维配准技术,利用GPU(gra-phic processing unit)并行计算实现配准中的坐标变换、线性插值和相似性测度计算。临床三维医学图像上的实验表明,该技术在保持配准精度的前提下将速度提     

基于主方向傅里叶变换算子的2D/3D分级配准

目前的2D/3D医学图像配准方法的配准精度和效率存在矛盾,配准捕获范围小．为解决这些问题,本文提出一种基于主方向傅里叶变换算子的分级配准方法．首先,提出平面旋转平移不变性算子——主方向傅里叶变换算子．然后,提出基于主方向傅里叶变换算子的模板匹配初始化方法,可避免接近真值的初值需求,并显著扩大了捕获范围．最后,提出基于主方向傅里叶变换算子的分级配准框架,将配准搜索空间从O（n⁶）降到O（n²）,在保证配准精度的情况下大幅提高配准效率．在配准实验中,本文方法的配准精度为0.68 mm ±0.28 mm,配准时间为16.87 s ±3.77 s,捕获范围大于100 mm．因此,所提出的基于主方向傅里叶变换算子的分级配准方法可以满足2D/3D图像配准在相关临床应用中精度、效率及捕获范围的需求．     

基于RGB-D数据的目标分割与实时重建方法

应用RGB-D传感器进行三维重建具有速度和成本的优势,并可获取纹理信息,但扫描数据易受干扰。针对有干扰的外部环境,提出一种基于RGB-D数据的目标分割与重建方法。首先为改善输入图像质量,采用多帧叠加的中值滤波对信息缺失的位置进行预处理。接着,利用静态减除和动态3D Mean-shift相结合的方法分割目标,实现对目标物体的实时定位。最后使用一种优化的点到面ICP方法进行配准,并在此基础上利用随机抽样算法对点云的配准进行加速。采用该方法实现的原型系统能够支持含有背景和一定干扰下的小物体配准,且能有效提高三维重建的速度和自动化程度。     

一种快速的三维扫描数据自动配准方法

研究了两幅和多幅深度图像的自动配准问题.在配准两幅深度图像时,结合二维纹理图像配准深度图像,具体过程是:首先,从扫描数据中提取纹理图像,特别地,针对不包含纹理图像的扫描数据提出了一种根据深度图像直接生成纹理图像的方法;然后,基于SIFT(scale-invariant feature transform)特征提取纹理图像中的兴趣像素,并通过预过滤和交叉检验兴趣像素等方法从中找出匹配像素对的候选集;之后,使用RANSAC(random sample consensus)算法,根据三维几何信息的约束找出候选集中正确的匹配像素对和相对应的匹配顶点对,并根据这些匹配顶点对计算出两幅深度图像间的刚体置换矩阵;最后,使用改进的ICP(iterative closest point)算法优化这一结果.在配准多幅深度图像时,提出了一种快速构建模型图的方法,可以避免对任意两幅深度图像作配准,提高了配准速度.该方法已成功应用于多种文物的三维逼真建模.     

基于医学图像的三维测量技术研究和实现

针对由序列断层医学图像重建得到的三维图形,提出一种交互式三维测量技术.首先通过光线投射法实现了对三维空间中任意一点的拾取,将用户指定的屏幕二维坐标点转化为立体坐标系下的空间三维坐标.选取空间中两点后即可以对三维重建后的病人器官进行测量,得到较为满意的结果.此外,在原有拾取方法的基础上,作出一定改进,使用户更方便地获取空间中任意一点的坐标.     

基于CT切片的人脸三维重建

人类感知外界信息,80%是通过视觉得到的。三维重建一直是计算机视觉领域最热门的研究方向之一。研究了基于医学图像的三维重建,从一系列二维断层医学图像中重构出三维实体,以便满足医学应用。     

基于Java 3D的医学图像三维重建系统

系统采用分层组件化的设计思想,在逻辑上分为三层:图像预处理层、图像分割层和用户界面层,实现了医学图像的二维标注与测量、三维体数据的分割、三维重建与交互功能。介绍了系统的体系结构和系统开发的主要技术方法。最后指出了系统的实用性和对医学研究方面的价值。