基于正侧位投影约束的空间配准与脊柱手术导航

为提高机器人辅助脊柱手术的精确性、安全性以及易用性,将术前CT 图像与术中X 射线图像配准． 传统单平面配准法因缺乏沿光轴的深度信息而导致导航误差较大,本文通过同时计算正侧位透视图像来提高配准与 导航精度．通过分析正侧位投影空间变换模型,利用该双平面几何约束实现自动的配准初值估计并建立3 维手术空 间与CT 空间的映射．在虚拟X 射线导航基础上,利用立体视觉定位计算手术器械在CT 空间的实时位姿从而实现 3 维导航．脊柱体模实验证明该配准与导航方法的精度满足手术要求,动物椎板磨削实验表明该系统可实现实时监 控,提高手术安全性．     

一种基于 Kinect 相机的腹部肝穿刺介入导航系统

为验证 Kinect 相机用于腹部肝穿刺介入导航的可行性,开发了一套基于第二代 Kinect 相机 的被动光学定位导航系统。该系统实现了一种无标记术中注册方法,分别从术前腹部 X-射线计算机断层图像和 Kinect 相机获取的彩色及深度图像中提出腹部表面点云数据做匹配,实现术中数据与术前 数据融合。为验证系统的导航精度,分别在 1 个腹部体模和 6 只健康比格犬肝脏区域做了穿刺导航实验,穿刺结果分别统计了靶点配准误差、用户手动误差和靶点定位误差。体模实验显示,靶点配准误 差、用户手动误差和靶点定位误差分别为(4.26±1.94)mm、(2.92±1.67)mm、(5.23±2.29)mm。同 时比较了第一代和第二代 Kinect 相机应用于穿刺导航的性能,实验结果表明,第二代相机的导航精度明显高于第一代。动物实验中得到的靶点定位误差及其横向、径向误差分量为(6.40±2.72)mm、 (4.30±2.51)mm、(3.80±3.11)mm。由实验结果可知,该研究成功验证了 Kinect 相机用于腹部肝穿刺介入手术导航的可行性。     

基于Kinect的机器人辅助超声扫描系统研究

提出一种采用Kinect传感器作为视觉伺服的机器人辅助超声扫描系统,来规划引导机器人的扫描路线,以实现机器人辅助的超声扫描操作。系统由Kinect传感器、机器人和超声探头组成。采用Kinect实时获取超声探头的RGB图像和深度图像,并计算探头当前位姿,结合坐标系配准结果,得到机器人的位姿信息,再根据术前的机器人轨迹规划,引导机器人的超声扫描路径。开展腿部模型实验验证本系统的可行性,通过对Kinect传感器的相机标定实验,计算得到了RGB相机和深度相机的内外参数,通过对探头上标识物的定位,进而计算出探头当前位姿,结合Kinect与机器人坐标系的配准结果,得到了两者的转换矩阵,并对机器人的位置给出指令,引导机械臂夹持探头到达指定扫描位置。在机器人夹持超声探头扫描过程中,实时计算探头与腿部之间的距离,以保证所采集超声图像的质量及扫描操作的安全性。实验结果表明,在Kinect视觉系统的导航引导下,机器人可以夹持超声探头实现自主超声扫描,以减少超声医师的扫描时间,降低医师的劳动强度。     

基于姿态编码器的2D/3D脊椎医学图像实时配准方法

2D/3D医学图像配准是骨科手术三维实时导航中的一项关键技术,然而传统的基于优化迭代的2D/3D配准方法需要经过多次迭代计算,无法满足医生在手术过程中对于实时配准的要求。针对该问题,提出一种基于自编码器的姿态回归网络来通过隐空间解码捕获几何姿态信息,从而快速地回归出术中X射线图像对应的术前脊椎位置的3D姿态,并经过重新投影生成最终的配准图像。通过引入新的损失函数,以“粗细”结合配准的方式对模型进行约束,保证了姿态回归的精确度。在CTSpine1K脊椎数据集中抽取100组CT扫描图像进行10折交叉验证,实验结果表明：所提出的模型所生成的配准结果图像与X射线图像的平均绝对误差（MAE）为0.04,平均目标配准误差（mTRE）为1.16 mm,单帧耗时1.7 s。与基于传统优化的方法相比,该模型配准时间大幅缩短。相较于基于学习的方法,该模型在快速配准的同时,保证了较高的配准精度。可见,所提模型可以满足术中实时高精配准的要求。     

基于电磁定位的椎弓根穿刺导航研究

项目主要包含CT图像预处理、脊椎的三维模型重建、手术前的椎弓根螺钉穿刺路径的规划、手术注册以及基于电磁定位的术中实时导航和纠偏报警四大部分。DICOM医学图像的预处理方面,主要包括对图像的灰度化、二值化和阂值分割。三维重建方面,实现体绘制和面绘制,最终期望模型为基于面绘制的三维模型。手术穿刺路径规划方面,首先在三维模型中勾画出病灶区域即靶点,然后依据解剖学知识和医生的经验并参考影像信息,确定入刺点,连接入刺点和靶点则路径规划完成,最后依据手术偏移路径数据库实时分析穿刺路径是否超出设定阈值,并将存储的数据反映到用户界面中予以反馈警报。     

多模态医学图像融合超声检查系统的设计与实现

超声检查系统所呈图像中缺乏三维结构信息,且商业的医学图像分析软件价格昂贵。为此,开发一款综合病灶部位的三维模型和二维超声图像各自特征以及对应空间关系的检查系统。基于开源的医学图像处理软件、商用的电磁定位系统和超声成像系统,在局域网环境下,遵循OpenIGTLink协议进行数据共享的超声检查系统。该系统主要由超声图像信息共享模块、超声图像显示模块、超声探头实时跟踪模块、2D/3D配准融合模块组成。实验结果表明,该系统可初步应用于临床教学和临床辅助诊断等领域,具有价格低廉、扩展性强、维护方便等优势。     

基于超声影像导航的肝癌消融机器人系统的误差传递

建立了基于超声影像导航的肝癌消融机器人系统误差传递模型．该系统主要由超声影像设备、导航 软件子系统、定位装置和穿刺机器人四个模块组成．机器人系统首先通过三维超声重建、术前模型和术中实体的 配准以及定位装置和机器人之间的坐标转换将肿瘤的目标靶点转化到机器人坐标系中,然后再控制机器人运动到 指定的靶点位置进行治疗．首先分析上述流程,指出误差源．然后,利用齐次变换矩阵的微分矩阵建立靶点映射 误差传递模型,并通过仿真实验验证了靶点误差模型的正确性．最后,对系统进行了精度测试实验,实验结果表 明该系统的总体误差小于5 mm,满足消融治疗肝癌的需求,能有效地提高肝癌的治疗效果．     

机器人辅助微创全膝关节置换手术系统

开发了面向全膝关节置换手术的机器人辅助截骨系统,实现了膝关节解剖结构精准建模、术前截骨路径3维规划、图像配准以及术中机器人可视化导航.采用多模态图像融合与主动轮廓模型分割技术实现了包含关节软骨在内的膝关节自动化建模与可视化;在此基础上采用3维交互技术实现截骨路径的术前规划;术中基于自主研发的双目视觉跟踪系统,采集关节骨表面3维点云与术前3维模型进行形状配准,完成图像空间和机器人空间之间的映射;最后通过视觉导航技术引导机器人完成截骨操作.实验结果表明,机器人系统综合定位误差为0.87 mm,截骨操作误差小于1 mm.     

基于机器学习和几何变换的实时2D/3D脊椎配准

在图像引导的脊柱手术中,实时高效的2D/3D配准是一项重要且具有挑战性的任务.通常的2D/3D配准一般是将三维图像投影到二维平面,然后进行2D/2D的配准.由于投影空间涉及到3个平移以及3个旋转参数,其投影空间的复杂度为O（n6）,使得配准很难兼具高准确性和高实时性.本文提出了一个结合机器学习与几何变换的2D/3D配准方法,首先,使用统计形状模型对目标脊椎进行建模,并构建了一种新的投影方式,使得6个投影参数中的4个可以使用几何的方法计算出来;接下来利用回归学习的方法学习目标脊椎的形状与投影参数之间的关系;最终,结合学到的关系和几何变换完成配准.本方法的两个姿态参数的平均预测误差为0.84°和0.81°,平均目标配准误差（Mean target registration error,mTRE）为0.87mm,平均配准时间为0.9s.实验结果表明本方法具有很好的实时性和准确性.     

一种基于光学定位的自由式三维超声系统研发

自由式三维超声成像是一种新型的采用二维超声原理进行任意部位三维成像的设备,可以在传统的二维超声探头上固定用于空间定位的标记物,对扫描对象进行任意部位、大范围的三维扫描成像。文章介绍了一种可应用于微创手术导航的自由式三维超声成像系统,并详细分析了当前基于距离加权的三维超声重建算法的性能和优缺点。通过对体模和动物器官的超声图像扫描,并使用三维重建系统分别进行超声三维重建,得出了比较满意的结果,验证了三维重建算法及三维重建系统的可行性和有效性。     

基于双目视觉的盆腔微创手术增强现实导航仿真系统的设计

基于内窥镜视觉导航的盆腔微创手术,往往因为病灶的复杂解剖位置以及内窥镜视野的局限性,对手术的顺利开展提出了重要的挑战。针对这个问题,设计并开发一套基于立体视觉的盆腔微创手术的增强现实（AR）导航仿真系统。首先,利用术前的CT影像重建骨盆3D模型以及盆腔的真实手术视频,生成带有纹理信息的骨盆3D模型,仿真一套具有真实轨迹的手术视频;然后,利用基于可视点颜色一致性的2D/3D配准技术,实现术前重建模型与手术视野的初始化配准。利用立体视觉跟踪算法,对手术过程中的内窥镜位置进行跟踪,根据内窥镜多自由度的变换矩阵来实现术前3D模型与手术视野的融合与增强现实导航。估计轨迹与真实轨迹的均方根误差为2.3933 mm,仿真实验表明,导航系统为视觉导航提供良好的增强现实显示效果。     

三维扫描测头精确跟踪的摄影测量方法

针对传统三维扫描测量机器人依赖于机器人的定位精度从而难以实现高精度测量的问题,提出了一种三维扫描测头精确跟踪定位的摄影测量方法。首先,搭建由多个工业摄像机构成的测头跟踪系统,并在机器人的扫描测头上粘贴编码标志点;然后,对摄像机进行高精度标定,求解出摄像机内外参数;其次,多摄像机同步采样,对图像中的标志点依据编码原理进行匹配,并求出投影矩阵;最终,求解出编码标志点在空间中的三维坐标,实现三维扫描测头的跟踪定位。实验结果表明,标志点定位在距离上的平均误差为0.293 mm,在角度上的平均误差为0.136°,算法精度在合理范围之内。采用该摄影测量方法可以提高扫描测头的定位精度,从而实现高精度测量。     

基于电磁定位的手术导航探针可视化与实时跟踪技术

针对手术导航探针可视化与实时跟踪技术进行了研究.文中对电磁定位方法进行了介绍,设计了电磁定位下具有数据采集功能的探针.首先,应用3维实体造型技术构建探针的模型,完成实体几何模型向3维表面模型的转化.其次,使用旋转.沣册方法对针尖进行注册,并进行了精度测试.然后,应用最近点迭代(ICP)算法实现CT模型与患者位置的术中注...     

3D navigation and monitoring for spinal milling operation based on registration between multiplanar fluoroscopy and CT images

Milling operations in spinal surgery demand much experience and skill for the surgeon to perform the procedure safely. A 3D navigation method is introduced aiming at providing a monitoring system with enhanced safety and minimal intraoperative interaction. An automatic registration method is presented to establish the 3D-3D transformation between the preoperative CT images and a common reference system in the surgical space, and an intensity-based similarity metric adapted for the multi-planar configuration is introduced in the registration procedure. A critical region is defined for real-time monitoring in order to prevent penetration of the lamina and avoid violation of nerve structures. The contour of the spinal canal is reconstructed as the critical region, and different levels of warning limits are defined. During the milling procedure, the position of the surgical instrument relative to the critical region is provided with augmented display and audio warnings. Timely alarm is provided for surgeons to prevent surgical failure when the mill approaches the critical region. Our validation experiment shows that real-time 3D navigation and monitoring is advantageous for improving the safety of the milling operation.     

FPGA-based real-time 3D image preprocessing for image-guided medical interventions

Minimally invasive image-guided interventions (IGIs) are time and cost efficient, minimize unintended damage to healthy tissue, and lead to faster patient recovery. One emerging trend in IGI workflow is to use volumetric imaging modalities such as low-dose computed tomography (CT) and 3D ultrasound to provide real-time, accurate anatomical information intraoperatively. These intraoperative images, however, are often characterized by quantum (in low-dose CT) or speckle (in ultrasound) noise and must be enhanced prior to any advanced image processing. Anisotropic diffusion filtering and median filtering have been shown to be effective in enhancing and improving the visual quality of these images. However, achieving real-time performance, as required by IGIs, using software-only implementations is challenging because of the sheer size of the images and the arithmetic complexity of the filtering operations. We present a field-programmable gate array-based reconfigurable architecture for real-time preprocessing of intraoperative 3D images. The proposed architecture provides programmable kernels for 3D anisotropic diffusion filtering and 3D median filtering within the same framework. The implementation of this architecture using an Altera Stratix-II device achieved a voxel processing rate close to 200 MHz, which enables the use of these processing techniques in the IGI workflow prior to advanced operations such as segmentation, registration, and visualization.

下颌骨CT序列图象的三维重建

在对医学图象三维重建的研究现状和已有的重建方法进行分析的基础上，从牙科医生进行牙种植手术的实际情况出发，提出了一种简单，实用的三维图象重建算法－影像配准叠加法，该方法的基本思路是：首先对二维CT数字图象进行影像纠正，内插和配准，以确定每个像素的三维坐标值，再按其空间位置关系给每个像素点设置适当的透明度，然后进行影像配准叠加，以便在二维屏幕上显示出具有立体感的真三维图象来，实验结果表明，该方法定位精度高，重建图象失真度小，既能作定性观察，又能作定量测量，并且测量数据精度较高。     

基于多传感器融合的车载三维测量系统时空配准

在车载三维测量系统中,为了快速、实时、完整地获取数字城市中所需要的三维空间信息,集成了全球定位系统(GPS)、激光扫描仪(LS)等多种传感器,其中,数据的处理应用了多传感器数据融合原理。各传感器间的空间配准和时间配准是多传感器数据信息有效融合的关键。通过解算各传感器坐标系间关系和利用激光扫描仪的时间记录功能、GPS时间打标功能解决了空间配准和时间配准问题,成功地应用于"近景目标三维测量技术",取得了预期的效果,并给出了实验结果。