基于图像处理的三维工业内窥镜研究

介绍了一种三维工业内窥镜系统,该系统是基于立体显示中的双目立体视觉原理,应用于工业检测的光电仪器.对双目立体视觉的视差原理及立体图像算法进行了分析和介绍,对三维工业内窥镜的图像处理系统、图像显示和硬件电路等进行了研究.在该系统中利用VHDL语言的软件编程、并采用时分制立体显示方案.采用视频解码芯片ADV7402实现多种视频格式的输入;采用LFXP6C-3P208芯片及利用VHDL语言编程,实现双路视频的采样、合成及处理.系统实现了内视立体观察和尺寸的立体测量.     

立体图像视频格式及其转换技术研究

在视差原理的基础上,结合双目立体视觉几何模型,得出裸眼立体显示的光路分布特点,并在此基础上研制成功立体显示器样机。对立体视图的映射关系做了详细解析,提出了合适的立体图像视频格式及其转换算法,实验结果表明研究方法和结论正确。     

水下双目立体视觉对应点匹配与三维重建方法研究

针对水下双目立体视觉成像稠密立体匹配因不满足空气中极线约束问题,提出一种水下对应点匹配与三维测量方法,可将水下双目相机采集的立体图像校正为符合共面行对齐原则的图像对,再套用空气中成熟的立体匹配方法得到水下左右相机图像视差图,从而实现水下目标的三维重建。首先,将进入相机的所有光线总和看成光场,采用四维光场参数表达对每一条光线建模,据此建立相机的折射成像模型和双目立体视觉模型并计算光线的方向向量;根据光线的光场表达将光线转化为点矢量的形式,计算方向图像上任意像点对应原图像的像素坐标并确定位置映射关系。通过插值即可快速得到符合行对齐原则的左、右方向图像,并最终获得每条光线对应的视差图。仿真结果表明,方向图像的行对齐误差小于0.8 pixel。水池实验采用事先标定的靶球作为目标物,利用随机散点主动投射以增加目标物表面的纹理信息,对靶球多次测量的均方根误差为2.8 mm,具有较高的测量精度。     

基于双目立体视觉的齿轮端面高度测量方法

为了实现齿轮端面高度的高精度非接触式测量,提出基于双目立体视觉的齿轮端面高度测量方法。创新性地使用可滑动固定基线距离的单目CCD相机代替传统的双目相机获取齿轮双目图像。在获取双目图像后,通过双目相机标定实现齿轮图像立体矫正。基于改进的SGBM算法对矫正后的双目图像进行立体匹配,获取视差图和相机坐标系下平面三维坐标点,对上下平面的三维坐标点进行最小二乘拟合,从而获取上下平面的深度信息,上下平面深度相减即可实现齿轮端面高度的测量。使用直齿轮进行了视觉测量实验,实验结果表明,提出的测量系统及方法具有较高的精度和稳定性。     

单目内窥镜图像三维显示方法研究

在微创手术中,由于人体组织结构复杂,内部器官纹理模糊,梯度复杂,仅借助2D显示平台会增加手术风险,同时也降低了对计算机辅助算法的性能,因此需要对内窥镜图像进行三维显示,此方法可以使医生观察更具有立体感。本文提出一种基于神经网络的三维显示方法。采用腹腔镜图像作为内窥镜图像,由汉姆林中心腹腔镜/内窥镜视频数据集(http://hamlyn.doc.ic.ac.uk/vision/)提供的真实腹腔镜图像,数据集总共包含32400对双目内窥镜图像,其中本文仅采用左目图像作为训练数据集,图片的尺寸为384×192。首先将内窥镜图像传入神经网络模型求取深度信息;有效视差图和左目图像经过三维空间点运算得出右目图;对初始右目图像进行空洞填充优化;分离原图的红色分量与视差结合,再与原图蓝绿分量融合得到三维图像,只要佩戴红蓝眼镜即可观察内窥镜图像三维显示结果。     

耳鼻喉内窥镜视频高清光学系统设计与实现

为了实现高清数字化医疗内窥成像,使用成像质量良好的耦合透镜系统耦合内窥镜目镜和CCD相机,成为高清视频内窥镜。基于实际应用的要求,设计了一个适用于耳鼻喉科内窥镜耦合CCD相机的透镜系统,该系统可以用于1/1.8in(1in=25.4mm)、200万像素的CCD相机成像,并且具有12°视场角,4.4的F数。在调制传递函数(MTF)大于0.1判据下,透镜系统各视场的分辨率都在111lp/mm以上,在全视场范围都能取得很好的成像效果。实际测试表明,该系统光学成像清楚,图像细节表现明显,分辨率达到了高清成像的要求,虽然结构简单,但达到了预期的设计目标,不但有利于加工和装配,而且降低了大量的成本。     

一种双目分时显微立体成像系统的研制

微操作系统进行三维精细操作,要求视觉传感器输出立体感较强的图像。本文在论述立体成像发展概况和基本原理的基础上,应用双目分时多路显示技术,设计和研制了微操作系统中的显微立体成像系统,并指出该系统的优点和不足。     

接触线双目视觉测量系统标定及立体校正方法研究

由于单个相机的镜头焦距和像面中心位置均存在偏差,且镜头成像存在畸变,而双目测量系统的两个相机的相对位置参数也不可避免存在误差,这将直接影响双目测量结果的可靠性与精度。因此,必须对每个相机的参数及两相机的位置关系进行精确标定。利用张正友的平面模板两步法对相机的内参数矩阵、外参数矩阵、镜头畸变参数和两相机的相对位置关系进行标定;然后,基于所得到的标定结果,应用bouguet立体校正方法对两相机拍摄的一对图像进行校正。实验结果表明,两相机的平均重投影误差均小于0.2个像素,达到了比较理想的标定精度。而且,通过bouguet立体校正,可使得非共面、非行对齐的一对图像实现共面和行对齐,充分证明了标定结果的准确性与可靠性。对接触线及类似目标的双目测量系统设计开发与标定提供了重要参考与理论依据。     

结合立体视觉与超像素技术的道路障碍物概率检测

针对道路障碍物检测问题,提出了一种基于立体视觉与超像素技术的双目障碍物概率检测算法。该算法首先利用双目相机采集的左右视图进行立体匹配获取视差图,通过三维重建到得3D点云,然后采用最小二乘法拟合地平面方程,并计算图像空间点到地平面的距离,接着使用SLIC算法得到超像素,并计算超像素到地平面的中值距离,最后使用逻辑回归方法和信任函数计算像素为障碍物的概率。实验结果表明,该方法能够可靠地检测道路障碍物,并为障碍物检测的多传感器融合方法提供有价值的概率数据。     

基于ZYNQ的水下双目实时图像采集与处理系统设计

针对水下机器人近距离作业过程的水下目标探测需求,设计了一种基于ZYNQ的双目实时图像采集与处理系统,研制了水下双目相机工程样机。该系统由FPGA采集OV5640图像传感器的视频数据,经IP核转换为VDMA支持的接口类型,通过AXI4总线将数据传输到PS端的DDR中缓存,然后通过PS端的以太网将数据发送至上位机软件,数据经上位机软件解析后即可实现双目图像的实时显示与处理。实验结果表明：系统实现了在25 frame/s帧率下1600 pixel×600 pixel图像的实时采集和存储,双目图像标定后的重投影误差平均值为0.0542 pixel,通过立体校正实现了双目图像行对齐。这为进一步测试和实现水下目标测量定位及三维重建提供了可靠平台。     

基于OpenGL的双目摄像机的实时3D显示

文章阐述了3D显示的基本原理以及几种主流的3D显示实现方法,并介绍了在Visual C++6.0环境下,如何应用开放图形库——OpenGL实现双目立体视觉摄像机的立体显示。     

三维测量工业内窥镜的双目光学系统

针对国内工业内窥镜只限于观察,无法满足工件三维尺寸测量的现状,设计了一种探头外径为6 mm并且可以向任意方向弯曲的三维测量工业内窥镜,并介绍了该内窥镜的双目光学系统及镜体内部结构的设计。首先,基于双目立体成像的原理,提出了一种具有双物镜、单图像传感器的新型双目光学系统。其次,根据光学系统的技术要求,设计了内窥镜的头部结构。考虑到一些工件内部结构比较复杂,分别设计了内窥镜的可弯曲结构以及后部操控机构以方便一些精密工件的检测。最后,通过三维图像处理软件对待测物表面两个特征点进行长度测量试验,得到了两个特征点的间距。实验结果表明：待测物表面两个特征点的长度测量误差在±0.2 mm内。该系统基本实现了工业内窥镜的三维测量功能。     

基于光纤局域网的远距离多路视频监控系统的研究

在武器试验的安全监控中,为了解决数字视频监控系统的远距离视频采集和实时设置视频设备各种参数的问题,提出了一种基于光纤局域网(LAN)的远距离多路视频监控系统,并利用第三方SDK软件包的二次开发实现视频采集和相机参数控制,最后进行了实验测试.结果表明:该系统具有网络负担小、界面友好、参数设置灵活、使用维护方便等优点,从而...     

GPS双目摄像机标定及空间坐标重建

为减轻双目摄像机标定过程中对高精度靶标的依赖,实现摄像机参数的精确标定,并对空间坐标进行高精度重建,提出一种GPS双目摄像机标定及空间坐标重建方法,采用GPS代替2D或3D靶标进行双目摄像机标定。将GPS的位置在视场中任意移动,由被标摄像机拍摄多组含有GPS的图像,利用空间三维坐标与图像二维坐标间的映射关系,结合摄像机成像模型和双目摄像机标定原理,标定出双目摄像机参数,并对空间坐标进行精确重建。通过空间重建坐标与GPS实际测量值之间的相对距离误差,对重建精度进行检验。实验证明,该方法能够克服双目摄像机标定过程中对高精度靶标的依赖,空间重建坐标具有较高的精度,相对距离误差从1.56%减小到0.52%。     

立体电子内窥镜的工作原理与发展现状

在电子内窥镜基础上结合计算机技术及立体显示技术发展起来的立体电子内窥镜以立体图像观察人体内部,从而不仅提高医疗诊断的准确性,并且使内窥镜越来越多的参与到手术中,对于微创手术具有重要的意义。本文介绍了立体电子内窥镜中立体显示技术及其系统结构,描述了立体电子内窥镜的发展现状,并展示了当前前沿的机器人辅助手术系统中内窥镜导航系统的组成。     

基于相机阵列的三维集成成像记录系统

基于三维集成成像理论以及相机阵列和显示透镜阵列之间的对应关系,利用几何成像理论和光线追踪方法对不匹配全光学集成成像记录系统进行了理论分析,得到了主要记录参数(记录距离和相机间隔)和集成成像显示特性之间的关系。提出了一种非匹配系统中相机阵列记录系统参数的设计方法,并设计了相机阵列记录系统。计算得到了系统的关键参数为记录距离49.6cm,相机间隔25mm。对提出的方法进行了实验验证,结果表明,提出的相机阵列光学记录系统能够完整记录场景的三维信息,三维显示特性基本达到了设计指标,相机阵列的主要记录参数与集成成像三维显示特性的关系符合理论分析,验证了提出方法及系统设计的可行性。提出的系统可为不匹配全光学集成成像系统显示提供大场景、高分辨率微图像阵列。     

Modeling of binocular vision system for 3D reconstruction with improved genetic algorithms

This paper models the binocular vision system focused on 3D reconstruction and describes an improved genetic algorithm (GA) for estimating camera system parameters. The two-camera system model that takes into account camera radial distortion includes a total of 24 parameters. The proposed improved GA is used to solve this nonlinear optimization problem with high dimension. In our improved GA, the adaptive control of camera parameter search interval and the catastrophe strategy with elitist preservation are employed. The experimental results indicate that our improved GA is effective to solve the multi-peak function optimization problem and the 3D reconstruction accuracy of the binocular vision system is promising.