基于Harris-SIFT算法和全卷积深度预测的显微镜成像的三维重建研究

针对珠宝、矿物和金属样本等立体标本在显微镜局部放大观测时存在弱纹理、反光等问题,本文提出了一种适用于显微镜应用场景下基于特征提取的多视图立体三维重建算法。将显微镜镜头角度固定,通过移动载物台对立体标本进行多角度成像获得图像序列。通过将Harris与SIFT算法的优势相结合将原本SFM方法重建中的SIFT算法改进为Harris-SIFT算法进行特征提取与匹配,提升了对显微图像在弱纹理区域特征信息提取的性能。通过使用与深度残差网络相结合的全卷积神经网络对输入的图像进行深度估计和预测,将预测的深度信息通过阈值法与MVS深度图相融合,对MVS深度图进行修正,重建出物体的稠密点云,提升了重建结构完整性并提取到更多的点云数目。在基恩仕VHX-6000数码显微系统进行实验表明,本算法比原始MVS重建算法重建的点云模型点云数目多31.25%,整体重建时间节省了21.16%。     

采用双目视觉测深建立物体的投影视图

介绍了用边缘检测提取平面图像的边缘，并利用射影几何原理的三维信息恢复方法．双目平行视觉进行测深，对像平面所反映的物体进行三维标定，然后利用透视不变量一交比对像进行变，得到物体在像平面的正投影视图。从基于图像的三维信息恢复的基本输入输出的问题入手，详细阐明了双目视觉模拟基于图像的三维深度信息恢复方法，并利用该方法恢复物体的正投影视图。     

一种基于基元匹配的立体图像修复算法

针对立体图像修复中直接采用二维图像修复算法所导致的深度信息修复效果欠佳的问题,提出一种基于基元匹配的立体图像修复算法.通过在立体图像左右视图间进行基元匹配,求得各个像素对应目标的深度信息;然后通过平滑深度求得缺损区域的深度数据;最后通过立体图像成像公式计算出左视图中用于填补右视图缺损区域的对应像素点坐标.通过与Criminisi算法进行对比实验,结果表明,对于多幅缺损的立体图像,该算法均取得了较好的修复效果.     

一种新颖的微机电系统微结构显微图像三维自动拼接方法

提出一种基于白光垂直扫描显微镜(White-light vertical scanning interference microscopy,WVSIM)的微机电系统(Micro electro mechanical systems,MEMS)微结构三维自动拼接方法,来获得包含完整MEMS信息的大视场、高分辨率的MEMS微结构显微图像,以满足MEMS微结构功能特征分析、评定的需要。通过分析白光垂直扫描显微成像原理,将MEMS微结构显微图像的三维拼接分解为x-y向拼接与z向高度校正。将二维图像配准的尺度不变特征变换特征匹配算法应用到MEMS微结构显微图像的三维拼接中,实现MEMS微结构显微图像的智能、鲁棒三维自动拼接。试验表明,该方法不需要超高精度的硬件,解决了任意形状MEMS微结构显微图像的高精度三维自动拼接问题。横向拼接精度可达0.8μm,纵向拼接精度小于1 nm。     

联合光度立体视觉和图像校正的磨粒三维形貌重建

分析铁谱技术在机械装备磨损状态检测中发挥了重要作用,但其仅能提供磨粒二维图像,导致磨粒形貌信息不足。为实现磨粒三维形貌的精确重建,联合光度立体视觉和图像校正,为精确重建磨粒的三维形貌,联合光度立体视觉和图像。该方法首先采用大津阈值法由全光源图像识别磨粒与背景区域;然后为消除LED发光强度差异对磨粒形貌重建的影响,结合平面形状和朗伯反射模型确定背景区域的理想成像亮度,并校正各光度图像序列的亮度;最后根据光度立体视觉方法,由校正后光度图像序列重建磨粒的三维形貌。以不同类型的磨粒为测试样本,将所提出的方法的重建结果与激光共聚焦显微镜的测量结果进行对比。结果表明：重建磨粒的形貌参数误差小于15%,表明提出的方法能够精确重建磨粒的三维形貌。     

基于多图像融合的MEMS显微三维形貌重构

针对微型机电系统(MEMS)的三维测量,显微镜或光学轮廓干涉仪等传统方法存在显微测量精度低、设备成本高等问题,且当结构含有较多断裂面时,解包裹算法效果欠佳。本文提出一种基于多图像融合的MEMS显微三维测量方法。不同于多角度显微三维测量方法,本研究首先利用单目显微镜,通过单一轴向移动获取一系列测量目标深度信息的单一角度图像,并利用去雾算法对图像进行预处理,实现了去噪和有效信息提取的目的;然后通过聚焦测度算法获取待测对象的深度信息;最后利用数据处理软件进行三维拟合。基于上述原理,本文以焦平面阵列(FPA)作为待测目标进行了测量实验。本文提出的三维测量方法和图像处理算法可获得更准确的FPA形貌,可清晰显示反射面与支腿部分及反射面上的释放孔,测得FPA的支腿长度为110.6μm,每个反射面的像元尺寸为120.8μm×70.8μm,与设计值基本吻合,解决了断裂面难以测量的问题,同时降低了微结构测量的难度和成本。单目显微镜单向移动的多图像融合测量技术对MEMS的三维形貌测量具有重要意义,去雾算法在图像融合与三维测量的图像处理也有很好的应用价值。     

基于二维图像的三维重建技术研究

针对在拍摄过程中,三维图像转化为二维图像时容易丢失深度信息,使得通过该二维图像重建出所对应的三维图像比较困难的问题。依据双目视觉技术,采用两个摄相机来完成研究对象的三维重建,既减小了整个系统的成本,又简化了三维重建的操作过程。通过研究所搭建的双目平台相机拍摄图像以及进行相机标定,再根据改进的边缘提取算法结合Harris算法对图像的特征点进行检测,并利用SAD算法对图像的特征点进行立体匹配,最后利用三角测量原理提取到目标图像的深度信息,最终实现对矩形量块的图像的三维图像的重建。实验结果证明,该方法取得了满意的实验效果。     

基于并行共聚焦显微系统的物方差动轴向测量

差动共聚焦显微成像技术可以获得很高的轴向测量精度,然而已有的差动共聚焦测量技术主要适用于激光扫描共聚焦,还不能满足微纳加工过程中对工件进行非接触式的在线、在位测量的要求。本文在分析差动共聚焦显微成像系统能够实现轴向测量原理的基础上,提出了适用于并行共聚焦技术的轴向测量方法。该方法利用均匀白光照明,在像方只需要使用一台相机做探测器,在物方通过移动载物台分别对样品在焦前和焦后两次成像,根据预先刻度好的差动曲线就可以得出物体表面的高度。理论模拟与实验结果均表明,该方法可以实现高精度的轴向测量,对500nm的台阶样品测量的平均误差为2.9nm,相对误差为0.58%。该方法简单、廉价、测量精度高,可以用于普通显微镜,易于实现样品的三维快速形貌还原与测量。     

基于像差补偿的近红外显微干涉硅通孔测量

为了实现深宽比大于6∶1的硅通孔的形貌测量，提出了一种基于像差补偿的近红外显微干涉检测方法。该方法采用近红外宽带光作为光源，能够穿透硅通孔，检测系统中内置变形镜自适应像差补偿模块，主动补偿硅通孔引入的调制像差。在检测硅通孔三维形貌时，依据COMSOL Multiphysics有限元仿真软件得到的三维硅通孔高深宽比结构对探测光的调制像差规律，指导设置需变形镜补偿的像差种类和量值，用基于频域的评价函数指标阈值，判定硅通孔底部图像的聚焦状态，获得待测硅通孔清晰的底部图像，本质上提升探测光的重聚焦能力。在此基础上，使用垂直扫描干涉法得到待测硅通孔的深度与其三维形貌分布。实验测量了直径为10μm、深度为65μm、深宽比为6.5∶1和直径为10μm、深度为103μm、深宽比为10.3∶1的硅通孔深孔，并与高精度SEM的测量结果对比，深度测量的相对误差为1%。与白光显微干涉测量结果对比表明，本文所提出的方法可以获得清晰的高深宽比硅通孔的底部图像，有效增强底部的宽谱干涉信号和对比度，能够准确测量更高深宽比硅通孔的三维形貌。     

融合二维图像和三维点云的相机位姿估计

为了准确地在特定三维真实环境中,通过单目相机获取的RGB图像来估计相机的六自由度位姿,本文结合已知的二维图像及三维点云信息,提出了基于稠密场景回归的多阶段相机位姿估计方法。首先,将深度图像信息与传统运动结构恢复（Structure From Motion,SFM）算法相结合,构建单目相机位姿估计数据集;其次,本文首次将深度图像检索引入2D-3D匹配点的构建当中,通过所提的位姿优化函数对位姿解算加以优化,提出多阶段相机位姿估计方法;最后为提升位姿估计的性能,将ResNet网络结构用于图像的稠密场景坐标回归,使得所提方法的位姿估计精度大幅度提升。实验结果表明：对于给定的位姿误差阈值5 cm/5°,在公开数据集7scenes下的位姿估计准确率均值为82.7%,在自建数据集下的准确率为94.8%。与现有的其他相机位姿估计算法相比,本文所提方法不论在自建数据集还是公开数据集下的位姿估计精度均有提升。     

二维和三维视觉传感集成系统联合标定方法

为了解决激光雷达三维深度与摄像机二维图像信息融合的关键问题,建立二者的映射关系,提出了一种基于平面实体特征匹配的三维激光雷达与摄像机集成系统的联合标定方法.首先在三维激光雷达与摄像机系统模型的基础上,提取靶标平面在激光雷达和摄像机坐标系中的平面特征,利用平面特征约束求解两坐标系之间的旋转矩阵和平移向量的初值,为了降低噪声影响,使用Levenberg-Marquardt算法优化结果.分别进行了计算机仿真和在自制的集成传感系统上的标定实验,残差深度比达到0.2％,并使用标定结果对激光点云和摄像机图像进行数据融合,验证了该方法的准确性和有效性.     

浅谈共聚焦显微技术

共聚焦显微镜以其高对比度、高分辨率及可重建三维图像的独特优势,在生物医学研究、微细加工、半导体和高分子材料的生产检测等领域获得广泛应用。常用的共聚焦技术方法有:传统的激光扫描共聚焦显微镜(LSCM),其特点是获得的图像对比度和分辨率高,但需要逐点扫描,帧成像时间长,系统复杂,体积大,价格昂贵;碟片共聚焦显微镜(SDCM)是采用多光束扫描的方法来获得共聚焦图像,速度可以大大提高,但牺牲了共聚焦图像的分辨率,系统更为复杂,且不能调整轴向分辨率;结构光显微镜(SIM)具有方法简单,可模块化设计,成本低,成像质量接近于激光扫描共聚焦显微镜,成像速度快,性价比较高。     

基于红蓝双光阑的单物镜立体显微成像系统

为了得到微观动态样品的三维形貌图,提出了基于红蓝双小孔光阑的单物镜立体显微成像方法,并建立了一个结构简单的单物镜立体显微系统。该系统在物镜出瞳处放置分别用红、蓝滤光片覆盖的双小孔光阑,当采用白光照明时,彩色CCD将接收到分别用红光和蓝光表示的两个不同视角的图像。采用数字图像处理方法可获得具有视差的立体像对,基于相位的双目匹配算法可得到样品的三维形貌。实验结果表明,该方法重构了微观样品,其景深达到241.50μm。与现有的双物镜体视显微方法相比,设计的立体显微系统简单且紧凑,利用单次拍摄即可得到微观动态样品的三维形貌图,在显微镜和内窥镜中很有应用前景。     

基于单目视觉三维恢复算法的微观形貌原位测量方法研究

工件表面微观形貌分析在机械加工及测量领域有着十分重要的作用。与二维形貌分析相比,三维形貌分析能够提供更全面的表面信息。然而,现有复杂、昂贵的先进测量手段始终无法实现原位测量。为了实现对工件表面现场检测和三维形貌表征,将基于单目视觉的SFS(shape from shading,从明暗恢复形状)算法及光度立体法应用至微观形貌原位测量领域,提出一种可以进行二维图像采集并进行三维形貌重构的原位测量方法,并对比两种算法在微观形貌三维恢复上的结果。基于上述方法,进行SiC工件表面三维形貌恢复试验,同时与共聚焦显微镜扫描结果比较。试验结果表明,相比于SFS方法,光度立体法重构结果更加准确,截线特征点高度差相对误差低于27.2%,截线二维参数相对误差低于32.8%,表面三维参数相对误差低于19.6%,为解决机械零件表面微观形貌原位测量难题给出了新的解决思路。     

图像处理在激光立体视觉测距中的应用

以利用激光点作为特征点的立体视觉测距技术为研究背景,对激光点的图像处理问题进行了研究,通过对图像处理技术的介绍、分析和比较,提出了一种激光点的图像处理技术.激光点图像处理实验表明,该方法能有效快速地得到激光点的二维图像信息.     

图像处理在激光立体视觉测距中的应用

以利用激光点作为特征点的立体视觉测距技术为研究背景,对激光点的图像处理问题进行了研究,通过对图像处理技术的介绍、分析和比较,提出了一种激光点的图像处理技术.激光点图像处理实验表明,该方法能有效快速地得到激光点的二维图像信息.     

金字塔光流三维运动估计与深度重建直接方法

针对基于图像序列光流的三维运动估计与深度重建问题,提出一种基于图像金字塔光流的三维运动估计与深度重建直接方法。首先根据光流计算亮度守恒假设和像素点光流与三维空间点运动的对应关系推导出基于图像亮度的三维运动守恒假设;然后借鉴变分原理,通过设计基于L1模型的鲁棒数据项以及图像与运动联合控制的平滑项构造基于变分光流的三维运动估计能量函数;为了应对图像序列中包含的大位移运动及运动遮挡问题,采用图像金字塔分层策略设计三维运动估计模型;最后根据图像三维运动估计结果重建图像中运动物体或场景的深度信息。实验表明,该方法能够较好地应对图像序列中光照变化、多目标大位移运动以及运动遮挡等情况,具有较高的三维运动估计与深度重建精度和较好的鲁棒性。     

工业CT断层图像缺陷检测的可视化方法研究

针对工业CT断层图像缺陷检测中的传统二维图像处理方法,提出了将三维可视化技术应用于二维灰度图像缺陷检测领域的算法流程.应用该算法流程,系统能够充分利用CT断层灰度图像信息,获得清晰的三维视觉效果,从而显著增强了系统检测缺陷的能力.在大型工业CT图像重建与检查分系统中采用该算法流程取得了较为理想的效果.     

基于偏振激光共聚焦的研磨石英玻璃亚表面损伤检测

石英玻璃在研磨过程中会不可避免地产生亚表面损伤,对石英玻璃亚表面损伤的检测一直是石英玻璃加工工艺优化中的热点。本文结合偏振激光散射法及激光散射共聚焦法,提出了基于偏振激光共聚焦的研磨石英玻璃亚表面损伤的无损检测方法。搭建无损检测系统,对采用不同金刚石研磨液研磨的石英玻璃亚表面损伤进行检测,并采用横截面显微有损检测法对同一批石英玻璃检测结果进行验证。对比无损和有损检测结果,亚表面损伤深度的相对误差在5%以内,亚表面裂纹构型基本一致。结果表明,偏振激光共聚焦无损检测方法可实现研磨石英玻璃亚表面损伤的定量、非破坏检测,可为后续石英玻璃的加工工艺优化提供有效的检测手段。     

激光共聚焦扫描显微镜在微机电系统中的应用

在微机电系统中,三维微结构分析是对微加工工艺进行表征的一种重要手段。随着微机电系统研究的深入和产业化的需求,其微结构分析在微机电系统中的重要性日益凸现。激光共聚焦扫描显微镜因其高分辨率、非接触、数据结构分析快等优点,在微结构分析中得到了大量的应用。本文介绍激光共聚焦扫描显微镜的成像原理,重点介绍激光共聚焦显微镜在大角度测量和形貌分析中的应用。同时,与台阶仪、扫描电子显微镜和白光干涉仪相比较,指出激光共聚焦扫描显微镜在微结构分析中的优点和局限性。