基于似然函数EM迭代的红外与可见光图像配准

为了实现红外与可见光图像的自动配准,提出了基于似然函数EM迭代的图像配准算法。该算法以图像边缘作为配准点特征,将异源图像配准转化为边缘点集配准。通过点集的高斯混合建模建立了点集配准似然函数,以该函数作为目标函数,仿射变换参数作为优化变量,利用EM迭代优化方法进行最优变换参数求解。迭代过程中,引入基于概率密度自适应阈值分割的外点剔除机制,解决了外点对目标函数的干扰问题,实现了边缘点集的精确配准。利用实测的可见光和红外图像进行了算法验证,证明了该算法的有效性。     

目标运动轨迹匹配式的红外-可见光视频自动配准

为实现精确的红外-可见光视频序列的自动配准,提出了一种新的基于目标轨迹线匹配的配准方法。首先,利用运动目标检测技术提取目标前景,并由基于相关滤波器(KCF)的多目标跟踪算法对每个前景顶点进行跟踪,进而获取每个目标的运动轨迹。此后,为每条轨迹线建立归一化运动方向描述子与归一化运动幅度描述子,通过时序分析、方向描述子匹配及幅值描述子匹配建立分步约束的匹配机制,完成轨迹线匹配工作。最后,采用迭代更新的方式获取最佳全局配准矩阵,实现对异源视频的配准。在LITIV数据库上的9组视频上进行测试验证,实验的结果表明:本文配准算法的重叠率误差一般小于0.2,接近或已超过手动的Ground-Truth矩阵。通过充分利用目标的运动信息,该算法实现了精确的红外-可见光图像序列配准。     

采用轮廓特征匹配的红外-可见光视频自动配准

为了精确地配准近平面场景下的红外-可见光视频序列,本文提出了一种基于轮廓特征匹配的自动配准方法,通过迭代匹配目标轮廓特征来解决异源图像中配准特征的提取和匹配难题。首先,采用运动目标检测技术获取目标轮廓,并由曲率尺度空间(CSS)角点检测算法提取轮廓特征点。此后,建立全局形状上下文描述子和局部边缘方向直方图描述子描述特征,从而实现可靠的特征匹配。来自不同时刻的匹配点对被保存在一个基于高斯距离准则的特征匹配库中。最后,为了克服近平面场景中目标深度变化的影响,本文结合前景样本随机抽样策略计算配准矩阵的损失函数,完成对全局配准矩阵的更新。在LITIV数据库上对方法进行实验验证,结果表明本文方法的配准精度优于当前先进的对比方法,在9个测试视频上的平均重叠率误差仅为0.194,与对比方法相比下降了18.5%。基本满足了近平面场景下红外-可见光视频序列配准的精度要求,且具有较高的鲁棒性。     

多光谱图像融合的IC器件表面缺陷检测

针对单可见光或单红外条件下的IC器件表面缺陷对比度不足,缺陷检测精度低的问题,提出多光谱图像融合的IC器件表面缺陷检测方法。针对IC器件可见光与红外图像配准中存在尺度不一致和对比度反转问题,引入拉普拉斯金字塔和特征描述符重组策略改进ORB(Oriented FAST and Rotated BRIEF)图像配准算法。在图像配准的基础上,提出NSST＿VP图像融合方法,以非下采样剪切波变换（Non-Subsample Shearlet Transform, NSST）得到红外图像和已配准可见光图像的低频和高频子带,对低频子带采用视觉显著图（Visual Significance Map, VSM）加权融合规则,高频子带则采用自适应脉冲耦合神经网络（PA-Pulse Coupled Neural Network, PA-PCNN）决策融合规则,进而通过NSST逆变换得到高质量多光谱融合图像。最后,将融合图像输入YOLOv8s模型进行检测。实验结果表明,改进ORB的图像配准平均精度为87.8%,比ORB图像配准精度提高了62%,NSST＿VP图像融合算法在主观视觉效果和客观评价指标上均有所提...     

基于传感器参数和目标轮廓中心的自动配准算法研究

通过对光电成像型反舰导弹的成像过程分析,提出了一种自动配准算法。其基本思路是将图像变换模型分解,逐步简化。可见光和红外图像配准时的变换为仿射变换。首先,利用传感器参数的调整,消除图像间的比例变化,将仿射变换简化为刚体变换;然后,依赖图像信息,用形态学边缘检测的方法求取目标的轮廓中心,以此为控制点消除图像间的平移变化,实现图像的完全配准;最后,通过观察海天线是否重合以及利用均方根误差原则,对算法的配准效果做详细评估。仿真实验表明,该算法准确、快速,配准精度满足目标识别的要求,可以较好地解决异类传感器弱小目标图像配准的难题。     

基于超分辨率重建的亚像素图像配准

针对低分辨率图像在配准过程中精度较低的问题,提出了一种基于超分辨率重建的亚像素图像配准方法。首先,对具有1至9像素位移的图像序列进行10倍降采样,获取具有0.1至0.9亚像素位移的图像序列。然后,根据图像的获取过程建立数学模型,以Bayes理论为基础,使用最大后验概率法(MAP)对亚像素位移低分辨率图像进行超分辨率重建,获取高分辨率图像。最后,使用具有亚像素配准精度的扩展相位相关法对图像进行配准。配准实验与噪声实验表明,所提方法的最大配准误差为0.03pixel,能实现对低分辨率图像的亚像素级配准,具有配准精度高、噪声抗干扰能力强等特点,可同时满足可见光图像与红外图像的高精度配准要求。     

复杂零件在线三维测量中的点云配准方法

复杂零件的在线检测对质量控制和工艺优化具有重要意义,而如何对齐由多个视点拍摄获得的三维点云是实现在线检测的关键。基于点云内部属性与坐标系无关这一性质,提出基于手眼标定的多视点云配准算法,将不同视点下传感器坐标系中的点云转移到固定的机器人基座坐标系中,实现多视点云的粗配准;针对粗配准精度不高的问题,提出一种由粗到精的自适应距离阈值ICP算法,实现多视点云的精配准。ICP粗配准阶段旨在扩大算法的收敛范围,加快迭代速度;ICP精配准阶段旨在消除误匹配,保证最终收敛结果的准确性。试验结果表明,所提点云配准方法的精度和速度均能够满足复杂在线检测的应用要求。     

基于小波变换的实时图像融合技术的实现

提出了一种针对可见光和红外图像实时融合的系统。该系统由成像和图像处理两部分组成。其中,成像部分使用同一孔径以减少视差效应。并采用分光器以使同一光路光分别在红外和可见光传感器上成像。在图像处理部分。首先对两路图像进行配准、同步处理。然后在FPGA内部实现了一种基于小波分析的图像融合方法,实现了对两路视频图像实时进行融合。和Matlab中双精度运算结果相比,该系统的输出结果可达约43dB的信嗓比。满足实际的工程应用。     

基于点云中心的激光雷达与相机联合标定方法研究

针对激光雷达与相机联合使用遇到的点云稀疏、相机受环境光照影响失真等问题,提出一种基于点云中心的激光雷达与相机自动配准方法,避免了传统联合标定需要手动选择特征点以及连续采集多帧等问题。该方法在对点云与图像预处理后,利用平面法向量的一致性实现多标定板点云自动分割,提取标定板在激光坐标系和相机坐标下的点云;然后通过点云聚集迭代求解中心点,实现两个传感器标定板对应点云中心的粗配准;最终利用迭代最近点算法进行精配准,获得标定参数,完成联合标定。实测表明,在激光雷达误差±3 cm范围内,点云正确投影比例达到97.93%,可以有效获取高精度联合标定参数,满足空间环境对激光雷达和相机数据融合的要求。     

不分光红外传感器的高精度标定方法

传统的红外传感器标定方法的测量相对误差小于2%,无法完成高精度的气体浓度测量,制约了中国在不分光红外气体检测技术方面的发展.本文提出了一种结合流量控制和毛细管流速混合方法配气方法,配比出用于线性标定的多种气体浓度.利用火焰离子化探测器(FID)标定配气设备,确定标定基准,采用三次样条插值方法对不分光红外气体传感器进行高精度标定,该方法可以在量程不变的情况下,将相对误差降低到1%以内,实验证明:这种方法对各种非线性红外吸收方法都有着很好的效果.     

利用脉冲耦合神经网络的图像融合

为了获得对同一场景更为准确、全面和可靠的图像描述,提出了一种基于脉冲耦合神经网络(PCNN)的图像融合方法。将多源传感器图像配准后的各个源图像用9/7小波变换的提升算法进行分解,从而得到各个源图像的低频分量和高频分量。对于低频分量,采用像素绝对值选大法进行融合;而高频分量则作为PCNN的输入,在迭代结束后,通过比较PCNN点火次数得到一系列融合子图像;然后,用9/7小波的提升算法将获取的一系列多尺度融合子图像进行反变换得到最终的融合图像。设计了可见光图像与红外图像的融合实验,对融合图像的熵、平均梯度、标准差、空间频率进行了定量比较。当使用标准源图像进行融合时,各值比使用传统小波变换与PCNN相结合的图像融合方法分别高0.0104,0.2459,0.1131和0.2846。     

采用显著性分析与改进边缘方向直方图特征的红外与可见光图像配准

为了实现红外图像与可见光图像的信息融合,弥补单一模态图像的不足,提出了一种基于显著性分析与改进的边缘方向直方图EOH(Edge Orientation Histogram)特征的红外与可见光图像配准算法。该算法首先利用显著性分析技术找到可见光图像中的重要信息,得到显著性图;将其与可见光图像融合,实现可见光图像中重要信息的划分。然后,利用自适应FAST(Features from Accelerated Segment Test)算法,探测可见光与红外图像上的特征点;利用改进的EOH,描述特征点。最后,根据描述计算特征点的相似性,在可见光与红外图像上找出对应的特征点,实现红外与可见光图像的匹配。在3种不同情况下对红外与可见光图像数据进行了配准实验。结果表明:在红外图像与可见光图像采集条件相似情况下,特征点正确匹配率为96.55%,而在图像采集条件差异较大的情况下,特征点正确匹配率可达74.21%。该算法可实现红外与可见光图像的精确快速匹配,即使红外图像与可见光图像采集的角度与位置均存在较大差异的情况下,仍可以满足红外与可见光图像匹配对精度和稳定性的要求。     

一种图像融合的实时实现方法

针对可见光和红外图像实时融合的需要,提出了一种实时图像融合系统。该系统由成像和图像处理两部分组成。成像部分使用同一孔径以减少视差效应,并采用分光器以使红外和可见光传感器共用同一光路。图像处理利用FPGA实现了一种基于拉普拉斯塔形分解的图像融合方法,实现了对两路PAL制黑白视频图像实时进行融合。和Matlab中双精度运算结果相比,该系统的输出结果可达约50dB的信噪比,满足实际的工程应用。     

基于 HSV 色彩空间的改进红外与可见光图像融合算法研究

为了增强红外与可见光图像融合的目标信息、环境信息以及图像的人眼辨识度,提出 2 种基于 HSV 色彩空间的红外与可见光图像融合算法。每种算法首先将 RGB 和可见光图像分别转为 HSV 图像,并将 H 、 S 和 V 三通道分离,然后对于红外与可见光的 H 、 S 和 V 通道建立合适的数学模型相互映射融合,再将新的 HSV 图像转换到 RGB 图像。结果表明,所提的融合方法相较于传统空间域的处理方法,拥有更加明亮的目标信息、环境信息和视觉效果。     

一种适用于特征稀少零件的图像精确拼接方法

针对特征稀少零件的图像精确拼接难题,提出了一种基于相位相关法和闭环运动控制的图像精确拼接方法,以充分发挥软硬件的综合优势。该方法以具有足够特征信息的零件为对象,获取成像系统分别沿X轴和Y轴运动时的零件等距序列图像并预处理,再利用相位相关法求解图像配准参数。在闭环运动控制系统的良好重复定位精度支持下,将上述图像配准参数视为系统配准参数,以进行特征稀少零件的图像拼接。典型零件的图像拼接实验表明,该拼接方法用于特征稀少零件的图像拼接具有无像素级拼接错位和拼接速度快等优点。     

结合多分辨率修正曲率配准的层间插值

针对体数据各坐标轴分辨率不一致,导致医学及工业三维图像重建时出现边界台阶状结构、细节断裂或缺失等问题,提出了基于多分辨率修正曲率配准的层间插值方法。该方法采用反投影重建形式增强图像细节,解决配准图像清晰度和对比度弱的问题;利用三次卷积插值构造切片的低分辨率图像以保留图像细微结构,提高配准精度。采取从低分辨率粗配准到高分辨率精细配准的策略减少计算时间,提高计算效率。利用切片图像对应像素间存在对称形变结构的特征,建立了修正曲率模型估计形变场,解决了配准时单向形变不一致的问题。最后,通过离散余弦变换(DCT)的数值解析方案对构建的形变场估计函数进行优化,利用最终形变场数据对切片进行线性插值,计算出层间图像。实验结果表明,提出的算法能够消除现有方法插值图像的边缘模糊现象。与线性插值算法相比,提出方法的均方差(MSD)减小了40%,高于对称曲率模型,且耗时仅为该模型的20%左右,满足应用要求。     

一种基于HSI和小波变换的可见光和红外图像融合新方法

针对传统的HSI(色度—饱和度—亮度)图像融合方法易出现颜色失真和传统的小波融合方法存在分块模糊的现象,文中提出一种基于HSI和小波变换的可见光和红外图像融合新方法。该方法首先通过HSI变换获得红外和可见光图像的亮度成分,采用基于方差匹配度的融合规则对两者进行小波融合,得到新的亮度分量,并选用红外图像的饱和度分量和可见光图像的色度分量,进行HSI逆变换获得最终融合图像。实验结果表明:该方法在提高图像清晰度、突出图像细节和热目标等方面效果显著。     

颜色传递技术的快速彩色图像融合

以红外和可见光图像为研究对象,提出了一种基于颜色传递技术的快速彩色图像融合算法。该算法直接用灰度融合图像和源多波段图像的差异信号构成源YCBCR分量,然后在YCBCR空间运用统计颜色传递技术形成一幅具有与目标图像相似色彩效果的彩色融合图像。算法中利用像素平均融合法和多分辨率融合法作为灰度融合方法,形成两种不同的融合策略以分别满足高实时性和高融合质量的需求。实验结果表明,提出的彩色图像融合算法能够有效地生成一幅具有自然日光色彩效果的融合图像,算法中即使采用像素平均法进行灰度融合同样可以获得令人满意的融合效果。