小物体三维重建中影像与几何模型的配准方法

本文提出了一种快速有效的二维影像与三维几何模型之间的配准方法。首先在平面标定板的辅助下获取所有影像的内外方位元素,其次利用少量的人工控制点做绝对定向,获取影像与三维几何模型之间的配准参数的初始值,最后利用整体互信息测度做Powell方法非线性优化,获取配准参数的精确值。实验表明,经过互信息优化可以获得子像素级的配准精度。本文的方法具有速度快、人工交互少、精度高的特点。     

视差互信息引导下的立体航空影像与LiDAR点云自动配准

目的 从视差图反映影像景物深度变化并与LiDAR系统距离量测信息"同源"这一认识出发,提出一种基于视差互信息的立体航空影像与LiDAR点云自动配准方法.方法 本文方法分为3个阶段:第一、通过半全局匹配SGM(semi-gdabal matching)生成立体航空影像密集视差图;第二、利用航空影像内参数及初始配准参数(外方位元素)对LiDAR点云进行"针孔"透视成像,生成与待配准的立体航空影像空间分辨率、几何形变相接近且具有相同幅面大小的模拟灰度影像-LiDAR深度影像,以互信息作为相似性测度依据估计航空影像视差图与LiDAR深度影像的几何映射关系,进而以之为基础实现LiDAR点云影像概略相关;第三、以LiDAR点云影像概略相关获得的近似同名像点为观测值,以视差互信息为权重,实施摄影测量空间后方交会计算获得优化的影像外方位元素,生成新的LiDAR深度影像并重复上述过程,直至满足给定的迭代计算条件.结果 选取重叠度约60%、幅面大小7 216×5 428像素、空间分辨率约0.5 m的立体航空像对与平均点间距约1.5 m、水平精度约25 cm的LiDAR"点云"进行空间配准实验,配准精度接近1个像素.结论 实验结果表明,本文方法自动化程度高且配准精度适中,理论上适用于不同场景类型、相机内参数已知立体航空影像,具有良好的应用价值.     

由航空影像自动重建大范围3维地形

目的 针对由航空影像自动生成大范围3维地形的立体模型配准问题,提出一种自动配准全部立体模型的方法,从而生成大范围3维地形。方法 首先由相邻影像构建独立的立体模型;然后根据特征匹配同名点在公共影像上的坐标对应关系,自动提取相邻模型的连接点;通过循环遍历搜索,自动配准全部立体模型,进而构建全航摄区的大范围3维地形。结果 采用两组数据进行实验,结果显示,两组数据全部3维模型的均方配准误差分别为5.20像素和2.63像素。本文方法生成的大范围地形的相对精度较高;对第2组数据的结果采用控制点进行绝对定向,并用检查点进行精度评估,结果显示全部检查点的均方平面和高程误差分别为0.326 m和0.502 m,生成的大范围地形达到了较高的绝对精度。结论 本文方法可自动化执行,仅需输入一系列有一定重叠的航空影像,即可自动生成按一定方式组织的大范围3维地形产品。该方法生成的大范围地形既可用于3维场景浏览,也可用于地形量测,但不适用于由激光扫描获取的点云数据的配准。     

理想投影椭圆约束下的鱼眼镜头内部参数标定

目的 鱼眼镜头是发展轻、小型全方位视觉系统的理想光学传感器,但由于镜头焦距短、视场大及光学原理约束,鱼眼图像存在严重畸变,为此提出一种高精度、应用方式灵活的鱼眼镜头内部参数标定方法,以期将鱼眼图像转换成符合人眼视觉习惯的平面透视投影图像。方法 从球面透视投影模型出发,首先分析给出空间直线在水平面上的理想投影椭圆约束,进而结合椭圆严格几何特性建立误差方程对鱼眼相机等效焦距f,纵横比A及径向畸变参数k₁,k₂进行最小二乘估计,最后利用估计参数对鱼眼图像进行立方盒展开实现平面透视纠正目的。结果 对某型号定焦鱼眼相机的棋盘格影像多视标定及网上鱼眼图像单视自标定结果表明,本文方法标定参数对鱼眼图像不同区域的平面透视纠正效果稳健、精度高。多视标定参数均方根误差（RMSE）约0.1像素,纠正影像上直线拟合误差RMSE约0.2像素,总体效果略优于对比文献方法;单视自标定参数误差RMSE约0.3像素,影像纠正范围、直线透视特性保持明显优于对比文献方法及商业软件DXO（DXO Optics Pro）。结论 本文方法标定参数少、计算过程简单且对标定参照物要求不高,对于具有大量直线的人工场景理论上可实现自标定,应用价值较高。     

多尺度、多角度异源遥感影像配准方法研究

针对具有显著尺度和角度差异的异源遥感影像配准中存在的问题,引入具有角度不变性和同一尺度的空间辅助圆,克服角度和尺度偏差;选取对异源影像的光谱差异具有高鲁棒性的归一化互信息测度,基于空间辅助圆提取统计特征进行区域配准。该方法还将同名特征点的搜索范围限制在辅助圆内,在保证算法搜索效率的同时提高了配准的精度。选取具有较大尺度和角度偏差的异源遥感影像进行实验,通过与基于空间辅助面的配准方法相比较,证明基于空间辅助圆的归一化互信息配准方法对角度和光谱偏差具有较高的鲁棒性,配准模型的精度小于一个像素。     

Plücker直线描述的空间后方交会

目的 现有的空间后方交会方法没有充分利用成像光线的几何拓扑关系,共线条件的几何约束性弱,提出基于Plücker坐标的空间后方交会方法.方法 将成像光线用Plücker直线表示,通过Plücker成像光线在空间中的螺旋位移,使得物点在像点和投影中心所确定的Plücker直线上,建立基于Plücker成像光线的共线条件方程.结果 针对小倾角航空与近景影像,本文方法与传统的欧拉角法相比求解得到的外方位元素最大线元素误差分别从0.88 m降到0.53 m,从0.06 m降到0.01 m;最大角元素误差分别从0.016 2弧度降到0.002 9弧度,从0.087弧度降到0.066弧度.针对大倾角影像,欧拉角法不收敛而本文方法能正确解算.结论 本文方法由于增强了模型的几何强度,获得了更高的定位精度,且对于大倾角影像也同样能够获得正确而稳定的外方位元素解算结果.     

多重约束下的近景影像线特征匹配方法

目的 针对影像匹配时提取特征线断裂而影响匹配结果及可靠性的问题,提出多重约束条件下的近景影像线特征匹配方法。方法 首先,采用SIFT算法获取同名点,并使用RANSAC算法进行优化,通过同名点计算仿射变换矩阵;建立格网点,利用仿射变换、Harris兴趣值及最小二乘法提高密集匹配结果的精度;其次,采取Freeman链码优先级算法提取直线,根据搜索区域内密集匹配点与直线位置关系完成特征线的初始匹配;最后通过线段重合度对初始匹配结果进行优化,并利用核线约束确定同名直线端点。结果 选取存在旋转、尺度、遮挡的近景影像进行线特征匹配实验,结果表明,与其他直线匹配方法相比,本文方法不仅在直线匹配成功数目上约为经典算法的1.07~4.1倍,而且直线匹配正确率也提升0.6%~53.3%,具有较好的准确性和鲁棒性。结论 通过多重约束有效地减小了立体影像中线特征匹配时的搜索范围,提高了直线匹配速率,且该方法适用于不同类型几何变化下的近景影像数据,并能较好地改善直线断裂及遮挡问题。     

一种利用点特征和互信息的多源遥感影像配准方法

针对多源遥感影像间几何形变和辐射差异所引起的配准困难问题,该文提出一种利用点特征和互信息的影像配准方法。该方法首先利用Harris算子,采用分块的提取策略,在参考影像上检测出大量、分布均匀的特征点,然后以互信息作为相似性,并采用双向匹配的策略在输入影像上进行同名点识别,同时进行粗差剔除,最后根据获取的同名点建立不规则三角网,对输入影像进行逐三角网纠正,最终实现影像的配准。通过选择两种不同类型的多源遥感影像进行试验,结果表明该方法具有较强的适应性并且配准精度较高。     

利用混合特征的多视角遥感图像配准

目的 多视角遥感图像配准是遥感图像处理领域的一项关键技术,其目的是精确获取图像间被测区域发生的几何变换关系。由于航拍视角变化以及地物的空间分布和几何形状的复杂度,多视角遥感图像间会产生非刚性畸变问题,增加了图像配准的难度,为此本文提出一种利用遥感图像SIFT（scale-invariant feature transform）特征点阵的全局和局部几何结构特征进行多视角遥感图像配准的算法。方法 通过增加对SIFT点阵的几何结构特征描述以及利用SIFT点阵间全局与局部几何结构特征的互补关系,提升存在非刚性畸变的多视角遥感图像配准精度。 结果 实验使用谷歌地球的卫星影像数据以及无人机航拍遥感数据对本文算法进行了测试,并与3种同类算法（SIFT、SURF（speeded-up robust features）、CPD（coherent point drift））进行对比实验,本文算法在存在非刚性畸变的多视角遥感图像配准中能够有效地提升SIFT特征点阵的配准精度,从而获得更加准确的多视角遥感图像配准结果。结论 本文实现了一种结合SIFT特征点阵的全局和局部几何结构特征进行多视角遥感图像配准的算法,实验结果表明了该方法对存在非刚性畸变的多视角遥感图像能够有效地进行配准,可适用于同源多视角情况下的遥感图像配准问题。     

自适应特征点检测的可见-红外图像配准

目的 针对可见—红外图像之间配准点的数量不足、分布严重不均匀以及配准点之间的错配率高这3个核心问题,提出一种基于自适应特征点检测的可见—红外图像配准方法。方法 本文提出的自适应特征点检测方法,以Harris corner作为基本特征点;以特征点数目与空间分布为检测目标,从而自动地估计合适不同空间位置的特征点的检测阈值。在特征点对匹配中,将梯度方向与互信息相融合有效地添加了相似性函数的空间位置信息。结果 自适应Harris corner检测方法能够有效地提供空间分布均匀、数量充足的特征点。而梯度方向与互信息相融合的相似性匹配函数提高特征点的匹配率20%,降低配准误差50%。结论 本文提出的多传感器图像配准方法能够快速、准确地实现可见光图像与红外图像之间的配准,在CCD-IR图像融合领域具有很好的实用价值。     

基于P样条和局部互信息的非刚性医学图像配准*

为了克服互信息仅考虑两幅图像相应像素的灰度信息,忽略了图像本身的内在空间信息,以及B样条变换模型存在形变场奇异点的缺陷,提出一种基于P样条和局部互信息的非刚性医学图像配准方法。该方法以局部互信息为相似性测度,采用P样条变换模型模拟待配准图像的几何形变,然后使用三次插值算法对图像像素进行赋值,结合对大规模参数优化效率高的LBFGS算法对配准参数进行优化。实验结果表明,该方法较传统的互信息和B样条变换模型都有效地提高了配准的精度。     

Registration and occlusion handling based on the FAST ICP-ORB method for augmented reality systems

Spatial position consistency and occlusion consistency are two important problems in augmented reality systems. In this paper, we proposed a novel method that can address the registration problem and occlusion problem simultaneously by using an RGB-D camera. First, to solve the image alignment errors caused by the imaging mode of the RGB-D camera, we developed a depth map inpainting method that combines the FMM and RGB-D information. Second, we established an automatic method to judge the close-range mode based on the depth histogram to solve the registration failure problem caused by hardware limitations. In the close-range mode, the registration method combining the fast ICP and ORB was adopted to calculate the camera pose. Third, we developed an occlusion handling method based on the geometric analysis of the scene. Several experiments were performed to validate the performance of the proposed method. The experimental results indicate that our method can obtain stable and accurate registration and occlusion handling results in both the close-range and non-close-range modes. Moreover, the mutual occlusion problem can be handled effectively, and the proposed method can satisfy the real-time requirements of augmented reality systems.

     

无人机影像物方多视匹配算法

目的 像方无人机影像多视匹配方法忽视了影像之间的几何关系,而以MVLL（multi-view vertical line locus）为代表的物方多视匹配方法缺乏对地形之间相互约束的考虑。为此构建一种融合两类多视匹配方法优点的无人机影像物方多视匹配算法。方法 在MVLL匹配结构的基础上添加半全局匹配的相容性约束,不仅继承了原半全局算法对有弱纹理区域匹配效果好和物体边缘突出的优点,而且摆脱了需制作核线影像的繁琐过程;采用物方窗口SNCC（summed normalized cross correlation）一致性匹配测度计算方法,有效降低摄影角度和遮挡对匹配结果的影响;采用金字塔分层的策略以提高匹配的速度和可靠性。结果 选取自主研制的旋翼无人机三轴稳定平台获取了高分辨率无人机影像作为实验数据,从匹配效果、新匹配测度性能和匹配精度3个方面对算法进行了测试实验。本文算法整体匹配效果良好,物方窗口SNCC一致性匹配测度可有效消除匹配测度中的粗差,经过测定本文匹配算法生成的点云数据的高程精度为0.049 m,即约为1个GSD（ground space resolution）对应的地面大小。结论 本文算法充分利用了无人机影像的多视信息进行匹配计算,具有匹配效果好、鲁棒性强和匹配精度高的优势。     

Medical image registration based on self-adapting pulse-coupled neural networks and mutual information

Medical image registration plays a dominant role in medical image analysis and clinical research. In this paper, we present a new coarse-to-fine method based on pulse-coupled neural networks (PCNNs) and mutual information (MI). In the coarse-registration process, we use the PCNN-clusters’ invariant characteristics of translation, rotation and distortion to get the coarse parameters. And the parameters of the PCNN model are optimized by ant colony optimization algorithm. In the fine-registration process, the coarse parameters provide a near-optimal initial solution. Based on this, the fine-tuning process is implemented by mutual information using the particle swarm optimization algorithm to search the optimal parameters. For the purpose of proving the proposed method can deal with medical image registration automatically, the experiments are carried out on MR and CT images. The comparative experiments on MI-based and SIFT-based methods for medical image registration show that the proposed method achieves higher performance in accuracy.     

融合密集残差块和GAN变体的医学图像非刚性配准

目的 现有的医学图像配准算法在处理较大非刚性形变的医学图像时,存在配准精度低和泛化能力不足的问题。针对该问题,提出结合密集残差块和生成对抗网络（generative adversarial network,GAN）的图像配准方法,用于多模态医学图像的非刚性配准。方法 将密集残差块引入到生成器,提取待配准图像对的更多高层特征,从而提高配准精度;在GAN中采用最小二乘损失代替逻辑回归构造的交叉熵损失,由于最小二乘损失的收敛条件更严格,同时能缓解梯度消失和过拟合,从而提高配准模型的稳定性;在判别器网络中引入相对平均GAN（relative average GAN,RaGAN）,即在标准判别器的基础上增加一项梯度惩罚因子,降低判别器的判别误差,从而相对减少配准模型的配准误差,有助于稳定配准精度。结果 在DRIVE（digital retinal images for vessel extraction）数据集上进行训练和验证,在Sunybrook Cardiac数据集和Brain MRI数据集上进行泛化性能测试,并与几种主流医学图像非刚性配准算法进行对比实验,表明,本文配准模型在精度和泛化能力上均有一定程度的提升,相比其他方法,视网膜图像、心脏图像和脑部图像的配准Dice值分别提升了3.3%、3.0%、1.5%。结论 提出的配准方法能够获取更多高层特征信息,从而提升配准精度;同时基于最小二乘法构建损失函数并对判别器进行加强,能够使得配准模型在训练阶段快速收敛,提高了配准模型的稳定性和泛化能力,适合存在较大非刚性形变的医学图像的配准。     

改进的粒子群算法多模态生物医学图像配准

多模态生物医学图像配准在医疗诊断、治疗方案的制定,以及身体机能的研究等方面起到越来越大的作用。如何将这些多模态信息融合在一起是目前研究的重点,目前,该融合主要基于图像强度信息的配准方法。该类方法通过最大化化图像间的相似度函数达到配准的目的,但配准过程中使用往往会出现参数变化非凸且不光滑的现象,因而,传统的局部最优方法通常不能得到较好的结果。粒子群算法是一种全局寻优算法,但传统的方法中受初始值的选取以及当前全局最优点的影响,易陷入局部最优。本文对其进行改进,使得即使在初始值离准确值较远时也能得到全局最优,并将该方法用于多模态医学图像配准中,得到了较好的结果。     

Image‐to‐Geometry Registration: a Mutual Information Method exploiting Illumination‐related Geometric Properties

This work concerns a novel study in the field of image‐to‐geometry registration. Our approach takes inspiration from medical imaging, in particular from multi‐modal image registration. Most of the algorithms developed in this domain, where the images to register come from different sensors (CT, X‐ray, PET), are based on Mutual Information, a statistical measure of non‐linear correlation between two data sources. The main idea is to use mutual information as a similarity measure between the image to be registered and renderings of the model geometry, in order to drive the registration in an iterative optimization framework. We demonstrate that some illumination‐related geometric properties, such as surface normals, ambient occlusion and reflection directions can be used for this purpose. After a comprehensive analysis of such properties we propose a way to combine these sources of information in order to improve the performance of our automatic registration algorithm. The proposed approach can robustly cover a wide range of real cases and can be easily extended.     

An approach to multimodal biomedical image registration utilizing particle swarm optimization

Biomedical image registration, or geometric alignment of two-dimensional and/or three-dimensional (3D) image data, is becoming increasingly important in diagnosis, treatment planning, functional studies, computer-guided therapies, and in biomedical research. Registration based on intensity values usually requires optimization of some similarity metric between the images. Local optimization techniques frequently fail because functions of these metrics with respect to transformation parameters are generally nonconvex and irregular and, therefore, global methods are often required. In this paper, a new evolutionary approach, particle swarm optimization, is adapted for single-slice 3D-to-3D biomedical image registration. A new hybrid particle swarm technique is proposed that incorporates initial user guidance. Multimodal registrations with initial orientations far from the ground truth were performed on three volumes from different modalities. Results of optimizing the normalized mutual information similarity metric were compared with various evolutionary strategies. The hybrid particle swarm technique produced more accurate registrations than the evolutionary strategies in many cases, with comparable convergence. These results demonstrate that particle swarm approaches, along with evolutionary techniques and local methods, are useful in image registration, and emphasize the need for hybrid approaches for difficult registration problems.     

Nonrigid medical image registration technique as a composition of local warpings

We introduce a new technique for nonrigid image registration based on the composition of local deformations. The warping model is analyzed in order to guarantee continuity, differentiability and a one-to-one transformation by constraining the parameters of the nonlinear spatial transformation. A genetic algorithm solves the model by global optimization, handling constraints, and maximizing the normalized mutual information. The composition of local transformations goes throughout several levels of resolution, from coarse to fine. The performance of our technique was tested in synthetic and real medical images. The proposed method was always able to improve the similarity criterion between image pairs, demonstrating the robustness of the method for several modalities of images.