残差密集相对平均CGAN的脑部图像配准

目的 针对图像合成配准算法中鲁棒性差及合成图像特征信息不足导致配准精度不高的问题,提出了基于残差密集相对平均条件生成对抗网络（residual dense-relativistic average conditional generative adversarial network,RD-RaCGAN）的多模态脑部图像配准方法。方法 相对平均生成对抗网络中的相对平均鉴别器能够增强模型稳定性,条件生成对抗网络加入条件变量能提高生成数据质量,结合两种网络特点,利用残差密集块充分提取深层网络特征的能力,构建RD-RaCGAN合成模型。然后,待配准的参考CT（computed tomography）和浮动MR（magnetic resonance）图像通过已训练好的RD-RaCGAN合成模型双向合成对应的参考MR和浮动CT图像。采用区域自适应配准算法,从参考CT和浮动CT图像中选取骨骼信息的关键点,从浮动MR和参考MR图像中选取软组织信息的关键点,通过提取的关键点指导形变场的估计。从浮动CT图像到参考CT图像估计一个形变场。类似地,从浮动MR图像到参考MR图像估计一个形变场。另外,采用分层对称的思想进一步优化两个形变场,当两个形变场之间的差异达到最小时,将两个形变场融合得到最终的形变场,并将形变场作用于浮动图像完成配准。结果 实验结果表明,与其他6种图像合成方法相比,本文模型合成的目标图像在视觉效果和客观评价指标上均优于其他方法。对比Powell优化的MI（mutual information）法、ANTs-SyN（advanced normalization toolbox-symmetric normalization）、D.Demons（diffeomorphic demons）、Cue-Aware Net（cue-aware deep regression network）和I-SI（intensity and spatial information）的图像配准方法,归一化互信息分别提高了43.71%、12.87%、10.59%、0.47%、5.59%,均方根误差均值分别下降了39.80%、38.67%、15.68%、4.38%、2.61%。结论 本文提出的多模态脑部图像配准方法具有很强的鲁棒性,能够稳定、准确地完成图像配准任务。     

基于交叉累计剩余熵的多谱磁共振图像配准

针对传统互信息(MI)图像配准容易产生局部极值的问题,提出一种基于交叉累计剩余熵(CCRE)的多谱磁共振图像配准方法.首先,将参考和浮动图像压缩至5位和7位灰度级;然后,采用哈宁窗Sinc插值计算5位灰度图像的CCRE,并用Brent算法搜索CCRE得到预配准的变换参数;最后,从该变换参数出发,采用部分体积(PV)插值计算7位灰度图像的CCRE,用Powell算法进行优化,得到最终的变换参数.实验结果表明,该方法的鲁棒性相比直接采用PV插值的CCRE配准得到提高;配准时间比直接采用哈宁窗Sinc插值的CCRE配准节省了90%左右,且配准精度有所提高.该方法兼顾了鲁棒性、效率和精度,适合用于多谱图像配准.     

基于变分和互信息的先验形状配准算法

针对带先验形状约束的几何活动轮廓模型中的形状配准问题,提出一种基于变分方法和最大互信息准则的先验形状配准算法。利用变分配准模型计算仿射变换参数,将其作为互信息配准算法的初值,通过Powell优化算法计算仿射变换参数的最优解。实验结果表明,该算法在保证配准精度的同时,能明显提高计算效率。     

中国虚拟人数据的配准算法

20世纪末出现的基于人体大量信息融合分析的精细化医疗技术,将完整人体的数字化信息和计算机技术相结合,使得基于实际人体信息的模拟和计算成为可能;到目前为止,中国虚拟人的研究刚刚开始。针对中国虚拟人数据的特点,提出了一种图像配准的新方法。根据图像的属性和用途,就配准的各个环节采用合理可行的方法,包括仿射变换、PV插值技术、均方差相似性测量、Powell优化、全局匹配方法。改进了算法流程框架,给出了由参考图像空间到浮动图像空间的逆向几何变换,避免了潜在的“空洞”问题。该算法流程框架将各个部分有机地结合到一起,高效、有序地对中国虚拟人数据图像进行配准。用该配准方法处理中国虚拟人数据,取得了令人满意的效果。     

基于改进的Zernike矩的局部描述符与图割离散优化的非刚性多模态脑部图像配准

针对脑部图像中存在噪声和强度失真时，基于结构信息的方法不能同时准确提取图像强度信息和边缘、纹理特征，并且连续优化计算复杂度相对较高的问题，根据图像的结构信息，提出了基于改进Zernike距的局部描述符（IZMLD）和图割（GC）离散优化的非刚性多模态脑部图像配准方法。首先，将图像配准问题看成是马尔可夫随机场（MRF）的离散标签问题，并且构造能量函数，两个能量项分别由位移矢量场的像素相似性和平滑性组成。其次，采用变形矢量场的一阶导数作为平滑项，用来惩罚相邻像素间有较大变化的位移标签；用基于IZMLD计算的相似性测度作为数据项，用来表示像素相似性。然后，在局部邻域中用图像块的Zernike矩来分别计算参考图像和浮动图像的自相似性并构造有效的局部描述符，把描述符之间的绝对误差和（SAD）作为相似性测度。最后，将整个能量函数离散化，并且使用GC的扩展优化算法求最小值。实验结果表明，与基于结构表示的熵图像的误差平方和（ESSD）、模态独立邻域描述符（MIND）和随机二阶熵图像（SSOEI）的配准方法相比，所提算法目标配准误差的均值分别下降了18.78%、10.26%和8.89%，并且比连续优化算法缩短了约20 s的配准时间。所提算法实现了在图像存在噪声和强度失真时的高效精确配准。     

医学图像融合技术在肿瘤放射治疗中的应用

由于常规医学图像的有效信息量较少，参考常规医学图像会影响肿瘤病情的判断，导致肿瘤放射治疗临床效果较低，为此提出医学图像融合技术，并将其应用到肿瘤放射治疗工作当中。利用医学设备采集患者的初始医学图像，通过灰度化、负像化和直方图预处理医学图像。经过医学图像的配准空间变换，将参考图像与浮动图像导入配准空间内，保证映射点与像素原点重合，实现多模态医学图像的配准处理。采用融合算子融合医学图像的各个级别及系数，得到重构的医学融合图像。输出医学图像融合结果，将医学图像融合结果应用到肿瘤放射治疗中，确定靶区位置并调整放射剂量，实现患者肿瘤放射治疗。实验结果表明，将医学图像融合技术应用到实际的肿瘤放射治疗工作中，可以有效地提高肿瘤的临床治疗效果，具有较高的应用价值。     

Quaternion Fourier-Mellin moments for color images

The quaternion Fourier-Mellin moments for describing color images are introduced, which can be seen as the generalization of traditional Fourier-Mellin moments for gray-level images. Then, the quaternion Fourier-Mellin moment invariants are derived, which could be a useful tool in color object recognition tasks that require the similarity invariance. In addition, the problem of color image registration using quaternion Fourier-Mellin moments is discussed. The registration method can match color images differing in rotation and scaling. The advantage of our method is that it can process color image directly, without losing color information. Experimental results validate the effectiveness of the method we proposed.     

基于SURF描述子的遥感影像配准

针对多源遥感影像的配准问题,提出一种基于SURF描述子的匹配算法,该算法具有稳健及高精度特性,采用SURF匹配算法得到同名点,利用一次多项式、Forstner算子和最小二乘原理由粗及精地剔除残差较大的同名点,利用提取的密集同名点构建三角网,对影像进行分块精确纠正。实验结果表明,该算法能够实现多源遥感影像的高精度配准。     

Structural feature-based evaluation method of binarization techniques for word retrieval in the degraded Arabic document images

One of the most important and necessary steps in the process of document analysis and recognition is the binarization, which allows extracting the foreground from the background. Several binarization techniques have been proposed in the literature, but none of them was reliable for all image types. This makes the selection of one method to apply in a given application very difficult. Thus, performance evaluation of binarization algorithms becomes therefore vital. In this paper, we are interested in the evaluation of binarization techniques for the purpose of retrieving words from the images of degraded Arabic documents. A new evaluation methodology is proposed. The proposed evaluation methodology is based on the comparison of the visual features extracted from the binarized document images with ground truth features instead of comparing images between themselves. The most appropriate thresholding method for each image is the one for which the visual features of the identified words in the image are “closer” to the features of the reference words. The proposed technique was used here to assess the performances of eleven algorithms based on different approaches on a collection of real and synthetic images.     

Visible and infrared image registration based on region features and edginess

Visible and infrared image registration is required for multi-sensor fusion and cooperative processing. However, traditional single-sensor image registration methods are generally not feasible as multi-sensor images are often loosely related and show different properties in imaging. This paper presents a coarse-to-fine procedure for registering visible and infrared images based on stable region features and edginess. Zernike moments are used to describe salient region features for a coarse registration, and an entropy optimal process based on edginess is used to refine the registration to achieve a more accurate result. Experiments show that the proposed method provides more robust and accurate registration than the existing methods.     

基于点特征的多源遥感影像高精度自动配准方法

提出了一种基于点特征的多源遥感影像高精度自动配准方法。该方法采用了由粗到精的配准策略。首先利用SIFT算子和一次多项式实现影像的粗配准,粗配准后的影像和参考影像将处于同一尺度（像素采样间隔）和参考坐标系下。其次在粗配准后的影像上提取分布均匀的特征点,根据前一步得到的影像间的坐标关系,在参考影像上确定一个较小的搜索范围,使用相关系数匹配出同名点,同时用Baarda数据探测法剔除粗差。最后根据同名点构建三角网对影像进行精配准。实验结果表明:该方法能够实现多源遥感影像的高精度配准。     

Research on fundus image registration and fusion method based on nonsubsampled contourlet and adaptive pulse coupled neural network

We present a registration and fusion method of fluorescein fundus angiography image and color fundus image which combines Nonsubsampled Contourlet (NSCT) and adaptive Pulse Coupled Neural Network (PCNN). Firstly, we register two images by Speeded Up Robust Features (SURF) feature points, the nearest neighbor and the next nearest neighbor distance ratio method to eliminate the spatial difference between the source images. Secondly, we use Random Sample Consensus (RANSAC) algorithm to achieve precise matching of feature points. Then, according to the transformation parameters obtained by RANSAC algorithm, we perform spatial transformation on the floating image to complete the registration. Finally, we obtain the low-frequency sub-band and high-frequency sub-band of the image to be fused by NSCT decomposition. The low-frequency sub-band is fused by the regional energy. The high-frequency sub-bands are studied using a simplified-PCNN model and the Particle Swarm Optimization algorithm. The link strength of the simplified-PCNN is an improved Laplacian energy and the images are fused based on the number of times the pixels are ignited. The proposed method has higher average gradient (AG) value and information entropy (IE) value and lower relative global dimensional synthesis error (ERGAS) than the existing fusion methods of the fundus image. The fusion image can accurately synthesize the image information, clarify the performance of the details, and has better spectral quality in the spectral range. The image of fused provides an effective reference for the clinical diagnosis of fundus diseases.

     

基于Radon和解析Fourier Mellin变换的尺度

由于正交矩对噪声鲁棒性强、重建效果好,因此被广泛应用于目标识别与分类中,但是正交矩本质上缺乏尺度变换不变性,而且必要的图像二值化与规一化过程会引入重采样与重量化误差。为此,在研究现有正交矩的基础上,提出了一种基于Radon变换和解析FourierMellin变换的尺度与旋转不变的目标识别算法。该算法首先直接对目标灰度图像进行Radon变换,然后对Radon变换结果进行进一步解析,通过FourierMellin变换将原图像的旋转变化转化为相位变化,将原图像的尺度变化转化为幅度变化;最后,通过定义一旋转与尺度不变函数,同时利用不变函数的4种特征,再应用k近邻法实现分类。理论与实验结果表明,由于避免了正交矩方法存在的重采样与重量化误差,该算法的分类精度高于基于正交矩的分类方法,而且对白噪声的鲁棒性也显著高于基于正交矩的识别与分类方法。     

基于机器视觉PCB裸板缺陷自动检测研究

运用参考比较法对机器视觉PCB裸板缺陷检测进行了研究。在相机摄像头下同一位置采集多幅标准PCB图像累加求平均值得到标准电路板图像,运用Harris角点算法进行标准电路板图像和待测电路板图像的配准,分别对标准电路板图像和待测电路板图像进行灰度变换、中值滤波、二值化、异或等图像处理检测出缺陷区域,然后通过形态学消除伪缺陷,实验证明,该检测方法有较高的准确率。     

Parameter-free based two-stage method for binarizing degraded document images

Binarization plays an important role in document image processing, especially in degraded documents. For degraded document images, adaptive binarization methods often incorporate local information to determine the binarization threshold for each individual pixel in the document image. We propose a two-stage parameter-free window-based method to binarize the degraded document images. In the first stage, an incremental scheme is used to determine a proper window size beyond which no substantial increase in the local variation of pixel intensities is observed. In the second stage, based on the determined window size, a noise-suppressing scheme delivers the final binarized image by contrasting two binarized images which are produced by two adaptive thresholding schemes which incorporate the local mean gray and gradient values. Empirical results demonstrate that the proposed method is competitive when compared to the existing adaptive binarization methods and achieves better performance in precision, accuracy, and F-measure.     

电力巡检场景下的红外与可见光图像配准方法

电力设备故障会导致停电事故,影响电网的安全稳定运行。根据电力设备运行时会产生热量的特点,提出一种电力设备的红外与可见光图像配准方法,便于进行异常发热故障检测。首先通过Sobel边缘检测算子提取电力设备的红外与可见光图像的边缘信息,得到边缘图像;然后通过SuperPoint算法检测2幅边缘图像的特征点并计算描述子,利用SuperGlue算法对特征点进行匹配;最后通过最小二乘法计算仿射变换模型参数,实现电力设备的红外与可见光图像配准。实验结果表明本文方法能够对电力设备的红外与可见光图像进行高精度的配准。     

中药口服液中可见异物检测系统研究

针对目前生产线上中药口服液中可见异物检测系统存在的速度慢、精度低等问题,设计了一种可同时检测多个药瓶的基于机器视觉的异物快速检测系统。介绍了成像系统和机械系统。提出了一种基于边缘轮廓的图像配准算法,有效地消除了药瓶晃动的影响。提出了一种逐点阈值分割图像的二值化方法,能得到质量较好的二值化图像。实验结果表明,该系统能快速、有效地检测出可见异物,能较好地满足在线检测需求。     

一种改进的心脏磁共振图像亚像素匹配方法

心肌灌注磁共振图像系列的配准是心脏分析诊断的重要辅助手段。针对心脏磁共振时间序列图像,提出了一种结合力矩主轴法与互信息法的序列图像亚像素配准新方法。给出了一种由粗配准到精配准的混合配准策略。采用力矩主轴法进行粗配准,避免那些远离全局最优点的局部极值;采用Powell算法和模拟退火算法相结合的搜索策略,以互信息的值作为目标函数,对结果进行优化。使得图像配准精度和速度有极大的提高。     

基于VoxelMorph的可见光和红外遥感影像配准

由于可见光和红外的成像机理、成像波段不同,获取的遥感影像之间存在复杂的非线性辐射畸变,传统的配准方法难以实现两者的高精度配准。本文提出一种基于VoxelMorph的可见光和红外遥感影像配准方法,利用卷积神经网络对可见光和红外异源图像进行分步的精细化形变场计算,从而实现快速高精度配准。将可见光图像作为参考图像,利用U-Net网络计算待配准红外图像和参考（可见光）图像的形变场,实现全局对齐的仿射变换,然后通过空间转换网络进一步实现更高自由度变形。采用WHU-OPT-SAR数据集的实验结果表明,与基于尺度不变特征变换（SIFT）算法的传统配准方法相比,本文提出的基于VoxelMorph配准方法可以获得更好的配准效果,验证了基于VoxelMorph的配准方法在多源遥感影像领域的有效性。