基于深度卷积特征光流的形变医学图像配准算法

光流法是一种基于光流场模型的重要而有效的形变配准算法。针对现有光流法所用特征质量不高使得配准结果不够准确的问题，将深度卷积神经网络特征和光流法相结合，提出了基于深度卷积特征光流（DCFOF）的形变医学图像配准算法。首先利用深度卷积神经网络稠密地提取图像中每个像素所在图像块的深度卷积特征，然后基于固定图像和浮动图像间的深度卷积特征差异求解光流场。通过提取图像的更为精确和鲁棒的深度学习特征，使求得的光流场更接近真实形变场，提升了配准精度。实验结果表明，所提算法能够更有效地解决形变医学图像配准问题，其配准精度优于Demons算法、尺度不变特征变换(SIFT) Flow算法以及医学图像专业配准软件Elastix。     

选择性卷积特征融合的花卉图像分类

目的 针对花卉图像标注样本缺乏、标注成本高、传统基于深度学习的细粒度图像分类方法无法较好地定位花卉目标区域等问题,提出一种基于选择性深度卷积特征融合的无监督花卉图像分类方法。方法 构建基于选择性深度卷积特征融合的花卉图像分类网络。首先运用保持长宽比的尺寸归一化方法对花卉图像进行预处理,使得图像的尺寸相同,且目标不变形、不丢失图像细节信息;之后运用由ImageNet预训练好的深度卷积神经网络VGG-16模型对预处理的花卉图像进行特征学习,根据特征图的响应值分布选取有效的深度卷积特征,并将多层深度卷积特征进行融合;最后运用softmax分类层进行分类。结果 在Oxford 102 Flowers数据集上做了对比实验,将本文方法与传统的基于深度学习模型的花卉图像分类方法进行对比,本文方法的分类准确率达85.55%,较深度学习模型Xception高27.67%。结论 提出了基于选择性卷积特征融合的花卉图像分类方法,该方法采用无监督的方式定位花卉图像中的显著区域,去除了背景和噪声部分对花卉目标的干扰,提高了花卉图像分类的准确率,适用于处理缺乏带标注的样本时的花卉图像分类问题。     

MSIMCNN: Multi-scale inception module convolutional neural network for multi-focus image fusion

The aim of image fusion is to obtain a clear image by combining useful information coming from multiple images. However, the fused image usually has the problem of artifacts and unclear boundary. To address these problems, a deep convolutional neural network based framework for multi-focus image fusion is proposed in this paper, called multi-scale inception module convolutional neural network (MSIMCNN). MSIMCNN converts the entire image into a binary mask to estimate the focus characteristics, and obtains the clear boundary between focus and defocus. First of all, a pair of focus images and the corresponding feature images detected by the Laplace operator are inputted into the network. The Laplace operator can detect the edge and gradient of focus in the image, which can help us accurately reconstruct the focused area in the focus map and distinguish the focus and defocus boundaries. Then, in the feature extraction stage, different scales of convolution kernels are designed to extract the rich and complementary features at different scales of the source images. At the same time, the inception module is added to increase the width of the network and reduce the parameters, which can extract more focus features required for image reconstruction and reduce the complexity. Finally, the focus map of the source image pair can be obtained in the feature reconstruction stage. In this stage, an efficient method is proposed to make the focus mask, which is used for the calculation of the loss function and the generation of the training set. The experimental results on different data sets confirm the superiority and effectiveness of MSIMCNN compared with other methods.

     

Unsupervised deformable image registration network for 3D medical images

Image registration aims to establish an active correspondence between a pair of images. Such correspondence is critical for many significant applications, such as image fusion, tumor growth monitoring, and atlas generation. In this study, we propose an unsupervised deformable image registration network (UDIR-Net) for 3D medical images. The proposed UDIR-Net is designed in an encoder-decoder architecture and directly estimates the complex deformation field between input pairwise images without any supervised information. In particular, we recalibrate the feature slice of each feature map that is propagated between the encoder and the decoder in accordance with the importance of each feature slice and the correlation between feature slices. This method enhances the representational power of feature maps. To achieve efficient and robust training, we design a novel hierarchical loss function that evaluates multiscale similarity loss between registered image pairs. The proposed UDIR-Net is tested on different public magnetic resonance image datasets of the human brain. Experimental results show that UDIR-Net exhibits competitive performance against several state-of-the-art methods.

     

Research on fundus image registration and fusion method based on nonsubsampled contourlet and adaptive pulse coupled neural network

We present a registration and fusion method of fluorescein fundus angiography image and color fundus image which combines Nonsubsampled Contourlet (NSCT) and adaptive Pulse Coupled Neural Network (PCNN). Firstly, we register two images by Speeded Up Robust Features (SURF) feature points, the nearest neighbor and the next nearest neighbor distance ratio method to eliminate the spatial difference between the source images. Secondly, we use Random Sample Consensus (RANSAC) algorithm to achieve precise matching of feature points. Then, according to the transformation parameters obtained by RANSAC algorithm, we perform spatial transformation on the floating image to complete the registration. Finally, we obtain the low-frequency sub-band and high-frequency sub-band of the image to be fused by NSCT decomposition. The low-frequency sub-band is fused by the regional energy. The high-frequency sub-bands are studied using a simplified-PCNN model and the Particle Swarm Optimization algorithm. The link strength of the simplified-PCNN is an improved Laplacian energy and the images are fused based on the number of times the pixels are ignited. The proposed method has higher average gradient (AG) value and information entropy (IE) value and lower relative global dimensional synthesis error (ERGAS) than the existing fusion methods of the fundus image. The fusion image can accurately synthesize the image information, clarify the performance of the details, and has better spectral quality in the spectral range. The image of fused provides an effective reference for the clinical diagnosis of fundus diseases.

     

基于场景理解与改进型BUG算法的移动机器人避障

针对现有移动机器人在视觉避障上存在的局限,将深度学习算法和路径规划技术相结合,提出了一种基于深层卷积神经网络和改进Bug算法的机器人避障方法;该方法采用多任务深度卷积神经网络提取道路图像特征,实现图像分类和语义分割任务;其次,基于语义分割结果构建栅格地图,并将图像分类结果与改进的Bug算法相结合,搜索出最优避障路径;同时,为降低冗余计算,设计了特征对比结构来对避免对重复计算的特征信息,保障机器人在实际应用中实时性;通过实验结果表明,所提方法有效的平衡了多视觉任务的精度与效率,并能准确规划出安全的避障路径,辅助机器人完成导航避障。     

深度卷积网络卫星图像水泥厂目标检测

目的 水泥厂作为重要的污染源企业需要对其进行统计和监管,近几年随着卫星遥感技术的发展和遥感影像分辨率的提高,使得基于卫星影像进行水泥厂目标检测成为可能。但是由于遥感图像中建筑目标的环境复杂多变,同时各个水泥厂在生产规模、设备构成、厂区结构、坐落方位上存在较大差异,图像表观上的形态各异和复杂环境干扰使得传统图像识别方法难以设计和提取有效特征。鉴于深度学习在视觉目标检测领域的成功应用,本文将研究应用深度卷积神经网络方法,实现在卫星图像上识别与定位水泥厂目标,为环保部门提供一种高效便捷的水泥厂目标检测和统计方法。方法 基于面向目标检测与定位的Faster R-CNN深度学习框架,以准确检测与定位水泥厂区域为目的,以京津冀地区的水泥厂位置作为训练和测试数据集,选用3种结构不同的提取特征卷积神经网络模型进行了对比实验。并针对小样本训练容易出现的过拟合和误检问题,采用图像去雾预处理、数据扩充、引入负样本等技术进一步提升模型能力。结果 测试集实验结果表明ResNet特征提取网络效果最好,准确率达到74%。为了进一步提高检出率并降低误检率,引入3种模型能力提升方法,在扩充检测数据集中的检出率达到94%,误检率降低到14%;在全球水泥厂数据集中的图像检出率达到96%,万幅随机图像的误检数量为30幅（0.3%）。对上海地区的卫星图像进行扫描检测,结果检测出11个已登记的水泥厂（共登记16个）,另外还检测出17个未登记的水泥厂。结论 对于卫星地图上水泥厂这种具有特殊建筑构造但也存在厂区几何形状各异、所处地理环境复杂、随季节性变化等特点,本文提出的基于深度卷积网络的卫星图像水泥厂检测方法,能够自动学习提取有效的图像特征并对目标进行准确检测。针对小样本训练问题,引入3种方法显著提高了模型的检测精度。在模型泛化能力测试中,经过优化后的模型在水泥厂建筑目标检测任务中表现良好,具有重要的应用价值。     

基于残差融合网络的定量磁敏感图像与T1加权图像配准

医学图像配准对医学图像处理和分析至关重要, 由于定量磁敏感图像 (quantitative susceptibility mapping, QSM) 与T1加权图像的灰度、纹理等信息存在较大的差异, 现有的医学图像配准算法难以高效精确地完成两者配准. 因此, 本文提出了一个基于残差融合的无监督深度学习配准模型RF-RegNet (residual fusion registration network, RF-RegNet). RF-RegNet由编解码器、重采样器以及上下文自相似特征提取器3部分组成. 编解码器用于提取待配准图像对的特征和预测两者的位移矢量场 (displacement vector field, DVF), 重采样器根据估计的DVF对浮动QSM图像重采样, 上下文自相似特征提取器分别用于提取参考T1加权图像和重采样后的QSM图像的上下文自相似特征并计算两者的平均绝对误差 (mean absolute error, MAE) 以驱动卷积神经网络 (convolutional neural network, ConvNet) 学习. 实验结果表明本文提出的方法显著地提高了QSM图像与T1加权图像的配准精度, 满足临床的配准需求.     

参数合成空间变换网络的遥感图像一致性配准

目的 遥感图像配准是对多组图像进行匹配和叠加的过程。该技术在地物检测、航空图像分类和卫星图像融合等方面发挥着重要作用，主要有传统方法和基于深度学习的方法。其中，传统遥感图像配准算法在进行配准时会耗费大量人力，并且运行时间过长。而基于深度学习的遥感图像配准算法虽然减少了人工成本，提高了模型自适应学习的能力，但是算法的配准精度和运行时间仍有待提高。针对基于深度学习的配准算法存在的问题，本文提出了参数合成的空间变换网络对遥感图像进行双向一致性配准。方法 通过增加空间变换网络的深度、合成网络内部的参数对空间变换模型进行改进，并将改进后的模型作为特征提取部分的骨干网络，有效地提高网络的鲁棒性。同时，将单向配准方法改为双向配准方法，进行双向的特征匹配和特征回归，保证配准方向的一致性。然后将回归得到的双向参数加权合成，提高模型的可靠性和准确性。结果 将本文实验结果与两种经典的传统方法SIFT（scale-invariant feature transform）、SURF（speeded up robust features）对比，同时与近3年提出的CNNGeo（convolutional neural network architecture for geometric matching）、CNN-Registration（multi-temporal remote sensing image registration）和RMNet（robust matching network）3种最新的方法对比，配准结果表明本文方法不仅在定性的视觉效果上较为优异，而且在定量的评估指标上也有不错的效果。在Aerial Image Dataset数据集上，本文使用"关键点正确评估比例"与以上5种方法对比，精度分别提高了36.2%、75.9%、53.6%、29.9%和1.7%；配准时间分别降低了9.24 s、7.16 s、48.29 s、1.06 s和4.06 s。结论 本文所提出的配准方法适用于时间差异变化（多时相）、视角差异（多视角）与拍摄传感器不同（多模态）的3种类型的遥感图像配准应用。在这3种类型的配准应用下，本文算法具有较高的配准精度和配准效率。     

DS-YOLO网络在遥感图像中的飞机检测算法研究

为了解决传统特征提取方法在遥感图像中飞机检测准确率和实时性不足的问题,基于YOLOv3-tiny网络在准确率提升方面提出两点改进。改进点一：将网络提取图像特征点的方式改进为分组卷积,即将一幅图像分成三个通道进行卷积操作,配合通道特征变换以加强各通道之间的语义关联;改进点二：将网络深层特征增加一个尺度检测,并进行上采样与浅层特征图进行融合预测。在速度提升方面引入深度可分离卷积代替传统卷积以降低参数计算量,达到模型轻量化。根据改进后的网络提出一种包含33个卷积层的改进型卷积神经网络DS-YOLO,对改进前后网络分别在自制遥感飞机图像上进行训练,选出最优的权重,用来对目标小、曝光度高、背景干扰等低质量测试集进行测试分析。实验结果表明,改进后的算法在测试集上精准度提升了14.1%,召回率提升了16.8%,检测低质量遥感飞机图像效果更佳。     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

多尺度密集时序卷积网络的单幅图像去雨方法

雨滴会降低户外拍摄图像质量,影响图像视觉效果及后续图像分析工作。针对目前去雨算法存在颜色失真、去雨过度化等问题,为了提高计算机视觉算法在中、大雨天气下的准确性,提出多尺度DenseTimeNet(密集时间序列卷积神经网络)的单幅图像去雨方法。该网络由多个尺度DenseTimeNetBlock(密集时序卷积网络密集块)组成,通过卷积下采样技术得到不同尺度下雨线特征信息与降低图像维度后利用时域卷积寻找的时间维度特征信息。在不同维度下学习雨景图和无雨图之间的映射关系,网络主体由密集卷积块和残差网络组成,可加速算法收敛速度,更深度学习图像纹理特征,使特征信息在网络结构进行深度传播,可以更好地复原残损图像。在不同方向,不同大小的雨滴图像上对所提方法进行验证,实验结果表明,该方法相较于现有算法,图像去雨效果良好。     

基于深度学习的卫星遥感图像边缘检测方法

为解决卫星遥感图像边缘模糊噪点过多,导致图像清晰度过低的问题,提出基于深度学习的卫星遥感图像边缘检测方法;利用Softmax分类器结构,提取边缘图像节点处的数据信息参量,遵循深度学习算法完成对图像信息的卷积与池化处理,基于CV算法实现基于深度学习的卫星遥感图像识别;根据尺度空间定义原则,确定边缘检测特征点所处位置,再联合梯度信息熵计算结果,完成对卫星遥感图像的拼接处理;分别计算一阶微分边缘算子、二阶微分边缘算子的具体数值,确定梯度幅值的取值区间,总结已知数值参量,建立完整的双阈值表达式,完成基于深度学习的卫星遥感图像边缘检测方法的设计;实验结果表明,应用所提方法后卫星遥感图像边缘节点处信噪比指标在55.1～62.7 dB范围内,图像模糊噪点个数最大为1.32×10⁵个,可获得较为清晰的遥感图像,在卫星遥感图像边缘精准检测方面具有较强的实用性。     

集成注意力增强和双重相似性引导的多模态脑部图像配准

目的 医学图像配准是医学图像处理和分析的关键环节,由于多模态图像的灰度、纹理等信息具有较大差异,难以设计准确的指标来量化图像对的相似性,导致无监督多模态图像配准的精度较低。因此,本文提出一种集成注意力增强和双重相似性引导的无监督深度学习配准模型（ensemble attention-based and dual similarity guidance registration network,EADSG-RegNet）,结合全局灰度相似性和局部特征相似性共同引导参数优化,以提高磁共振T2加权图像和T1加权模板图像配准的精度。方法 EADSG-RegNet模型包含特征提取、变形场估计和重采样器。设计级联编码器和解码器实现图像对的多尺度特征提取和变形场估计,在级联编码器中引入集成注意力增强模块（integrated attention augmentation module,IAAM）,通过训练的方式学习提取特征的重要程度,筛选出对配准任务更有用的特征,使解码器更准确地估计变形场。为了能够准确估计全局和局部形变,使用全局的灰度相似性归一化互信息（normalized mutual information,NMI）和基于SSC （self-similarity context）描述符的局部特征相似性共同作为损失函数训练网络。在公开数据集和内部数据集上验证模型的有效性,采用Dice分数对配准结果在全局灰质和白质以及局部组织解剖结构上作定量分析。结果 实验结果表明,相比于传统配准方法和深度学习配准模型,本文方法在可视化结果和定量分析两方面均优于其他方法。对比传统方法ANTs （advanced normalization tools）、深度学习方法voxelMorph和ADMIR （affine and deformable medical image registration）,在全局灰质区域,Dice分数分别提升了3.5%,1.9%和1.5%。在全局白质区域分别提升了3.4%,1.6%和1.3%。对于局部组织结构,Dice分数分别提升了5.2%,3.1%和1.9%。消融实验表明,IAAM模块和SSC损失分别使Dice分数提升1.2%和1.5%。结论 本文提出的集成注意力增强的无监督多模态医学图像配准网络,通过强化有用特征实现变形场的准确估计,进而实现图像中细小区域的准确配准,对比实验验证了本文模型的有效性和泛化能力。     

改进卷积网络的高分遥感图像城镇建成区提取

目的 城镇建成区是城镇研究重要的基础信息,也是实施区域规划、落实城镇功能空间布局的前提。但是遥感影像中城镇建成区的环境复杂,同时不同城镇建成区在坐落位置、发展规模等方面存在许多差异,导致其信息提取存在一定困难。方法 本文基于面向图像语义分割的深度卷积神经网络,使用针对特征图的强化模块和通道域的注意力模块,对原始DeepLab网络进行改进,并通过滑动窗口预测、全连接条件随机场处理方法,更准确地实现城镇建成区提取。同时,针对使用深度学习算法容易出现过拟合和鲁棒性不强的问题,采用数据扩充增强技术进一步提升模型能力。结果 实验数据是三亚和海口部分地区的高分二号遥感影像。结果表明,本文方法的正确率高于93%,Kappa系数大于0.837,可以有效地提取出大尺度高分辨率遥感影像中的城镇建成区,且提取结果最为接近实际情况。结论 针对高分辨率遥感卫星影像中城镇建成区的光谱信息多样化、纹理结构复杂化等特点,本文算法能在特征提取网络中获取更多特征信息。本文使用改进的深度学习方法,提出两种处理方法,显著提高了模型的精度,在实际大幅遥感影像的使用中表现优秀,具有重要的实用价值和广阔的应用前景。     

基于内容特征和风格特征融合的单幅图像去雾网络

基于深度学习的方法在去雾领域已经取得了很大进展,但仍然存在去雾不彻底和颜色失真等问题.针对这些问题,本文提出一种基于内容特征和风格特征相融合的单幅图像去雾网络.所提网络包括特征提取、特征融合和图像复原三个子网络,其中特征提取网络包括内容特征提取模块和风格特征提取模块,分别用于学习图像内容和图像风格以实现去雾的同时可较好地保持原始图像的色彩特征.在特征融合子网络中,引入注意力机制对内容特征提取模块输出的特征图进行通道加权实现对图像主要特征的学习,并将加权后的内容特征图与风格特征图通过卷积操作相融合.最后,图像复原模块对融合后的特征图进行非线性映射得到去雾图像.与已有方法相比,所提网络对合成图像和真实图像均可取得理想的去雾结果,同时可有效避免去雾后的颜色失真问题.     

面向大尺度战场的地貌晕渲增强方法

地貌晕渲是大尺度战场仿真中的重要一环,针对现有的地貌晕渲技术在细节处纹理特征不明显的问题,提出了一种结合高程曲率和环境光遮蔽的大尺度战场地貌晕渲增强方法.第1步,通过分析数字高程数据的曲率属性生成地形曲率图,曲率图与卫星影像叠加可以突出显示地貌特征线.第2步,提出一种基于深度可分离卷积的环境光遮蔽计算方法,能够增强战场地形在沟壑处的视觉表现.最后将曲率图、环境光遮蔽与卫星影像三者融合生成实时地貌晕渲效果.实验表明,本文方法可以在较低级别的全球卫星影像上呈现更好的视觉效果,使得观察者在把握三维地形整体走势的同时,能进一步分析地貌细节处的纹理特征.     

前列腺磁共振图像分割的反卷积神经网络方法

目的 前列腺磁共振图像存在组织边界对比度低、有效区域少等问题,手工勾勒组织轮廓边界的传统分割方法无法满足临床实时性要求,针对这些问题提出了一种基于深度反卷积神经网络的前列腺磁共振图像分割算法。方法 基于深度学习理论,将训练图像样本输入设计好的卷积神经网络,提取具有高度区分性的前列腺图像特征,反卷积策略用于拓展特征图尺寸,使网络的输入尺寸与输出预测图大小匹配。网络生成的概率预测图通过训练一个softmax分类器,对预测图像取二值化,获得最终的分割结果。为克服原始图像中有效组织较少的问题,采用dice相似性系数作为卷积网络的损失函数。结果 本文算法以Dice相似性系数和Hausdorff距离作为评价指标,在MICCAI 2012数据集中,Dice相似性系数大于89.75%,Hausdorff距离小于1.3 mm,达到了传统方法的分割精度,并且将处理时间缩短在1 min以内,明显优于其他方法。结论 定量与定性的实验表明,基于反卷积神经网络的前列腺分割方法可以准确地对磁共振图像进行分割,相比于其他分割算法大幅度减小了处理时间,能够很好地适用于临床的前列腺图像分割任务。     

空间约束的无人机影像SURF特征点匹配

与普通场景图像相比,无人机影像中纹理信息较丰富,局部特征与目标对象“一对多”的对应问题更加严重,经典SURF算法不适用于无人机影像的特征点匹配.为此,提出一种辅以空间约束的SURF特征点匹配方法,并应用于无人机影像拼接.该方法对基准影像整体提取SURF特征点,对目标影像分块提取SURF特征点,在特征点双向匹配过程中使用两特征点对进行空间约束,实现目标影像子图像与基准影像的特征点匹配;根据特征点对计算目标影像初始变换参数,估计目标影像特征点的匹配点在基准影像上的点位,对匹配点搜索空间进行约束,提高匹配速度与精度;利用点疏密度空间约束,得到均匀分布的特征点对.最后,利用所获取的特征点对实现无人机影像的配准与拼接,通过人工选取均匀分布的特征点对验证拼接精度.实验结果表明,采用本文方法提取的特征点能够得到较好的无人机影像拼接效果.     

基于双分支网络的图像修复取证方法

图像修复是一项利用图像已知区域的信息来修复图像中缺失或损坏区域的技术。人们借助以此为基础的图像编辑软件无须任何专业基础就可以轻松地编辑和修改数字图像内容,一旦图像修复技术被用于恶意移除图像的内容,会给真实的图像带来信任危机。目前图像修复取证的研究只能有效地检测某一种类型的图像修复。针对这一问题,提出了一种基于双分支网络的图像修复被动取证方法。双分支中的高通滤波卷积网络先使用一组高通滤波器来削弱图像中的低频分量,然后使用4个残差块提取特征,再进行两次4倍上采样的转置卷积对特征图进行放大,此后使用一个5×5的卷积来减弱转置卷积带来的棋盘伪影,生成图像高频分量上的鉴别特征图。双分支中的双注意力特征融合分支先使用预处理模块为图像增添局部二值模式特征图。然后使用双注意力卷积块自适应地集成图像局部特征和全局依赖,捕获图像修复区域和原始区域在内容及纹理上的差异,再对双注意力卷积块提取的特征进行融合。最后对特征图进行相同的上采样,生成图像内容和纹理上的鉴别特征图。实验结果表明该方法在检测移除对象的修复区域上,针对样本块修复方法上检测的F1分数较排名第二的方法提高了2.05%,交并比上提高了3.53%;...