最优控制点选取的遥感图像亚像素配准算法

分析了已有图像配准算法应用遥感图像配准方面的面临的问题,针对提高不同模态遥感图像配准精度问题,提出了一种人工辅助多模态图像配准算法。该算法首先由人工对待配准图像(测试图像)和参考图像输入控制点,利用高斯差分算子确定测试图像极值点;其次利用投影变换和最小线性平方差算法计算双边平均配准误差;最后,根据配准误差自动对控制点进行亚像素调整,取得亚像素级控制点匹配,实现遥感图像精确配准。实验结果表明,该算法具备更高的配准精度。      

基于二维局域波和角点匹配的多模态图像配准

目前多模态图像配准研究是现代图像处理的一个热点。提出了一种基于二维局域波分解后剩余图像和角点检测的自动点匹配的多模态图像配准方法。首先通过理论分析得出通过求解剩余图像之间的变换参数即可获得原始图像之间的变换参数,从而论证了二维局域波应用于多模态图像配准的可行性,提出了一个新的基于Harris角点检测的高精度自动点匹配算法。该算法充分利用了图像的角点特征以及图像灰度和位置信息,匹配过程中采用圆形模板进行相似度计算和松弛匹配。实验表明,该算法可以精确的自动匹配,其精度优于传统的点匹配算法。     

基于改进光流场模型的脑部多模医学图像配准

 基于光流场模型的配准其常亮假设的光流场约束要求待配准的源图像和目标图像具有一致的灰度,因而只适用于单模态图像之间的配准,为此使用基于排序的精确直方图规定化对脑部MR-PD图像进行模态变换,完成与MR-T2图像之间的灰度映射.由于此配准方法主要用来寻找时间序列图像中的细小形变,当待配准的两图像差异较大时就不能取得满意的配准效果,为此使用能反映图像结构的标记点构造附加的外力对光流场模型加以改进,以获得更理想的配准参数.实验证明,本文方法能够实现具有较大差异的脑部MR多模序列图像之间的准确配准.     

多分类CNN的胶质母细胞瘤多模态MR图像分割

为提高胶质母细胞瘤（GBM）多模态磁共振（MR）图像中各肿瘤子区域分割的准确性,提出一种多分类卷积神经网络（CNN）的GBM多模态MR图像自动分割算法.首先在98%缩尾处理和配准GBM多模态MR图像后,利用N4ITK法校正偏移场;其次构建一个主要由4个卷积层、2个池化层和2个全连接层组成的多分类CNN模型,训练后预分割GBM多模态MR图像,将体素分为5类不同的标签;最后移除所有小于200体素的假阳性区域,中值滤波后获得最终分割结果.以Dice相似性系数DSC、阳性预测值PPV和平均Hausdorff距离AHD为评价指标,利用所提出的算法对F-C-GBM数据集中整个肿瘤组织进行分割,获得的DSC、PPV、AHD分别为0.889±0.087、0.859±0.127和1.923.结果表明,该算法能有效提高GBM多模态MR图像分割的性能,可望有临床应用前景.     

基于多模态图像信息的变电设备红外分割方法

无人机拍摄下的红外图像中变电设备的分割精度直接影响着热故障诊断的结果,针对复杂红外背景下变电设备分割精度低的问题,提出了一种融合可见光和红外图像的多模态路径聚合网络（Multimodal Path Aggregation Network, MPAN）。首先提取并融合两种模态图像的特征,考虑到两种模态图像的特征空间存在差异,提出了自适应特征融合模块（Adaptive Feature Fuse Module, AFFM）,以充分融合两种模态特征;对具有多尺度特征的主干网络增加自底向上的金字塔网络,并对横向连接的路径增强模块引入自注意力机制;最后使用dice系数优化掩膜损失函数。实验结果表明,多模态图像的融合能够增强分割性能,且验证了提出各模块的有效性,该模型能够显著提高红外图像中变电设备实例分割的准确率。     

基于多模态图像信息的变电设备红外分割方法

无人机拍摄下的红外图像中变电设备的分割精度直接影响着热故障诊断的结果，针对复杂红外背景下变电设备分割精度低的问题，提出了一种融合可见光和红外图像的多模态路径聚合网络（Multimodal Path Aggregation Network, MPAN）。首先提取并融合两种模态图像的特征，考虑到两种模态图像的特征空间存在差异，提出了自适应特征融合模块（Adaptive Feature Fuse Module, AFFM），以充分融合两种模态特征；对具有多尺度特征的主干网络增加自底向上的金字塔网络，并对横向连接的路径增强模块引入自注意力机制；最后使用dice系数优化掩膜损失函数。实验结果表明，多模态图像的融合能够增强分割性能，且验证了提出各模块的有效性，该模型能够显著提高红外图像中变电设备实例分割的准确率。     

基于MRF模型的多模态图像配准技术研究

在医学图像处理领域中,医学图像配准技术极其重要,其价值体现在临床医学中对图像处理技术的应用。在解决多模态图像配准的相关问题时,基于互信息方法的应用最广泛,但在某些特定的应用中该方法受到的约束仍然较多。针对这一情况,提出一种新的医学图像配准算法,模态变换的引入作为此研究算法的基础,之后新的马尔可夫能量函数则根据两幅通过模态变换后的图像矩阵以及原配准图像得以构建。同时,为了优化能量函数引入了一种改进的梯度下降算法,从而得到配准结果。最后,运用不同的医学图像进行配准实验来验证该算法,通过实验证明该配准算法具有良好的有效性及抗噪性能。     

基于最大化对齐度的多模态图像自动配准

该文讨论图像配准的广义定义并提出一种新的图像配准准则对齐度。对齐度能够正确地反映两幅不同灰度属性的图像是否配准,并且将图像配准归结为对齐度的最大化。新准则可以用来配准多模态图像包括灰度属性差异很大的图像。该文应用多分辨率方法和Powell方向族搜索法来最大化对齐度。因此,用该方法可以自动地处理图像配准问题,不需要定义地标点或特征点。多模态医学图像和遥感图像的自动配准的例子说明了该文方法的有效性。     

C2 Transformer U-Net:面向跨模态和上下文语义的医学图像分割模型

跨模态的医学图像可以在同一病灶处提供更多的语义信息,针对U-Net网络主要使用单模态图像用于分割,未充分考虑跨模态、上下文语义相关性的问题,该文提出面向跨模态和上下文语义的医学图像分割C2 Transformer U-Net模型。该模型的主要思想是:首先,在编码器部分提出主干、辅助U-Net网络结构,来提取不同模态的语义信息;然后,设计了多模态上下文语义感知处理器(MCAP),有效地提取同一病灶跨模态的语义信息,跳跃连接中使用主网络的两种模态图像相加后传入Transformer解码器,增强模型对病灶的表达能力;其次,在编-解码器中采用预激活残差单元和Transformer架构,一方面提取病灶的上下文特征信息,另一方面使网络在充分利用低层和高层特征时更加关注病灶的位置信息;最后,使用临床多模态肺部医学图像数据集验证算法的有效性,对比实验结果表明所提模型对于肺部病灶分割的Acc, Pre, Recall, Dice, Voe与Rvd分别为:97.95%, 94.94%, 94.31%, 96.98%, 92.57%与93.35%。对于形状复杂肺部病灶的分割,具有较高的精度和相对较低的冗余度,总体上优于现有的先进方法。     

基于多模态融合的2D MR脑肿瘤图像分割算法研究

针对不同模态MR脑肿瘤图像呈现的肿瘤状态差异以及卷积神经网络(convolutional neural networks, CNNs)提取特征局限性的问题,提出了一种基于多模态融合的MR脑肿瘤图像分割方法。分割模型以U-net网络为原型,创新一种多模态图像融合方式以加强特征提取能力,同时引入通道交叉注意力机制(channel cross transformer, CCT)代替U-net中的跳跃连接结构,进一步弥补深浅层次的特征差距与空间依赖性,有效融合多尺度特征,加强对肿瘤的分割能力。实验在BraTS数据集上进行了多目标分割结果验证,通过定量分析对比前沿网络分割结果,表明该方法确有良好的分割性能,其分割出三种肿瘤区域的Dice系数分别达到80%、74%、71%。     

基于视觉注意力机制的多源遥感图像语义分割

近年来,随着空间感知技术的不断发展,对多源遥感图像的融合处理需求也逐渐增多,如何有效地提取多源图像中的互补信息以完成特定任务成为当前的研究热点。针对多源遥感图像融合语义分割任务中,多源图像的信息冗余和全局特征提取难题,本文提出一种将多光谱图像（Multispectral image, MS）、全色图像（Panchromatic image, PAN）和合成孔径雷达 （Synthetic Aperture Radar, SAR）图像融合的基于Transformer的多源遥感图像语义分割模型Transformer U-Net （TU-Net）。该模型使用通道交换网络（Channel-Exchanging-Network, CEN）对融合支路中的多源遥感特征图进行通道交换,以获得更好的信息互补性,减少数据冗余。同时在特征图拼接后通过带注意力机制的Transformer模块对融合特征图进行全局上下文建模,提取多源遥感图像的全局特征,并以端到端的方式分割多源图像。在MSAW数据集上的训练和验证结果表明,相比目前的多源融合语义分割算法,在F₁值和Dice系数上分别提高了3.31%~11.47%和4.87%~8.55%,对建筑物的分割效果提升明显。      

多分辨率融合输入的U型视网膜血管分割算法

针对视网膜血管拓扑结构不规则、形态复杂和尺度变化多样的特点,该文提出一种多分辨率融合输入的U型网络(MFIU-Net),旨在实现视网膜血管精准分割。设计以多分辨率融合输入为主干的粗略分割网络,生成高分辨率特征。采用改进的ResNeSt代替传统卷积,优化血管分割边界特征;将并行空间激活模块嵌入其中,捕获更多的语义和空间信息。构架另一U型精细分割网络,提高模型的微观表示和识别能力。一是底层采用多尺度密集特征金字塔模块提取血管的多尺度特征信息。二是利用特征自适应模块增强粗、细网络之间的特征融合,抑制不相关的背景噪声。三是设计面向细节的双重损失函数融合,以引导网络专注于学习特征。在眼底数据用于血管提取的数字视网膜图像(DRIVE)、视网膜结构分析(STARE)和儿童心脏与健康研究(CHASE_DB1)上进行实验,其准确率分别为97.00%, 97.47%和97.48%,灵敏度分别为82.73%, 82.86%和83.24%,曲线下的面积(AUC)值分别为98.74%, 98.90%和98.93%。其模型整体性能优于现有算法。     

Face anti-spoofing based on multi-modal and multi-scale features fusion

Face anti-spoofing is used to assist face recognition system to judge whether the detected face is real face or fake face. In the traditional face anti-spoofing methods, features extracted by hand are used to describe the difference between living face and fraudulent face. But these handmade features do not apply to different variations in an unconstrained environment. The convolutional neural network (CNN) for face deceptions achieves considerable results. However, most existing neural network-based methods simply use neural networks to extract single-scale features from single-modal data, while ignoring multi-scale and multi-modal information. To address this problem, a novel face anti-spoofing method based on multi-modal and multi-scale features fusion ( MMFF) is proposed. Specifically, first residual network ( Resnet )-34 is adopted to extract features of different scales from each modality, then these features of different scales are fused by feature pyramid network (FPN), finally squeeze-and-excitation fusion ( SEF) module and self-attention network ( SAN) are combined to fuse features from different modalities for classification. Experiments on the CASIA-SURF dataset show that the new method based on MMFF achieves better performance compared with most existing methods.     

Illumination-aware window transformer for RGBT modality fusion

Combination of RGB and thermal sensors has been proven to be useful for many vision applications. However, how to effectively fuse the information of two modalities remains a challenging problem. In this paper, we propose an Illumination-Aware Window Transformer (IAWT) fusion module to handle the RGB and thermal multi-modality fusion. Specifically, the IAWT fusion module adopts a window-based multi-modality attention combined with additional estimated illumination information. The window-based multi-modality attention infers dependency cross modalities within a local window, thus implicitly alleviate the problem caused by weakly spatial misalignment of the RGB and thermal image pairs within specific dataset. The introduction of estimated illumination feature enables the fusion module to adaptively merge the two modalities according to illumination conditions so as to make full use of the complementary characteristics of RGB and thermal images under different environments. Besides, our proposed fusion module is task-agnostic and data-specific, which means it can be used for different tasks with RGBT inputs. To evaluate the advances of the proposed fusion method, we embed the IAWT fusion module into different networks and conduct the experiments on various RGBT tasks, including pedestrian detection, semantic segmentation and crowd counting. Extensive results demonstrate the superior performance of our method.     

基于特征增强模块的小尺度行人检测

行人检测中,小尺度行人时常被漏检、误检。为了提升小尺度行人的检测准确率并且降低其漏检率,该文提出一个特征增强模块。首先,考虑到小尺度行人随着网络加深特征逐渐减少的问题,特征融合策略突破特征金字塔层级结构的约束,融合深层、浅层特征图,保留了大量小尺度行人特征。然后,考虑到小尺度行人特征容易与背景信息发生混淆的问题,通过自注意力模块联合通道注意力模块建模特征图空间、通道关联性,利用小尺度行人上下文信息和通道信息,增强了小尺度行人特征并且抑制了背景信息。最后,基于特征增强模块构建了一个小尺度行人检测器。所提方法在CrowdHuman数据集中小尺度行人的检测准确率为19.8%,检测速度为22帧/s,在CityPersons数据集中小尺度行人的误检率为13.1%。结果表明该方法对于小尺度行人的检测效果优于其他对比算法且实现了较快的检测速度。     

Contextual information enhanced convolutional neural networks for retinal vessel segmentation in color fundus images

Accurate retinal vessel segmentation is a challenging problem in color fundus image analysis. An automatic retinal vessel segmentation system can effectively facilitate clinical diagnosis and ophthalmological research. In general, this problem suffers from various degrees of vessel thickness, perception of details, and contextual feature fusion in technique. For addressing these challenges, a deep learning based method has been proposed and several customized modules have been integrated into the well-known U-net with encoder–decoder architecture, which is widely employed in medical image segmentation. In the network structure, cascaded dilated convolutional modules have been integrated into the intermediate layers, for obtaining larger receptive field and generating denser encoded feature maps. Also, the advantages of the pyramid module with spatial continuity have been taken for multi-thickness perception, detail refinement, and contextual feature fusion. Additionally, the effectiveness of different normalization approaches has been discussed on different datasets with specific properties. Finally, sufficient comparative experiments have been enforced on three retinal vessel segmentation datasets, DRIVE, CHASE_DB1, and the STARE dataset with unhealthy samples. As a result, the proposed method outperforms the work of predecessors and achieves state-of-the-art performance.     

Multi-scale attention guided network for end-to-end face alignment and recognition

Attention modules embedded in deep networks mediate the selection of informative regions for object recognition. In addition, the combination of features learned from different branches of a network can enhance the discriminative power of these features. However, fusing features with inconsistent scales is a less-studied problem. In this paper, we first propose a multi-scale channel attention network with an adaptive feature fusion strategy (MSCAN-AFF) for face recognition (FR), which fuses the relevant feature channels and improves the network’s representational power. In FR, face alignment is performed independently prior to recognition, which requires the efficient localization of facial landmarks, which might be unavailable in uncontrolled scenarios such as low-resolution and occlusion. Therefore, we propose utilizing our MSCAN-AFF to guide the Spatial Transformer Network (MSCAN-STN) to align feature maps learned from an unaligned training set in an end-to-end manner. Experiments on benchmark datasets demonstrate the effectiveness of our proposed MSCAN-AFF and MSCAN-STN.     

基于改进Res-UNet网络的钢铁表面缺陷图像分割研究

为了提高钢铁质量图像检测的效率和精度,提高生产自动化水平,该文提出一种改进的Res-UNet网络分割算法。使用ResNet50代替ResNet18作为编码模块,增强特征提取能力;修改编码模块,使残差块间稠密连接,增强浅层特征的深度延展,充分利用特征;使用加权Dice损失和加权交叉熵损失(BCEloss)结合的新损失函数缓解样本不均衡的情况;数据集增强策略保证网络学习更多的样本特征,增强细节分割精度。相比于经典的UNet算法,组合优化后的Res-UNet网络的Dice系数最多提高了12.64%,达到0.7930,网络训练时间更短,对各类缺陷的分割精准度更优,证明该文算法在钢铁表面缺陷分割领域具有应用价值。     

基于多头注意力机制的模型层融合维度情感识别方法

近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合.针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多...