面向乳腺超声计算机辅助诊断的两阶段深度迁移学习

目的 为了提升基于单模态B型超声（B超）的乳腺癌计算机辅助诊断（computer-aided diagnosis,CAD）模型性能,提出一种基于两阶段深度迁移学习（two-stage deep transfer learning,TSDTL）的乳腺超声CAD算法,将超声弹性图像中的有效信息迁移至基于B超的乳腺癌CAD模型之中,进一步提升该CAD模型的性能。方法 在第1阶段的深度迁移学习中,提出将双模态超声图像重建任务作为一种自监督学习任务,训练一个关联多模态深度卷积神经网络模型,实现B超图像和超声弹性图像之间的信息交互迁移;在第2阶段的深度迁移学习中,基于隐式的特权信息学习（learning using privilaged information,LUPI）范式,进行基于双模态超声图像的乳腺肿瘤分类任务,通过标签信息引导下的分类进一步加强两个模态之间的特征融合与信息交互;采用单模态B超数据对所对应通道的分类网络进行微调,实现最终的乳腺癌B超图像分类模型。结果 实验在一个乳腺肿瘤双模超声数据集上进行算法性能验证。实验结果表明,通过迁移超声弹性图像的信息,TSDTL在基于B超的乳腺癌诊断任务中取得的平均分类准确率为87.84±2.08%、平均敏感度为88.89±3.70%、平均特异度为86.71±2.21%、平均约登指数为75.60±4.07%,优于直接基于单模态B超训练的分类模型以及多种典型迁移学习算法。结论 提出的TSDTL算法通过两阶段的深度迁移学习,将超声弹性图像的信息有效迁移至基于B超的乳腺癌CAD模型,提升了模型的诊断性能,具备潜在的应用可行性。     

基于样本内外协同表示和自适应融合的多模态学习方法

多模态机器学习是一种新的人工智能范式,结合各种模态和智能处理算法以实现更高的性能.多模态表示和多模态融合是多模态机器学习的2个关键任务.目前,多模态表示方法很少考虑样本间的协同,导致特征表示缺乏鲁棒性,大部分多模态特征融合方法对噪声数据敏感.因此,在多模态表示方面,为了充分学习模态内和模态间的交互,提升特征表示的鲁棒性,提出一种基于样本内和样本间多模态协同的表示方法.首先,分别基于预训练的BERT,Wav2vec 2.0,Faster R-CNN提取文本特征、语音特征和视觉特征;其次,针对多模态数据的互补性和一致性,构建模态特定和模态共用2类编码器,分别学习模态特有和共享2种特征表示;然后,利用中心矩差异和正交性构建样本内协同损失函数,采用对比学习构建样本间协同损失函数;最后,基于样本内协同误差、样本间协同误差和样本重构误差设计表示学习函数.在多模态融合方面,针对每种模态可能在不同时刻表现出不同作用类型和不同级别的噪声,设计一种基于注意力机制和门控神经网络的自适应的多模态特征融合方法.在多模态意图识别数据集MIntRec和情感数据集CMU-MOSI,CMU-MOSEI上的实验结果表明,...     

监督式多模态图像表征学习EI北大核心CSCD

通过结合多模态特征与类别标签信息,提出一种基于监督式多模态词典学习的图像表征方法.首先使用纹理、颜色、形状和结构4种模态的视觉特征,以学习包含"共享+特有"信息的稀疏特征来描述目标的视觉特性;然后通过拉普拉斯正则化项使学习到的稀疏特征能够反映类别标签中的语义信息,以增强所学习特征的辨识力.通过图像分类进行实验的结果表明,该方法优于单模态特征及其他基准多模态特征学习方法.     

监督式多模态图像表征学习

通过结合多模态特征与类别标签信息,提出一种基于监督式多模态词典学习的图像表征方法.首先使用纹理、颜色、形状和结构4种模态的视觉特征,以学习包含"共享+特有"信息的稀疏特征来描述目标的视觉特性;然后通过拉普拉斯正则化项使学习到的稀疏特征能够反映类别标签中的语义信息,以增强所学习特征的辨识力.通过图像分类进行实验的结果表明,该方法优于单模态特征及其他基准多模态特征学习方法.     

面向多模态自监督特征融合的音视频对抗对比学习

目的 同一视频中的视觉与听觉是两个共生模态,二者相辅相成,同时发生,从而形成一种自监督模式。随着对比学习在视觉领域取得很好的效果,将对比学习这一自监督表示学习范式应用于音视频多模态领域引起了研究人员的极大兴趣。本文专注于构建一个高效的音视频负样本空间,提高对比学习的音视频特征融合能力。方法 提出了面向多模态自监督特征融合的音视频对抗对比学习方法：1)创新性地引入了视觉、听觉对抗性负样本集合来构建音视频负样本空间;2)在模态间与模态内进行对抗对比学习,使得音视频负样本空间中的视觉和听觉对抗性负样本可以不断跟踪难以区分的视听觉样本,有效地促进了音视频自监督特征融合。在上述两点基础上,进一步简化了音视频对抗对比学习框架。结果 本文方法在Kinetics-400数据集的子集上进行训练,得到音视频特征。这一音视频特征用于指导动作识别和音频分类任务,取得了很好的效果。具体来说,在动作识别数据集UCF-101和HMDB-51(human metabolome database)上,本文方法相较于Cross-AVID(cross-audio visual instance discrimination...     

面向RGB-D语义分割的多模态任意旋转自监督学习

基于RGB-D数据的自监督学习受到广泛关注, 然而大多数方法侧重全局级别的表示学习, 会丢失对识别对象至关重要的局部细节信息. 由于RGB-D数据中图像和深度具有几何一致性, 因此这可以作为线索来指导RGB-D数据的自监督特征表示学习. 在本文中, 我们提出了ArbRot, 它可以无限制地旋转角度并为代理任务生成多个伪标签用于自监督学习, 而且还建立了全局和局部之间的上下文联系. 本文所提出的ArbRot可以与其他对比学习方法联合训练, 构建多模态多代理任务自监督学习框架, 以增强图像和深度视图的特征表示一致性, 从而为RGB-D语义分割任务提供有效的初始化. 在SUN RGB-D和NYU Depth Dataset V2数据集上的实验结果表明, 多模态任意旋转自监督学习得到的特征表示质量均高于基线模型. 开源代码: https://github.com/Physu/ArbRot.     

基于多模态深度学习的汽车虚拟驾驶环境生成方法

为促进自动驾驶技术的发展,采用基于多模态图像深度学习的汽车虚拟驾驶环境生成方法,同时生成包含多个物理场景的多模态图像。利用部分共享的隐空间构建编码器和生成器,采用域不变特性的感知损失,通过Cityscapes和Comma2k19数据集进行对比实验,采取多样性评价指标进行评价。结果表明：采用多模态深度学习生成的虚拟驾驶环境图像具有高真实性和多样性,对于快速构建自动驾驶虚拟仿真平台具有重要意义。     

基于半监督距离学习和多模态信息的图像聚类

通过融合图像中不同模态的信息并利用少量带标记的图像进行半监督距离学习,来对图像进行聚类。首先,提取彩色图像中RGB颜色空间的直方图信息、纹理信息,并采用SIFT算法提取Bag of Words来重新表达图像,从而基于图像的颜色特征、纹理特征以及语义特征,建立图像的多模态表达机制,将原始图像投射到表达空间;然后,利用少量标记的图像,通过半监督距离学习,获得图像在多模态信息空间的相似性度量;最后,通过半监督聚类方法,实现图像分组,在多个图像数据库中验证提出的方法的有效性。     

融合深度典型相关分析和对抗学习的跨模态检索

文中提出一种融合深度典型相关分析和对抗学习的跨模态检索方法(DCCA-ACMR),该方法提高了无标签样本的利用率,能够学习到更有力的特征投影模型,进而提升了跨模态检索准确率.具体而言,在DCGAN框架下:1)在图像与文本两个单模态的表示层间增加深度典型相关分析约束,构建图文特征投影模型,充分挖掘样本对的语义关联性;2)以图文特征投影模型作为生成器,以模态特征分类模型作为判别器共同构成图文跨模态检索模型;3)利用有标签样本和无标签样本,在生成器和判别器的相互对抗中学习到样本的公共子空间表示.在Wikipedia和NUSWIDE-10k两个公开数据集上,采用平均准确率均值(mAP)作为评价指标对所提方法进行验证.图像检索文本和文本检索图像的平均mAP值在两个数据集上分别为0.556和0.563.实验结果表明,DCCA-ACMR优于现有的代表性方法.     

基于超图的多模态情绪识别

近年来多模态情绪识别获得广泛关注,模态间的特征融合决定了情绪识别的效果,现有基于图的情绪特征融合方法多基于二元关系图,在处理三种及以上模态数据时难以实现有效的模态间特征融合,限制了多模态情绪识别的效果.为解决该问题,本文提出基于超图的多模态情绪识别模型（Multi-modal Emotion Recognition Based on Hypergraph,MORAH）,引入超图来建立多模态的多元关系,以此替代现有图结构采用的多个二元关系,实现更加充分、高效的多模态特征融合.具体来说,该模型将多模态特征融合分为两个阶段：超边构建阶段和超图学习阶段.在超边构建阶段,通过胶囊网络实现对序列中每个时间步的信息聚合,并建立单模态的图,然后使用图卷积进行第二次信息聚合,并以此作为下一阶段建立超图的基础,得益于图胶囊聚合方法的加入,MORAH可以同时处理对齐数据和未对齐数据,无需手动对齐;在超图学习阶段,模型建立同一样本不同模态节点之间的关联,以及同类样本所有模态之间的关联,同时,在超图卷积过程中,使用分层多级超边来避免过于平滑的节点嵌入,并使用简化的超图卷积方法来融合模型之间的高级特征,以确保所有...     

面向乳腺超声图像分割的混合监督双通道反馈U-Net

目的 基于超声图像的乳腺病灶分割是实现乳腺癌计算机辅助诊断和定量分析的基本预处理步骤。由于乳腺超声图像病灶边缘通常较为模糊,而且缺乏大量已标注的分割图像,增加了基于深度学习的乳腺超声图像分割难度。本文提出一种混合监督双通道反馈U-Net（hybrid supervised dual-channel feedback U-Net,HSDF-U-Net）算法,提升乳腺超声图像分割的准确性。方法 HSDF-U-Net通过融合自监督学习和有监督分割实现混合监督学习,并且进一步通过设计双通道反馈U-Net网络提升图像分割准确性。为了改善标记数据有限的问题,首先在自监督学习框架基础上结合标注分割图像中的标签信息,设计一种边缘恢复的辅助任务,以实现对病灶边缘表征能力更强的预训练模型,然后迁移至下游图像分割任务。为了提升模型在辅助边缘恢复任务和下游分割任务的表现,将循环机制引入经典的U-Net网络,通过将反馈的输出结果重新送入另一个通道,构成双通道编码器,然后解码输出更精确的分割结果。结果 在两个公开的乳腺超声图像分割数据集上评估HSDF-U-Net算法性能。HSDF-U-Net对Dataset B数据集中的图像进行分割获得敏感度为0.848 0、Dice为0.826 1、平均对称表面距离为5.81的结果,在Dataset BUSI（breast ultrasound images）数据集上获得敏感度为0.803 9、Dice为0.803 1、平均对称表面距离为6.44的结果。与多种典型的U-Net分割算法相比,上述结果均有提升。结论 本文所提HSDF-U-Net算法提升了乳腺超声图像中的病灶分割的精度,具备潜在的应用价值。     

自监督学习下小样本遥感图像场景分类

目的 卷积神经网络（convolutional neural network,CNN）在遥感场景图像分类中广泛应用,但缺乏训练数据依然是不容忽视的问题。小样本遥感场景分类是指模型只需利用少量样本训练即可完成遥感场景图像分类任务。虽然现有基于元学习的小样本遥感场景图像分类方法可以摆脱大数据训练的依赖,但模型的泛化能力依然较弱。为了解决这一问题,本文提出一种基于自监督学习的小样本遥感场景图像分类方法来增加模型的泛化能力。方法 本文方法分为两个阶段。首先,使用元学习训练老师网络直到收敛;然后,双学生网络和老师网络对同一个输入进行预测。老师网络的预测结果会通过蒸馏损失指导双学生网络的训练。另外,在图像特征进入分类器之前,自监督对比学习通过度量同类样本的类中心距离,使模型学习到更明确的类间边界。两种自监督机制能够使模型学习到更丰富的类间关系,从而提高模型的泛化能力。结果 本文在NWPU-RESISC45（North Western Polytechnical University-remote sensing image scene classification）、AID （aerial image dataset）和UCMerced LandUse （UC merced land use dataset）3个数据集上进行实验。在5-way 1-shot条件下,本文方法的精度在3个数据集上分别达到了72.72%±0.15%、68.62%±0.76%和68.21%±0.65%,比Relation Net^*模型分别提高了4.43%、1.93%和0.68%。随着可用标签的增加,本文方法的提升作用依然能够保持,在5-way 5-shot条件下,本文方法的精度比Relation Net^*分别提高3.89%、2.99%和1.25%。结论 本文方法可以使模型学习到更丰富的类内类间关系,有效提升小样本遥感场景图像分类模型的泛化能力。     

Breast Mammogram Analysis and Classification Using Deep Convolution Neural Network

One of the fast-growing disease affecting women’s health seriously is breast cancer. It is highly essential to identify and detect breast cancer in the earlier stage. This paper used a novel advanced methodology than machine learning algorithms such as Deep learning algorithms to classify breast cancer accurately. Deep learning algorithms are fully automatic in learning, extracting, and classifying the features and are highly suitable for any image, from natural to medical images. Existing methods focused on using various conventional and machine learning methods for processing natural and medical images. It is inadequate for the image where the coarse structure matters most. Most of the input images are downscaled, where it is impossible to fetch all the hidden details to reach accuracy in classification. Whereas deep learning algorithms are high efficiency, fully automatic, have more learning capability using more hidden layers, fetch as much as possible hidden information from the input images, and provide an accurate prediction. Hence this paper uses AlexNet from a deep convolution neural network for classifying breast cancer in mammogram images. The performance of the proposed convolution network structure is evaluated by comparing it with the existing algorithms.     

基于不同超声成像的甲状腺结节良恶性判别

为实现更为准确的甲状腺结节良恶性超声图像诊断,避免不必要的穿刺或活检手术,提出了一种基于卷积神经网络（CNN）的常规超声成像和超声弹性成像的特征结合方法,提高了甲状腺结节良恶性分类准确率。首先,卷积网络模型在大规模自然图像数据集上完成预训练,并通过迁移学习的方式将特征参数迁移到超声图像域用以生成深度特征并处理小样本。然后,结合常规超声成像和超声弹性成像的深度特征图形成混合特征空间。最后,在混合特征空间上完成分类任务,实现了一个端到端的卷积网络模型。在1156幅图像上进行实验,所提方法的准确率为0.924,高于其他单一数据源的方法。实验结果表明,浅层卷积共享图像的边缘纹理特征,高层卷积的抽象特征与具体的分类任务相关,使用迁移学习的方法可以解决数据样本不足的问题;同时,弹性超声影像可以对甲状腺结节的病灶硬度进行客观的量化,结合常规超声的纹理轮廓特征,二者融合的混合特征可以更全面地描述不同病灶之间的差异。所提方法可以高效准确地对甲状腺结节进行良恶性分类,减轻患者痛苦,给医生提供更为准确的辅助诊断信息。     

自监督E-Swin的输电线路金具检测

目的 输电线路金具种类繁多、用处多样，与导线和杆塔安全密切相关。评估金具运行状态并实现故障诊断，需对输电线路金具目标进行精确定位和识别，然而随着无人机巡检采集的数据逐渐增多，将全部数据进行人工标注愈发困难。针对无标注数据无法有效利用的问题，提出一种基于自监督E-Swin Transformer （efficient shifted windows Transformer）的输电线路金具检测模型，充分利用无标注数据提高检测精度。方法 首先，为了减少自注意力的计算量、提高模型计算效率，对Swin Transformer自注意力计算进行优化，提出一种高效的主干网络E-Swin。然后，为了利用无标注金具数据加强特征提取效果，针对E-Swin设计轻量化的自监督方法，并进行预训练。最后，为了提高检测定位精度，采用一种添加额外分支的检测头，并结合预训练之后的主干网络构建检测模型，利用少量有标注的数据进行微调训练，得到最终检测结果。结果 实验结果表明，在输电线路金具数据集上，本文模型的各目标平均检测精确度（AP⁵⁰）为88.6%，相比传统检测模型提高了10%左右。结论 本文改进主干网络的自注意力计算，并采用自监督学习，使模型高效提取特征，实现无标注数据的有效利用，构建的金具检测模型为解决输电线路金具检测的数据利用问题提供了新思路。     

结合注意力机制的乳腺双模态超声分类网络

目的 影像学医师通常通过观察乳腺B型超声（brightness-mode ultrasound）肿瘤区域进行良恶性分析,针对难以辨别的病例则融合其对应的超声造影（contrast-enhanced ultrasound,CEUS）特征进一步判别。由于超声图像灰度值范围变化小、良恶性表现重叠,特征提取模型如果不能关注到病灶区域将导致分类错误。为增强网络模型对重点区域的分析,本文提出一种基于病灶区域引导的注意力机制,同时融合双模态数据,实现乳腺超声良恶性的精准判别。方法 通过对比实验,选取一个适合超声图像特征提取的主干分类模型ResNet34;为学习到更有分类意义的特征,以分割结节的掩膜图（region of interest,ROI-mask）作为引导注意力来修正浅层空间特征;将具有分类意义的超声造影各项评价特征向量化,与网络提取的深层特征进行融合分类。结果 首先构建一个从医院收集的真实病例的乳腺超声数据集BM-Breast （breast ultrasound images dataset）,与常见分类框架ResNet、Inception等进行对比实验,并与相关最新乳腺分类研究成果对比,结果显示本文设计的算法在各项指标上都有较大优势。本文提出的融合算法的分类准确性为87.45%,AUC （area under curve）为0.905。为了评估对注意力引导机制算法设计的结果,在本文实验数据集和公开数据集上分别进行实验,精度相比对比算法提升了3%,表明本文算法具有较好的泛化能力。实验结果表明,融合两种模态超声数据的特征可以提升最终分类精度。结论 本文提出的注意力引导模型能够针对乳腺超声成像特点学习到可鉴别的分类特征,双模态数据特征融合诊断方法进一步提升了模型的分类能力。高特异性指标表现出模型对噪声样本的鲁棒性,能够较为准确地辨别出难以判别的病例,本文算法具有较高的临床指导价值。     

基于自监督学习的变电站缺陷检测

为了在使用少量标注样本情况下提升变电站设备缺陷检测精度,提出一种基于自监督模型SimSiam的改进缺陷检测算法.不同于原始SimSiam,改进后的算法无需使用标志性图像(iconic images),如ImageNet数据集,而是直接利用非标志性图像(non-iconic images)如COCO数据集进行对比学习,并在下游的缺陷检测任务上获得可媲美有监督方法的性能.通过在投影层(projection head)和预测层(prediction head)中使用全卷积网络和空间注意力模块来代替MLP,保留高维特征的空间结构及局部信息;同时在计算相似度前先对特征图进行均值池化以得到特征向量,并对特征向量进行归一化以计算欧氏距离,从而改进了自监督对比学习的损失函数.实验结果表明该算法能充分利用非标志性图像进行对比学习,并在只标注少量样本的条件下提升变电站设备缺陷检测的精度,在表计表盘破损、挂空悬浮物、鸟巢、呼吸器硅胶变色及箱门闭合异常等5类缺陷检测任务上mAP达到83.84%.     

Continuous frame motion sensitive self-supervised collaborative network for video representation learning

Motion, as a feature of video that changes in temporal sequences, is crucial to visual understanding. The powerful video representation and extraction models are typically able to focus attention on motion features in challenging dynamic environments to complete more complex video understanding tasks. However, previous approaches discriminate mainly based on similar features in the spatial or temporal domain, ignoring the interdependence of consecutive video frames. In this paper, we propose the motion sensitive self-supervised collaborative network, a video representation learning framework that exploits a pretext task to assist feature comparison and strengthen the spatiotemporal discrimination power of the model. Specifically, we first propose the motion-aware module, which extracts consecutive motion features from the spatial regions by frame difference. The global–local contrastive module is then introduced, with context and enhanced video snippets being defined as appropriate positive samples for a broader feature similarity comparison. Finally, we introduce the snippet operation prediction module, which further assists contrastive learning to obtain more reliable global semantics by sensing changes in continuous frame features. Experimental results demonstrate that our work can effectively extract robust motion features and achieve competitive performance compared with other state-of-the-art self-supervised methods on downstream action recognition and video retrieval tasks.