遥感图像语义分割中的弱监督域自适应算法

近年来,遥感图像的语义分割得到广泛应用。虽然基于深度学习的方法极大程度地提高了遥感图像的语义分割精度,但由于遥感图像的多样性（不同的地理位置、地形和天气条件）以及像素级标签的缺乏,该算法难以适用于跨多个域的任务。而若重新训练新的域则需要消耗大量人力资源来收集相应的像素级标签。为了解决这一跨域问题,基于对抗学习提出了一种目标域图像级标签已知的弱监督域自适应方法：利用图像级标签,提出多类域判别器,使目标域各个类别自适应地对齐到源域;为保持训练过程的平稳,一种基于熵值产生目标域像素级伪标签的方法被提出以监督特征提取器,提升模型表现。在ISPRS Vaihingen与ISPRS Potsdam数据集上的大量实验表明,改进后的算法优于其他遥感图像语义分割中的基于对抗学习域自适应算法。     

基于小样本学习融合随机深度和多尺度卷积的SDM-RNET网络

针对神经网络难以利用少量标注数据获取足够的信息来正确分类图像的问题,提出了一种融合随机深度网络和多尺度卷积的关系网络——SDM-RNET.首先在模型嵌入模块引入随机深度网络用于加深模型深度,然后在特征提取阶段采用多尺度深度可分离卷积替代普通卷积进行特征融合,经过骨干网络后再采用深浅层特征融合获取更丰富的图像特征,最终学习预测出图像的类别.在mini-ImageNet、RP2K、Omniglot这3个数据集上对比该方法与其他小样本图像分类方法,结果表明在5-way 1-shot和5-way 5-shot分类任务上该方法准确率最高.     

FP-CNNH:一种基于深度卷积神经网络的快速图像哈希算法

在大数据时代,图像检索技术在大规模数据上的应用是一个热门的研究领域。近年来,大规模图像检索系统中, 图像哈希算法 由于具备提高图像的检索效率同时减少储存空间的优点而受到广泛的关注。现有的有监督学习哈希算法存在一些问题,主流的有监督的哈希算法需要通过图像特征提取器获取人为构造的图像特征表示,这种做法带来的图像特征损失影响了哈希算法的效果,也不能较好地处理图像数据集中语义的相似性问题。随着深度学习在大规模数据上研究的兴起,一些相关研究尝试通过深度神经网络进行有监督的哈希函数学习,提升了哈希函数的效果,但这类方法需要针对数据集人为设计复杂的深度神经网络,增大了哈希函数设计的难度,而且深度神经网络的训练需要较多的数据和较长的时间,这些问题影响了基于深度学习的哈希算法在大规模数据集上的应用。针对这些问题,提出了一种基于深度卷积神经网络的快速图像哈希算法,该算法通过设计优化问题的求解方法以及使用预训练的大规模深度神经网络,提高了哈希算法的效果,同时明显地缩短了复杂神经网络的训练时间。根据在不同图像数据集上的实验结果分析可知, 与现有的基准算法相比,提出的算法在哈希函数训练效果和训练时间上都具有较大的提高。     

基于深度卷积特征提取的红外与可见光图像融合方法

目前多数红外与可见光图像融合算法在融合过程中通常需要对源图像进行分解,这样易导致融合图像细节模糊和显著性目标丢失.为解决该问题,提出一种基于深度卷积特征提取的红外与可见光图像融合方法.首先,利用迁移学习理论对EfficientNet特征提取性能进行分析,选择7个特征提取模块;然后,直接将源图像送入特征提取模块以实现显著性特征提取;接着,构造通道归一化和平均算子操作用于获取显著图,再使用Softmax与Up-sampling组合的融合规则来得到融合权重,将融合权重与源图像进行卷积,生成7幅候选融合图像;最后,将候选融合图像的像素最大值作为最终的重构融合图像.所有实验均在公共数据集上进行,并与经典的传统和深度学习方法比较,主客观实验结果均表明,所提出方法能够有效地融合红外与可见光图像中的重要信息,突显融合图像的细节纹理,具有更好的视觉效果和更少的图像伪影以及人工噪声.     

基于深度CNN和极限学习机相结合的实时文档分类

提出一种文档图像实时分类训练和测试的方法。在实际应用中,数据训练的精确性和高效性在文档图像识别中起着关键的作用。现有的深度学习方法不能满足此要求,因为需要大量的时间用于训练和微调深层次的网络架构。针对此问题,提出一种基于计算机视觉的新方法:第一阶段训练深度网络,作为特征提取器;第二阶段用极限学习机(ELM)用于分类。该方法的性能优于目前最先进的基于深度学习的相关方法,在Tobacco-3482数据集上的最终准确率为83.45%。与之前基于卷积神经网络(CNN)的方法相比,相对误差降低了26%。ELM的训练时间仅为1.156秒,对2 482张图像的整体预测时间是3.083秒。因此,该文档分类方法适合于大规模实时应用。     

基于全卷积深度学习网络的视频图像背景分割方法研究

针对传统视频图像背景分割方法效率低、抗干扰能力弱、层次模糊等问题，基于全卷积深度学习网络算法研究了一种视频图像背景的分割方法。应用全卷积神经网络算法，完成视频图像背景的特征提取，构建结构化学习模块，再利用深度学习网络实现视频图像背景的多模态特征融合，基于损失函数建立视频图像背景分割模型。结果显示，对于随机的10组视频图像数据包，设计方法完成分割处理所用时间的平均值为15.03min，像素准确率均值为99.24%，分割区域间对比度均值为0.91，区域内一致性测度值均值为9.52，分割合理性均值为0，表明本次设计方法有效改善了视频图像背景的分割质量和分割效果，具有较高的精准性和完整性。     

基于深度学习的图像语义分割方法综述

近年来,深度学习技术已经广泛应用到图像语义分割领域.主要对基于深度学习的图像语义分割的经典方法与研究现状进行分类、梳理和总结.根据分割特点和处理粒度的不同,将基于深度学习的图像语义分割方法分为基于区域分类的图像语义分割方法和基于像素分类的图像语义分割方法.把基于像素分类的图像语义分割方法进一步细分为全监督学习图像语义分割方法和弱监督学习图像语义分割方法.对每类方法的代表性算法进行了分析介绍,并详细总结了每类方法的基本思想和优缺点,系统地阐述了深度学习对图像语义分割领域的贡献.对图像语义分割相关实验进行了分析对比,并介绍了图像语义分割实验中常用公共数据集和性能评价指标.最后,预测并分析总结了该领域未来可能的研究方向及相应的发展趋势.     

基于深度分割模型的小目标检测

小目标检测广泛应用于视频监控等各种任务,在各领域均有着重要作用.由于待测目标尺寸小、特征弱等原因,目前的检测算法对小目标的检测性能仍值得进一步提升.现有基于设计特征的传统方法在复杂背景的应用场景下检测精度低、鲁棒性弱,基于深度学习的检测算法存在数据集难获取、小目标特征难提取等问题.面向解决低信杂比图像中小目标因面积占比小导致的特征提取难的问题,提出了一个深度分割模型用于小目标检测.为进一步提升检测性能、降低漏检率,充分应用多波段图像信息,设计了一个基于深度分割模型的多波段融合小目标检测方法.在仿真数据集上的实验结果表明,该方法有效提高了小目标检测的准确率,为小目标检测的后续研究提供了新的思路.     

融合RGB图像特征的多尺度深度图像补全方法

针对目前因缺少配对的"缺失-完整"RGB-D数据集而不能直接训练端对端深度图像补全模型的问题,提出基于随机掩码构造对应的缺失-完整数据,结合真实数据集与合成数据集交替训练模型的策略.基于随机掩码生成不同缺失比例的深度图像,并且利用合成数据集构造具有可靠真值的深度图像缺失数据,从而得到具有可靠数据的缺失-完整RGB-D数据集.以此策略为基础,搭建融合对应RGB图像特征的多尺度深度图像补全网络,该网络分别从RGB图像特征提取分支和深度图像特征提取分支提取不同尺度的RGB图像特征和深度图像特征,再经过特征融合分支在不同尺度上对RGB图像特征和深度图像特征进行融合,进而能够充分地学习RGB图像丰富的语义信息和深度图像的信息补全缺失深度.在NYU-Depth V2数据集的实验表明,该方法在不同缺失比例的深度图像补全任务中,阈值精度平均值为0.98,平均相对误差约为0.061,与现有基于神经网络和优化稀疏方程组的方法相比,其在阈值精度上平均提升了0.02,平均相对误差平均下降了0.027.     

基于卷积神经网络的乳腺癌良恶性诊断

为了提高乳腺癌病理图像良恶性诊断的准确率,提出了一个基于卷积神经网络(CNN)对乳腺癌病理图像的诊断方法。利用这种方法,能够快速地对乳腺癌病理图像自动进行良恶性诊断。乳腺癌病理图像具有非常复杂的结构,利用VGG16架构的卷积神经网络对病理图像进行特征提取,利用数据增强的方法扩充数据集,使用迁移学习,将在ImageNet数据集上训练得到的权重作为该网络的初始化参数,该模型在乳腺癌数据集Breakhis上得到的准确率可以达到95%,而在经过解冻部分训练层、调整学习率等优化操作之后,分类准确率最高可以达到99%。实验结果表明,优化后的方法在乳腺癌良恶性诊断准确率方面有很大的提高。     

改进型深度迁移学习的跨镜行人追踪算法

跨镜行人追踪是计算机视觉和视频监控公共安全体系构建等领域的重要课题。伴随大规模数据集的发展和深度学习网络的广泛研究,深度学习在跨镜行人追踪问题中取得了良好效果。然而在应用中,除了监控视频自身的不同摄像头、不同视角引起的不同视觉表象变化外,面向跨镜行人追踪的整体数据集偏小,具有标记的训练数据样本量更小,从而制约了基于深度学习的跨镜行人追踪效果。提出了改进型深度迁移学习的跨镜行人追踪算法,将在大数据集上训练好的成熟模型进行微调并迁移到目标数据集上,结合目标数据进行优化,使其能更好地针对新数据集做特征提取。在模型训练过程中,通过改进三元组损失函数,拉近相同样本之间的距离,加大不同样本之间的距离,同时设定正样本之间的最大距离阈值,从而保证特征空间生成的簇不会太大,利于模型的优化。该算法减少了深度学习训练模型的时间,避免了小数据集上数据量不足等缺点,提高了跨镜行人追踪的准确度。在五个基准数据集上的跨镜行人追踪对比实验显示,改进算法取得了良好效果。     

MRI脑肿瘤图像分割研究进展及挑战

脑肿瘤分割是医学图像处理中的一项重要内容,其目的是辅助医生做出准确的诊断和治疗,在临床脑部医学领域具有重要的实用价值。核磁共振成像（MRI）是临床医生研究脑部组织结构的主要影像学工具,为了使更多研究者对MRI脑肿瘤图像分割理论及其发展进行探索,本文对该领域研究现状进行综述。首先总结了用于MRI脑肿瘤图像分割的方法,并对现有方法进行了分类,即分为监督分割和非监督分割;然后重点综述了基于深度学习的脑肿瘤分割方法,在研究其关键技术基础上归纳了优化策略;最后介绍了脑肿瘤分割（BraTS）挑战,并结合挑战中所用方法展望了脑肿瘤分割领域未来的发展趋势。MRI脑肿瘤图像分割领域的研究已经取得了一些显著进展,尤其是深度学习的发展为该领域的研究提供了新的思路。但由于脑肿瘤在大小、形状和位置方面的高度变化,以及脑肿瘤图像数据有限且类别不平衡等问题,使得脑肿瘤图像分割仍是一个极具挑战的课题。由于分割过程缺乏可解释性和透明性,如何将全自动分割方法应用于临床试验,还需要进行深入研究。     

基于多特征融合的深层网络图像语义识别方法

图像是一种用来传达情感的重要工具,人类的情感会因不同的视觉刺激而异。采用了一种基于小数据集的数据扩充方式,并将图像的手工提取的低级特征（颜色特征、纹理特征）和网络自动提取到的高级特征（图像对象类别特征和图像深层情感特征）融合的方法,识别图像的复合情感。最终输出包含图像和对象在内的高级语义描述性短语。在公共数据集IAPS和GAPED上进行了实验,并与传统手工提取方法和VGG16、Fine-tune Alexnet两种已有模型进行了比较,该方法在测试性能上优于其他的识别方法,情感识别准确率能达到66.54%。     

全监督学习的图像语义分割方法研究进展

近年来,随着深度学习进入计算机视觉领域,各种深度学习图像语义分割方法相继出现,其中全监督学习方法的分割效果显著超过弱监督学习方法。将全监督学习的图像语义分割方法分为五类,并对各类中最具有代表性的方法进行详细分析,重点阐述各种方法核心部分的实现过程。对语义分割领域中的主流数据集进行归纳总结,介绍了性能算法指标,并在主流数据集上对各种代表性方法的效果进行对比,最后对语义分割的未来进行展望。     

Applying Wide & Deep Learning Model for Android Malware Classification

Android malware has exploded in popularity in recent years, due to the platform’s dominance of the mobile market. With the advancement of deep learning technology, numerous deep learning-based works have been proposed for the classification of Android malware. Deep learning technology is designed to handle a large amount of raw and continuous data, such as image content data. However, it is incompatible with discrete features, i.e., features gathered from multiple sources. Furthermore, if the feature set is already well-extracted and sparsely distributed, this technology is less effective than traditional machine learning. On the other hand, a wide learning model can expand the feature set to enhance the classification accuracy. To maximize the benefits of both methods, this study proposes combining the components of deep learning based on multi-branch CNNs (Convolutional Network Neural) with wide learning method. The feature set is evaluated and dynamically partitioned according to its meaning and generalizability to subsets when used as input to the model’s wide or deep component. The proposed model, partition, and feature set quality are all evaluated using the K-fold cross validation method on a composite dataset with three types of features: API, permission, and raw image. The accuracy with Wide and Deep CNN (WDCNN) model is 98.64%, improved by 1.38% compared to RNN (Recurrent Neural Network) model.     

融合分割先验的多图像目标语义分割

目的 在序列图像或多视角图像的目标分割中，传统的协同分割算法对复杂的多图像分割鲁棒性不强，而现有的深度学习算法在前景和背景存在较大歧义时容易导致目标分割错误和分割不一致。为此，提出一种基于深度特征的融合分割先验的多图像分割算法。方法 首先，为了使模型更好地学习复杂场景下多视角图像的细节特征，通过融合浅层网络高分辨率的细节特征来改进PSPNet-50网络模型，减小随着网络的加深导致空间信息的丢失对分割边缘细节的影响。然后通过交互分割算法获取一至两幅图像的分割先验，将少量分割先验融合到新的模型中，通过网络的再学习来解决前景/背景的分割歧义以及多图像的分割一致性。最后通过构建全连接条件随机场模型，将深度卷积神经网络的识别能力和全连接条件随机场优化的定位精度耦合在一起，更好地处理边界定位问题。结果 本文采用公共数据集的多图像集进行了分割测试。实验结果表明本文算法不但可以更好地分割出经过大量数据预训练过的目标类，而且对于没有预训练过的目标类，也能有效避免歧义的区域分割。本文算法不论是对前景与背景区别明显的较简单图像集，还是对前景与背景颜色相似的较复杂图像集，平均像素准确度（PA）和交并比（IOU）均大于95%。结论 本文算法对各种场景的多图像分割都具有较强的鲁棒性，同时通过融入少量先验，使模型更有效地区分目标与背景，获得了分割目标的一致性。     

面向房颤分析的左心房分割方法综述

房颤是一种起源于心房的心脏疾病。据估计全球有超过3 000万人受其影响,虽然通过治疗可以降低患病风险,但房颤通常是隐匿的,很难及时诊断和干预。房颤的诊断方法主要有心脏触诊、光学体积描记术、血压监测振动法、心电图和基于影像的方法。房颤类型主要为阵发性房颤,前4种诊断方法不一定能捕捉到房颤发作,而且诊断周期长、成本高、准确率低及容易受医生的影响。左心房的解剖结构为房颤病理和研究进展提供了重要信息,基于医学影像的房颤分析需要准确分割左心房,通过分割结果计算房颤的临床指标,例如,射血分数、左心房体积、左心房应变及应变率,然后对左心房功能进行定量评估。采用影像的方法得出的诊断结果不易受人为干扰且具有处理大批量患者数据的能力,辅助医生及早发现房颤,对患者进行干预治疗,提高对房颤症状和临床诊断的认识,在临床实践中具有重大意义。本文将已有的分割方法归纳为传统方法、基于深度学习的方法以及传统与深度学习结合的方法。这些方法得到的结果为后续房颤分析提供了依据,但目前的分割方法许多都是半自动的,分割结果不够精确,训练数据集较小且依赖手工标注。本文总结了各种方法的优缺点,归纳了目前已有的公开数据集和房颤分析的临床应用,并展望了未来的发展趋势。     

基于局部-全局自适应信息学习的脑肿瘤磁共振图像分割

针对脑肿瘤磁共振成像(MRI)勾画数据少、类别不平衡以及各个私有的数据库具有较大差异导致脑肿瘤MRI图像分割困难的问题,提出了一种基于局部—全局自适应信息学习(ALGIL)分割算法.该方法只需要少量的勾画数据,解决了传统监督学习中对勾画数据数量的依赖问题.通过融合图像的空间域信息和频域信息,利用小波变换将图像从空间域转...     

深度迁移学习在高光谱图像分类中的运用

针对高光谱图像分类中，样本空间特征利用不足的问题。将深层残差网络作为特征提取器运用到高光谱图像分类中，利用深层残差网络更深的网络结构，挖掘样本邻域空间中的深层特征，实验证明此特征具有更好的可分性。同时，针对深层卷积网络有监督训练的过程中，由于有标签样本不足导致的过拟合现象，提出基于深度迁移学习方法的训练策略，通过迁移网络在另一相关数据集中训练得到的网络浅层卷积核参数，再使用目标数据集对深层卷积核参数进行微调，提高了残差网络在少量有标签样本情况下的分类效果。