基于轻量级迁移学习的无人机航拍视频图像天气场景分类

针对传统航拍视频图像CNN模型天气分类效果差、无法满足移动设备应用以及现有天气图像数据集匮乏且场景单一的问题, 构建了晴天、雨天、雪天、雾天4类面向多场景的无人机航拍天气图像数据集, 并提出了基于轻量级迁移学习的无人机航拍视频图像天气场景分类模型. 该模型采用迁移学习的方法, 在ImageNet数据集上训练好两种轻量级CNN, 并设计3个轻量级CNN分支进行特征提取. 特征提取首先采用ECANet注意力机制改进的EfficientNet-b0作为主分支提取整幅图像特征, 并使用两个MobileNetv2分支分别对天空和非天空局部独有的深层特征进行提取. 其次, 通过Concatenate将这3个区域进行特征融合. 最后, 使用Softmax层对4类天气场景实现分类. 实验结果表明, 该方法应用于移动等计算受限设备时对于天气场景分类的识别准确率达到了97.3%, 有着较好的分类效果.     

基于形状特征及纹理特征的中药材检索方法

为有效提取中药材图像的特征,提高中药材图像分类准确率并提升检索性能,对中药材图像的梯度方向直方图形状特征和局部二元模式纹理特征进行研究,对2种特征进行维数改进,提出一种基于形状特征和纹理特征的中药材检索方法。使用改进的图像梯度方向直方图和分块局部二元模式进行形状及纹理的特征提取;对提取得到的特征向量进行线性组合;采用一对一方式构造多分类器,使用支持向量机进行分类检索。实验结果表明,组合降维特征提取算法能在中药材图像数据集中取得较好的识别效果。     

基于一维卷积神经网络的恶意代码家族多分类方法研究

为了提取有效的恶意代码特征,提高恶意代码家族多分类的准确率,提出一种改进模型.该模型将恶意代码的特征映射为灰度图,使用改进的恶意样本图像缩放算法进行图像的规范化处理,基于VGG模型构建一维卷积神经网络分类模型ID-CNN-IMIR.实验结果表明,恶意代码特征的提取和处理提升了分类效果;对比经典的机器学习算法、二维卷积神经网络、其他基于深度学习的恶意代码分类模型,ID-CNN-IMIR分类准确率是最好的,达到98.94％.     

一种基于压缩感知理论的纹理分类方法

针对传统纹理分类方法计算复杂的问题,本文基于bag-of-words模型提出了一种简单、新奇的纹理分类方法。在特征提取阶段,使用NSCT滤波器对局部图像块进行映射投影,然后通过观测矩阵提取其随机测量值特征;在纹理分类阶段,直接将随机特征嵌入到bag-of-words环境,并且直接在压缩域内进行学习和分类。利用纹理图像的稀疏性,本文提出的特征提取方法简单,并且在性能和复杂度上都优于传统特征提取方法。最后使用CUReT数据库进行数值试验,并与patch、patch-MRF、MR8、LBP四种最经典的方法进行比对,本文方法在分类精度以及实时性上有重要的改进。     

基于改进CNN的宫颈细胞自动分类算法

本文采用深度学习算法中的卷积神经网络对细胞图像进行识别, 实现对宫颈细胞图像的自动分类. 首先对宫颈细胞进行预处理, 通过细胞核裁剪解决图像输入尺寸不一的问题, 对图像进行翻转平移, 对数据集进行扩充, 并解决样本量不均衡的问题; 接着选取VGG-16网络进行改进, 使用改进后的VGG-16网络进行特征提取, 以及细胞分类; 并采用迁移学习的方法加载预训练网络参数, 进而加快参数收敛速度, 提高分类准确率; 最终通过对网络的训练, 得到了较好的分类结果, 将分类结果与人工提取特征设计分类器的方法相比, 分类的准确率有所提高, 二分类的准确率达97.3%, 七分类的准确率达89%. 实验结果表明: 卷积神经网络对宫颈细胞图像进行自动分类, 分类准确率相比较人工提取特征分类器效果较好, 且分类结果不受分割图像准确率的影响.     

多尺度深度特征提取的肝脏肿瘤CT图像分类

目的 肝脏肿瘤是人体最具侵袭性的恶性肿瘤之一,传统的肿瘤诊断依靠观察患者的CT（computed tomography）图像,工作量大时易造成疲劳,难免会产生误诊,为此使用计算机辅助的方法进行诊断,但现有的深度学习方法中存在肿瘤分类准确率低、网络的特征表达能力和特征提取能力较弱等问题。对此,本文设计了一种多尺度深度特征提取的分类网络模型。方法 首先在原始CT图像中选取感兴趣区域,然后根据CT图像的头文件进行像素值转换,并进行数据增强来扩充构建数据集,最后将处理后的数据输入到本文提出的分类网络模型中输出分类结果。该网络通过多尺度特征提取模块来提取图像的多尺度特征并增加网络的感受野,使用深度特征提取模块降低背景噪声信息,并着重关注病灶区域有效特征,通过集成并行的空洞卷积使得尺度多元化,并将普通卷积用八度卷积替换来减少参数量,提升分类性能,最终实现了对肝脏肿瘤的精确分类。结果 本文模型达到了87.74%的最高准确率,比原始模型提升了9.92%;与现有主流分类网络进行比较,多项评价指标占优,达到了86.04%的召回率,87%的精准率,86.42%的F1分数;此外,通过消融实验进一步验证了所提方法的有效性。结论 本文方法可以较为准确地对肝脏肿瘤进行分类,将此方法结合到专业的医疗软件当中去,能够为医生早期的诊断和治疗提供可靠依据。     

基于自适应特征融合与转换的小样本图像分类

小样本学习中数据采样不断变化的特点使得模型特征提取不充分,同时,模型对提取的特征也难以进行相应操作;数据分布的变化也影响着小样本模型的性能。针对这些问题,提出一种基于自适应加权多路分支小样本图像分类模型。多路特征处理模块对输入数据进行特征提取和融合,以便充分利用少量数据;自适应的支路权重使得特征信号随特征进行相应的放缩;特征转换模块对多变的数据分布进行适应性变化,以便更好地聚合同类,提高分类效果。通过使用Caltech-UCSD Birds-200-2011数据集和mini-ImageNet数据集,对所提模型在不同场景下进行分类效果测试。实验结果表明,所提模型在5-Way 1-Shot和5-Way 5-Shot任务中的准确率分别比baseline相比分别提升9.81、8.16个百分点和9.16、9.21个百分点,验证了模型的有效性。     

融合双注意力与深度神经网络的遥感图像配准北大核心

在多视角遥感图像配准中,部分方法在复杂场景下存在配准精度不高或实时性低等问题,针对以上不足,提出融合双注意力机制的网络中网络作为特征提取器的端到端图像配准算法。算法分为特征提取、特征匹配和参数预测三部分,首先使用网络中网络改进模型对于复杂特征的提取能力,同时引入双注意力机制提升对特征的分辨和定位效果;然后在特征匹配层使用双向的相关运算改善特征匹配精度,匹配层输出的匹配图输入参数预测网络,预测从待配准图像到参考图像的变换参数。实验表明,与传统算法对比,配准精度平均提升10%以上,速度至少提升20%,所提方法有效提升了多视角遥感图像配准的效果。     

梯度直方图卷积特征的胶囊网络在交通监控下的车型分类

为了充分利用图像信息以提高现有交通监控下车型分类的效果,在胶囊网络的基础上增加梯度直方图卷积（HOG-C）特征提取方法,提出HOG-C特征的胶囊网络模型——HOG-C CapsNet。首先,使用梯度统计特征提取层对图像中的梯度信息进行统计,构建方向梯度直方图（HOG）特征图;其次,使用卷积层提取出图像的颜色信息,把提取出的颜色信息与HOG特征图融合构成HOG-C特征图;最后,输入卷积层提取HOG-C特征图的抽象特征,并通过胶囊网络对提取的抽象特征进行具有三维空间特征表达的胶囊封装,使用动态路由算法实现车型分类。在BIT-Vehicle数据集上对该模型和其他相关模型进行的对比实验中,该模型得到98.17%的准确率、97.98%的平均精确率均值（MAP）、98.42%的平均召回率均值（MAR）和98.20%的综合评价指标。实验结果表明,该模型在交通监控下的车型分类上具有更好的效果。     

基于改进胶囊网络的文本分类

针对卷积神经网络（CNN）中的池化操作会丢失部分特征信息和胶囊网络（CapsNet）分类精度不高的问题,提出了一种改进的CapsNet模型。首先,使用两层卷积层对特征信息进行局部特征提取;然后,使用CapsNet对文本的整体特征进行提取;最后,使用softmax分类器进行分类。在文本分类中,所提模型比CNN和CapsNet在分类精度上分别提高了3.42个百分点和2.14个百分点。实验结果表明,改进CapsNet模型更适用于文本分类。     

增强语义信息与多通道特征融合的裂缝检测

路面裂缝检测是用以判断道路安全与否的关键技术,由于裂缝的背景复杂多样,传统的裂缝检测算法难以准确检测裂缝。提出了一种增强语义信息与多通道特征融合的裂缝自动检测算法。网络整体为编码器-解码器结构,在编码器部分引入扩张卷积模块,扩大特征图有效感受野,整合图像上下文信息,增强特征语义表达能力,提高像素分类精度。在解码器部分搭建了一个基于注意力机制的多通道特征融合模块,利用高层全局注意力信息指导高层语义特征与低层细节特征的逐级融合,有利于恢复图像细节信息,进一步提升对裂缝的像素级检测精度。实验结果表明,在CRACK500公开数据集上训练的模型在测试集上取得72.5%的平均交并比（Intersection over Union,IoU）和96.8%的F1score,该模型直接用于CrackForest数据集测试,平均IoU和F1score分别提升2.0个百分点和1.1个百分点,表明模型具有很好的泛化性能,可用于复杂道路场景下的裂缝检测与质量评估。     

基于全卷积神经网络的单幅隧道图像裂纹提取算法

提出一种基于全卷积神经网络的单幅隧道图像裂纹提取算法,能够有效避免复杂背景下的伪裂纹噪声点干扰,实现对隧道裂纹的精确分割。首先,构建深度残差网络模型提取裂纹特征;其次,使用改进的全卷积神经网络中的反卷积操作恢复裂纹特征图的尺寸和裂纹细节;为了提升裂缝提取的精细程度,提出一个细节修复模块来保持裂缝的完整性与边缘细节;最后,公开一个裂纹数据集NUAACrack-2000,包含2 000幅隧道裂纹图像与精准标注标签。实验表明,提出的算法在避免噪声点干扰方面优于传统图像分割算法;在保留提取裂纹的整体性以及边缘细节处理方面优于基于机器学习的主流裂纹提取算法。     

基于改进RetinaNet的高铁无砟轨道板表面裂缝检测

针对高铁无砟轨道板表面裂缝尺度差异大、裂缝类别不平衡等问题,提出了基于改进RetinaNet的裂缝检测方法。为了缓解下采样与特征金字塔横向连接压缩而导致的细微信息丢失的问题,利用多级特征金字塔融合ResNet-50主干网络中提取的不同层次的深浅特征,实现了图像特征信息的充分表达;为了解决检测过程中表面裂缝的分类和定位置信度之间不匹配的问题,提出自适应锚点学习使锚点与网络模型同时进行优化,提高了对小尺度裂缝的检测精度;为了缓解裂缝类别不平衡对检测性能的影响,引入焦点损失函数（Focal Loss）作为分类损失函数,并在其中添加类平衡权重项因子,提升了对小类别裂缝的检测精度。实验结果表明,改进RetinaNet检测网络对高铁无砟轨道板不同类别的裂缝均获得了较好的效果,平均检测精度（mAP）达到72.58%,较之原始RetinaNet检测网络提高了3.60个百分点,有效实现了对不同尺度裂缝的准确检测。     

基于卷积神经网络的桥梁裂缝识别和测量方法

为了提高桥梁裂缝检测水平,解决目前手工检测费时费力和传统图像处理方法需要人工设定参数的问题,提出一种基于改进GoogLeNet的桥梁裂缝检测算法。首先,构建了一个较大规模的桥梁裂缝数据集RLH（Retinex-Laplace-Histogram equalization）用于模型的训练和测试。其次,基于原始的GoogLeNet模型,采用归一化的卷积核改进了inception模块,采用三种改进方案修改网络开头,去掉第七个及以后的inception层,建立桥梁裂缝特征图像分类系统。最后,利用滑动窗口精准定位裂缝并结合骨架提取算法计算裂缝的长度和宽度。实验结果表明,改进的GoogLeNet网络与原始GoogLeNet网络相比,识别准确率提升了3.13%,训练时间减少为原来的64.6%。另外,骨架提取算法能够考虑裂缝的走势,计算宽度更加准确,且最大宽度和平均宽度都能计算。综上所述,所提分类和测量方法具有准确度高、速度快、定位准确、测量准确等特点。     

多视图动量对比学习算法

比较同一图像不同增强的相似性是对比学习取得显著成果的关键。传统对比学习方法使用了图像的两个不同视图,为了学习到图像更多的信息以提高分类准确率,在MoCo(momentum contrast for unsupervised visual representation learning)的基础上,提出了一种多视图动量对比学习算法。每次迭代中,对于图像的多个数据增强分别使用一个查询编码器和多个动量编码器进行特征提取,使得本次迭代可以使用更多的数据增强和负样本。使用优化的噪声对比估计(InfoNCE)来计算损失,使得查询编码器能得到更有益于下游任务的特征表示。对查询编码器使用梯度回传更新网络,对各动量编码器使用改进的动量更新公式以提高模型的泛化能力。实验结果表明,使用多视图动量对比学习可以有效提高模型的分类准确率。     

基于对比学习的标签带噪图像分类

标签噪声会极大地降低深度网络模型的性能. 针对这一问题, 本文提出了一种基于对比学习的标签带噪图像分类方法. 该方法包括自适应阈值、对比学习模块和基于类原型的标签去噪模块. 首先采用对比学习最大化一幅图像的两个增强视图的相似度来提取图像鲁棒特征; 接下来通过一种新颖的自适应阈值过滤训练样本, 在模型训练过程中根据各个类别的学习情况动态调整阈值; 然后创新性地引入基于类原型的标签去噪模块, 通过计算样本特征向量与原型向量的相似度更新伪标签, 从而避免标签中噪声的影响; 在公开数据集CIFAR-10、CIFAR-100和真实数据集ANIMAL10上进行对比实验, 实验结果表明, 在人工合成噪声的条件下, 本文方法实验结果均高于常规方法, 通过计算图像鲁棒的特征向量与各个原型向量的相似度更新伪标签的方式, 降低了噪声标签的负面影响, 在一定程度上提高模型的抗噪声能力, 验证了该模型的有效性.     

改进U-Net型网络的遥感图像道路提取

目的 遥感图像道路提取在城市规划、交通管理、车辆导航和地图更新等领域中发挥了重要作用,但遥感图像受光照、噪声和遮挡等因素以及识别过程中大量相似的非道路目标干扰,导致提取高质量的遥感图像道路有很大难度。为此,提出一种结合上下文信息和注意力机制的U-Net型道路分割网络。方法 使用Resnet-34预训练网络作为编码器实现特征提取,通过上下文信息提取模块对图像的上下文信息进行整合,确保对道路的几何拓扑结构特征的提取;使用注意力机制对跳跃连接传递的特征进行权重调整,提升网络对于道路边缘区域的分割效果。结果 在公共数据集Deep Globe道路提取数据集上对模型进行测试,召回率和交并比指标分别达到0.847 2和0.691 5。与主流方法U-Net和CE-Net（context encoder network）等进行比较,实验结果表明本文方法在性能上表现良好,能有效提高道路分割的精确度。结论 本文针对遥感图像道路提取中道路结构不完整和道路边缘区域不清晰问题,提出一种结合上下文信息和注意力机制的遥感道路提取模型。实验结果表明该网络在遥感图像道路提取上达到良好效果,具有较高的研究和应用价值。     

基于深度学习的桥梁裂缝检测算法研究

传统的图像处理算法不能很好地对桥梁裂缝进行检测,而经典的深度学习模型直接用于桥梁裂缝的检测,效果不甚理想.针对这些问题,本文提出了一种基于深度学习的桥梁裂缝检测算法.首先,利用滑动窗口算法将桥梁裂缝图像切分为较小的桥梁裂缝面元图像和桥梁背景面元图像,并根据对面元图像的分析,提出一种基于卷积神经网络（Convolutional neural networks,CNN）的DBCC（Deep bridge crack classify）分类模型,用于桥梁背景面元和桥梁裂缝面元的识别.然后,基于DBCC分类模型结合改进的窗口滑动算法对桥梁裂缝进行检测.最后,采用图像金字塔和感兴趣区域（Region of interest,ROI）结合的搜索策略对算法进行加速.实验结果表明:与传统算法相比,本文算法具有更好的识别效果和更强的泛化能力.     

自监督学习下小样本遥感图像场景分类

目的 卷积神经网络（convolutional neural network,CNN）在遥感场景图像分类中广泛应用,但缺乏训练数据依然是不容忽视的问题。小样本遥感场景分类是指模型只需利用少量样本训练即可完成遥感场景图像分类任务。虽然现有基于元学习的小样本遥感场景图像分类方法可以摆脱大数据训练的依赖,但模型的泛化能力依然较弱。为了解决这一问题,本文提出一种基于自监督学习的小样本遥感场景图像分类方法来增加模型的泛化能力。方法 本文方法分为两个阶段。首先,使用元学习训练老师网络直到收敛;然后,双学生网络和老师网络对同一个输入进行预测。老师网络的预测结果会通过蒸馏损失指导双学生网络的训练。另外,在图像特征进入分类器之前,自监督对比学习通过度量同类样本的类中心距离,使模型学习到更明确的类间边界。两种自监督机制能够使模型学习到更丰富的类间关系,从而提高模型的泛化能力。结果 本文在NWPU-RESISC45（North Western Polytechnical University-remote sensing image scene classification）、AID （aerial image dataset）和UCMerced LandUse （UC merced land use dataset）3个数据集上进行实验。在5-way 1-shot条件下,本文方法的精度在3个数据集上分别达到了72.72%±0.15%、68.62%±0.76%和68.21%±0.65%,比Relation Net^*模型分别提高了4.43%、1.93%和0.68%。随着可用标签的增加,本文方法的提升作用依然能够保持,在5-way 5-shot条件下,本文方法的精度比Relation Net^*分别提高3.89%、2.99%和1.25%。结论 本文方法可以使模型学习到更丰富的类内类间关系,有效提升小样本遥感场景图像分类模型的泛化能力。     

基于空洞卷积和多特征融合的混凝土路面裂缝检测

混凝土路面的裂缝检测是确保道路安全的重要基础任务。针对混凝土路面的复杂背景和裂缝本身复杂的拓扑结构,提出了一种基于空洞卷积和多特征融合的混凝土路面裂缝检测网络,该网络采用基于U-Net的编码-解码结构。在编码阶段,使用改进的残差网络Res2Net提高特征提取能力;在网络的中间部分,使用串联和并联相结合的不同空洞率的空洞卷积,从而在增加特征点的感受野的同时不会降低特征图的分辨率;在解码阶段,融合了从低层卷积到高层卷积的多尺度和多级特征,提高了裂缝检测的准确性。为证明所提算法的有效性和准确性,将其与现有的部分检测方法进行了比较并使用F-score来评估检测性能。在多个混凝土路面数据集上的实验结果表明,该算法提高了裂缝检测的准确性,具有较好的鲁棒性。