基于EfficientNet的双分路多尺度联合学习行人再识别

针对视频图像中因小目标行人、遮挡和行人姿态多变而造成的行人再识别率低的问题,建立了一种基于高效网络EfficientNet的双分路多尺度联合学习方法。首先采用性能高效的EfficientNet-B1网络作为主干结构;然后利用加权双向特征金字塔（BiFPN）分支对提取的不同尺度全局特征进行融合,并且得到包含不同层次语义信息的全局特征,从而提高小目标行人的识别率;其次利用PCB分支提取深层局部特征来挖掘行人的非显著信息,并减轻行人遮挡和姿态多变性对识别率的影响;最后在训练阶段将两个分支网络分别提取的行人特征通过Softmax损失函数得到不同子损失,并把它们相加进行联合表示;在测试阶段将获得的全局特征和深层局部特征拼接融合,并计算欧氏距离得到再识别匹配结果。该方法在Market1501和DukeMTMC-Reid 数据集上的Rank-1的准确率分别达到了95.1%和89.1%,与原始EfficientNet-B1主干结构相比分别提高了3.9个百分点和2.3个百分点。实验结果表明,所提出的模型有效提高了行人再识别的准确率。     

一种高效的车体表面损伤检测分割算法

车体表面损伤检测是计算机视觉中的经典问题。车体表面损伤检测的主要瓶颈在于图像中损伤实例的不同尺度影响了分割的精度与效率。本文采用单阶段语义分割网络（YOLACT⁺⁺）进行车体表面的损伤检测,通过结合EfficientNet设计主干网络提高分割效率,并通过改进损失函数优化YOLACT⁺⁺中目标实例Mask的生成,实验中用深度学习标注实验数据集进行训练测试。实验表明,改进后的YOLACT⁺⁺降低了Mask生成误差,检测的实时帧率提高到35帧/s,同时也提高了YOLACT⁺⁺进行实例分割的精度。     

联合集成学习与EfficientNet的光学遥感图像场景分类

深度学习能够提高光学遥感图像场景分类的准确率和效率,但光学遥感图像语义丰富,部分场景仍存在易误分类的情况,同时由网络模型规模扩大带来的硬件要求过高、时间成本消耗过大等问题制约着深度学习网络模型的推广应用。为此,提出一种基于轻量化网络模型的光学遥感图像场景分类方法。通过EfficientNet网络提取图像特征,对图像特征进行复合提取以生成语义信息更丰富的新特征,利用多个子分类器构建集成学习模块解析新特征得到预分类结果,集成加权预分类结果以获得最终的分类结果。在AID和NWPU-RESISC45数据集上的实验结果表明,即使只训练20%的数据样本,该方法也能分别达到94.32%和93.36%的准确率,相对D-CNNs、CNN-CapsNet等方法,所提方法对易误分类场景有更好的分类效果,且参数量和浮点运算量大幅减少。     

基于迁移学习与特征融合的眼底图像分类

针对大量眼底图片难以收集和标注、有经验的眼科医生地区分配不均匀等,导致眼底疾病患者检查准确度低、花费时间较长等问题,本文基于迁移学习提出一种图像分类方法:首先修改EfficientNet-B0和EfficientNet-B7模型并进行参数微调,将微调后的模型作为特征提取器用于提取眼底图像的特征,再对提取的特征进行特征融合并使用DNN分类器实现最终分类,同时使用加权梯度类激活映射可视化解释模型诊断异常的原因。提出的方法在内部数据上十折交叉验证得到的平均准确度、灵敏度和AUC分别为95.74%,96.46%,0.987,在公开数据集JSIEC上获得97.04%的准确度和97.14%的灵敏度。结果表明该方法可用于大规模筛查异常眼底,辅助医生实现高效诊断。     

基于改进EfficientNet的雷达信号调制方式识别

针对在复杂电磁环境下的雷达辐射源信号识别中传统方法失效,深度学习算法存在低信噪比下识别效果差、网络复杂参数多的问题,提出一种改进EfficientNet模型对雷达辐射源信号进行识别。首先引入卷积注意力模块(Convolutional Block Attention Module, CBAM)改进网络,提高网络对通道和空间特征的提取能力;结合h-Swish和ReLU两种激活函数进一步改进网络在保持网络精度的情况下加快网络训练;对样本进行标签平滑,对9种不同调制信号的时频图像做CutMix数据增强后输入网络,增强模型的泛化能力。通过实验分析,改进后的模型在信噪比为-10 dB的情况下对9种调制信号的综合识别率达到了94.24%,验证了该方法能够在低信噪比条件下有效识别雷达辐射源信号。     

基于时间注意力机制和EfficientNet的视频暴力行为检测

针对一般的暴力行为检测方法模型参数量大、计算复杂度高、准确率较低等问题,提出一种基于时间注意力机制和EfficientNet的视频暴力行为检测方法。首先将通过对数据集进行预处理计算得到的前景图输入到网络模型中提取视频特征,同时利用轻量化EfficientNet提取前景图中的帧级空间暴力特征,并利用卷积长短时记忆网络（ConvLSTM）进一步提取视频序列的全局时空特征;接着,结合时间注意力机制,计算得到视频级特征表示;最后将视频级特征表示映射到分类空间,并利用Softmax分类器进行视频暴力行为分类并输出检测结果,实现视频的暴力行为检测。实验结果表明,该方法能够减少模型参数量,降低计算复杂度,在有限的资源下提高暴力行为检测准确率,提升模型的综合性能。     

融合注意力机制和高效网络的糖尿病视网膜病变识别与分类

目的 糖尿病视网膜病变（diabetic retinopathy,DR）是一种病发率和致盲率都很高的糖尿病并发症。临床中,由于视网膜图像不同等级之间差异性小以及临床医生经验的不同,会出现误诊、漏诊等情况,目前基于人工DR的诊断分类性能差且耗时费力。基于此,本文提出一种融合注意力机制（attention mechanism）和高效率网络（high-efficiency network,EfficientNet）的DR影像自动分类识别方法,以此达到对病变类型的精确诊断。方法 针对实验中DR数据集存在的问题,进行剔除、去噪、扩增和归一化等处理;利用EfficientNet进行特征提取,采用迁移学习的策略用DR的数据集对EfficientNet进行学习与训练,提取深度特征。为了解决病变之间差异小的问题,防止网络对糖尿病视网膜图像的特征学习时出现错分等情况,在EfficientNet输出结果上加入注意力机制;根据网络提取的特征在深度分类器中进行分类,将视网膜图像按等级进行五分类。结果 本文方法的分类精度、敏感性、特异性和二次加权（kappa）值分别为97.2%、95.6%、98.7%和0.84,具有较好的分类性能及鲁棒性。结论 基于融合注意力机制的高效率网络（attention EfficientNet,A-EfficientNet）的DR分类算法有效地提高了DR筛查效率,解决了人工分类的手动提取特征的局限性,在临床上对医生诊断起到了辅助作用,能更有效地防治此类恶性眼疾造成严重视力损伤、甚至失明。     

基于轻量级迁移学习的无人机航拍视频图像天气场景分类

针对传统航拍视频图像CNN模型天气分类效果差、无法满足移动设备应用以及现有天气图像数据集匮乏且场景单一的问题, 构建了晴天、雨天、雪天、雾天4类面向多场景的无人机航拍天气图像数据集, 并提出了基于轻量级迁移学习的无人机航拍视频图像天气场景分类模型. 该模型采用迁移学习的方法, 在ImageNet数据集上训练好两种轻量级CNN, 并设计3个轻量级CNN分支进行特征提取. 特征提取首先采用ECANet注意力机制改进的EfficientNet-b0作为主分支提取整幅图像特征, 并使用两个MobileNetv2分支分别对天空和非天空局部独有的深层特征进行提取. 其次, 通过Concatenate将这3个区域进行特征融合. 最后, 使用Softmax层对4类天气场景实现分类. 实验结果表明, 该方法应用于移动等计算受限设备时对于天气场景分类的识别准确率达到了97.3%, 有着较好的分类效果.     

面向图像拼接检测的自适应残差算法

目的 恶意的图像拼接篡改给名誉、法律、政治等带来一系列的挑战,而现有的图像拼接检测算法通常采用参数固定的高通滤波器提取滤波特征进行预处理,没有考虑图像之间的差异。方法 本文设计自适应残差模块(adaptive residuals module, ARM)凸显拼接篡改痕迹,将卷积运算后的残差多次拼接,且每次拼接后再利用注意力机制实现通道间的非线性交互。然后,使用通道注意力SE(squeeze and excitation)模块以减少由ARM提取残差特征产生的通道之间信息冗余,并以在图像分类领域获得卓越性能的EfficientNet(high-efficiency network)为骨干网络,提出一种新的图像拼接检测算法。结果 实验结果表明,所提算法在CASIA I(CASIA image tampering detection evaluation database),CASIA II,COLUMBIA COLOR,NIST16(NIST special database 16)和FaceForensic++这5个公开数据集上分别取得98.95%,98.88%,100%,100%,88.20%的检测准确率,获得比现有算法更高的准确率。提出的ARM将骨干网络EfficientNet在CASIA II数据集的准确率提高了3.94%以上。结论 提出的基于自适应残差的图像拼接检测算法充分考虑图像之间的差异,凸显篡改区域与未篡改区域之间的区别,并获得更好的拼接检测结果。     

光伏航拍红外图像的热斑自动检测方法

针对光伏电站传统巡检技术的高成本、低效率以及准确率不高等问题,提出二阶段式的航拍红外图像热斑检测方法,实现对红外图像中热斑缺陷的组件级定位及精细化分类诊断. 该方法将传统图像处理技术与深度学习方法融合,进一步提升缺陷诊断的准确率与效率. 基于航拍红外图像前、后景灰度值的差异,提出基于边缘检测的组件分割方法来提取光伏组件轮廓以实现组件级定位,该方法以相对较小的硬件需求实现光伏组件有效检出率可达99.3%. 考虑到热斑成因、危害及对应处理方式的差异性,提出基于EfficientNet的红外缺陷分类模型对热斑进行精细的四分类,为电站运维人员提供更为精准的决策支撑,该模型在空间占用20.17 MB的情况下获得97.0%的热斑分类准确率. 经过实验对比分析,论证了本研究所提出的方法在缺陷诊断的效率以及准确率上都较高.