基于动态焦点损失函数和样本平衡方法的绝缘子缺陷检测方法

在航拍输电线路图像的绝缘子缺陷检测任务中,针对不同类型缺陷之间存在的样本数量不平衡、困难样本低效学习等问题,提出一种动态焦点损失函数和一种基于二阶矩的样本平衡方法。首先在前向传播过程中根据困难样本、简单样本分布变化动态求解焦点损失函数的衰减因子,然后利用样本损失离散值定位出困难样本、简单样本的边界,从而获得困难样本集合,最后在反向传播过程中根据不同样本损失的二阶矩对学习样本的贡献率分布进行平衡。实验结果表明所提多类绝缘子缺陷检测方法能够有效地学习到不同样本的深度特征,性能较其他方法有显著的提升。     

跨模态表征与生成技术

多媒体数据持续呈现爆发式增长并显现出异源异构的特性,因此跨模态学习领域研究逐渐引起学术和工业界的关注。跨模态表征与生成是跨模态学习的两大核心基础问题。跨模态表征旨在利用多种模态之间的互补性剔除模态之间的冗余,从而获得更为有效的特征表示;跨模态生成则是基于模态之间的语义一致性,实现不同模态数据形式上的相互转换,有助于提高不同模态间的迁移能力。本文系统地分析了国际与国内近年来跨模态表征与生成领域的重要研究进展,包括传统跨模态表征学习、多模态大模型表示学习、图像到文本的跨模态转换和跨模态图像生成。其中,传统跨模态表征学习探讨了跨模态统一表征和跨模态协同表征,多模态大模型表示学习探讨了基于Transformer的模型研究,图像到文本的跨模态转换探讨了图像视频的语义描述、视频字幕语义分析和视觉问答等领域的发展,跨模态图像生成从不同模态信息的跨模态联合表示方法、图像的跨模态生成技术和基于预训练的特定域图像生成阐述了跨模态生成方面的进展。本文详细综述了上述各个子领域研究的挑战性,对比了国内外研究方面的进展情况,梳理了发展脉络和学术研究的前沿动态。最后,根据上述分析展望了跨模态表征与生成的发展趋势和突破口。     

基于视觉关联与上下文双注意力的图像描述生成方法

图像描述生成有着重要的理论意义与应用价值,在计算机视觉与自然语言处理领域皆受到广泛关注.基于注意力机制的图像描述生成方法,在同一时刻融合当前词和视觉信息以生成目标词,忽略了视觉连贯性及上下文信息,导致生成描述与参考描述存在差异.针对这一问题,本文提出一种基于视觉关联与上下文双注意力机制的图像描述生成方法（visual relevance and context dual attention,简称VRCDA）.视觉关联注意力在传统视觉注意力中增加前一时刻注意力向量以保证视觉连贯性,上下文注意力从全局上下文中获取更完整的语义信息,以充分利用上下文信息,进而指导生成最终的图像描述文本.在MSCOCO和Flickr30k两个标准数据集上进行了实验验证,结果表明本文所提出的VRCDA方法能够有效地生成图像语义描述,相比于主流的图像描述生成方法,在各项评价指标上均取得了较高的提升.     

基于深度学习的图像-文本匹配研究综述

图像-文本匹配任务旨在衡量图像和文本描述之间的相似性,其在桥接视觉和语言中起着至关重要的作用.近年来,图像与句子的全局对齐以及区域与单词的局部对齐研究方面取得了很大的进展.本文对当前先进的研究方法进行分类和描述.具体地,本文将现有方法划分为基于全局特征的图像-文本匹配方法、基于局部特征的图像-文本匹配方法、基于外部知识的图像-文本匹配方法、基于度量学习的图像-文本匹配方法以及多模态预训练模型,对于基于全局特征的图像-文本匹配方法,本文依据流程类型划分为两类：基于嵌入的方法和基于交互的方法;而对于基于局部特征的图像-文本匹配方法,依据其交互模式的不同,则被细分为三类：基于模态内关系建模的方法、基于模态间关系建模的方法以及基于混合交互建模的方法.随后,本文对当前图像-文本匹配任务的相关数据集进行了整理,并对现有方法的实验结果进行分析与总结.最后,对未来研究可能面临的挑战进行了展望.     

基于对抗性持续学习模型的输电线路部件缺陷分类

输电线路金具巡检是电网安全态势感知中不可或缺的一部分,线路的定期巡检关系着电力系统是否能安稳运行。针对目前的输电线路部件缺陷分类模型无法处理现实情况中无限数据流的问题,该文提出一种基于对抗性持续学习的输电线路部件及其缺陷分类方法。将持续学习技术引入到输电线路部件缺陷分类任务中,使得分类模型在保证分类准确率的同时,可以从无限增长的数据流中不断学习新的分类任务,并且减少时间资源消耗。通过融入注意力机制,增强了模型对细微特征提取能力,解决了分类任务类间差异过小的问题,提高分类准确率。针对持续学习任务中的排序不可知性问题,提出基于离散度进行排序的方法,以实现持续学习分类模型的最优利用。最后,在CIFAR-100公共数据集和自建数据集上进行实验验证,并对模型的各种性能进行分析与比较。结果表明该文提出的方法实现了部件及其缺陷分类任务的可持续学习,缓解了灾难性遗忘的问题;融入注意力机制和使用L₃损失函数使分类准确率分别提高了1.43%和2.25%;实现了持续学习分类模型在已获取数据集上的最优利用,为电网安全态势感知打下了坚实的基础。     

基于改进SSD模型的输电线路巡检图像金具检测方法

为了解决航拍图像金具智能检测问题,提出一种基于改进SSD模型的输电线路航拍巡检图像金具目标检测方法。对巡检图像进行多角度旋转并自适应裁剪扩充样本,以解决金具在图像中占比过小导致大量漏检问题,使用改进的IoU得到对目标尺度更敏感的默认框；进一步针对图像中金具目标密集问题,在模型中加入对密集目标检测有效的斥力损失,提高模型对密集遮挡金具的检测效果。在包含6934个训练目标框和1879个测试目标框的11类金具数据集中进行实验,使用文中方法的金具检测准确率达到了75.64%,相对于使用原始SSD模型检测准确率提升了4.73%,且检测框更贴合目标。     

结合注意力机制的相对GAN螺栓图像生成

螺栓缺陷非常容易引起输电线路异常甚至故障,但大量的缺陷数据难以获得。将生成式对抗网络应用于缺陷螺栓图像的生成,针对生成过程中存在的图像质量差、生成样本单一,模型收敛缓慢等问题,提出一种基于改进DCGAN的螺栓图像生成方法。首先在损失函数中加入相对均值鉴别器和梯度惩罚,平衡了生成器和判别器的能力,提高了样本质量和模型的收敛速度;然后在模型的生成器和鉴别器中引入注意力机制,捕获图像中长距离的像素特征,提高了缺陷样本的多样性;实验结果验证了改进方法的有效性,实现了缺陷样本的扩增。     

基于时尚图谱增强的个性化互补服装推荐

近年来,人们对时尚穿搭有了更高的美学追求。因此,个性化互补服装推荐,即为用户推荐与他/她已购买服装相匹配的互补服装,逐渐吸引了学术界的广泛关注。个性化互补服装推荐不同于一般的推荐任务（如电影推荐）,它推荐的服装需要满足两个条件：1）与目标服装搭配;2）满足用户偏好。因此,相关的现有方法主要是基于时尚单品的多模态数据,着力于建模单品与单品之间的兼容性交互和用户与单品之间的偏好交互,以实现个性化互补服装的推荐。这些方法的缺点主要在于它们将每一个单品-单品交互或者用户-单品交互看作一个独立的数据实例,而忽略了单品的属性知识以及时尚实体（即,用户、单品及属性）之间的高阶交互关系。事实上,与一个单品（如,上衣）搭配的所有互补单品（如,下衣）可能会共享某些相同的属性（如,颜色）;同时,具有类似品味的用户也可能倾向于选择具有类似属性特征的单品。显然,这些时尚实体之间的高阶关系蕴含了丰富的有关单品兼容性和用户偏好的协同信号,因而能够促进个性化互补服装推荐模型性能的提升。据此,本文构建了一个大规模协同时尚图谱,并基于图卷积神经网络（Graph Neural Networks,GNNs）来探索时尚实体之间的高阶关系,进而更好地实现个性化的互补服装推荐。具体地,本文提出了一个新颖的基于时尚图谱增强的个性化互补服装推荐模型（Fashion Graph-enhanced Personalized Complementary Clothing Recommendation）,简称为FG-PCCR。FG-PCCR由两个关键的部分组成：独立的一阶交互建模和协同的高阶交互建模。一方面,独立的一阶交互建模模块基于视觉和文本模态数据,致力于通过神经网络和矩阵分解方法分别对单品-单品搭配交互和用户-单品偏好交互进行综合性建模。另一方面,协同的高阶交互模块基于构建的协同的时尚图谱,通过图神经网络利用信息传播机制来提取高阶的协同信号,进一步丰富用户和单品的向量表示。FG-PCCR模型能够有效整合时尚实体之间的复杂的高阶关系信息,用户和单品的表示学习,进而改进个性化互补推荐的效果。最后,对于给定的用户和目标上衣,我们能够得到推荐的下衣的个性化兼容性分数。另外,在真实的时尚数据集上做的大量实验,充分地验证了本文所提模型FG-PCCR相对于基准方法的优越性。     

嵌入双注意力机制的Faster R-CNN航拍输电线路螺栓缺陷检测

目的 螺栓是输电线路上最普遍、数量最多的部件,螺栓缺陷检测是输电线路视觉检测任务的一大难点。针对螺栓目标存在背景复杂、目标过小、不同类别之间差异小以及精细特征难以提取的问题,提出一种双注意力机制方法,分别对不同尺度和不同位置的视觉特征进行分析和增强。方法 对于不同尺度的特征,网络使用不同尺度的特征图计算出相应的注意力图,然后将相邻层的注意力图差异性作为正则化项加入网络中,从而增强螺栓区域的精细特征。对于不同位置的特征,先使用特征图计算出图像的空间注意力图,注意力图中每个元素表示两个空间位置的相似程度,然后利用注意力图将局部特征与全局特征融合,从而在全局视野上增强相似的区域,达到增大螺栓与背景的特征差异程度,实现提高螺栓区域的预测效果。结果 本文在航拍输电线路典型螺栓数据集上进行测试,与基线相比,结合双注意力机制的航拍输电线路螺栓检测方法的平均准确率提高了2.21%,其中正常螺栓类提升了0.29%,缺销螺栓类提升了5.23%,螺母缺失螺栓类提升了1.1%。结论 本文提出的基于双注意力机制的航拍输电线路螺栓缺陷检测方法取得了良好的效果,有效避免了螺栓缺陷检测中的误判漏判问题,为进一步对输电线路其他缺陷任务奠定了良好的基础。