基于权重平衡调节损失函数的结构优化RefineDet算法

在目标检测方法中,针对目标检测网络RefineDet对类别样本数量不平衡和困难样本难挖掘问题,以及ARM获取位置信息和特征信息比较粗略所导致训练效果不佳的问题;提出权重平衡调节损失(WBALoss)函数,通过对多分类损失中的不同类别样本和难易样本进行加权来提高对样本数量少的类别和困难样本关注度;以及ARM与TCB信息融...     

WPLoss:面向类别不平衡数据的加权成对损失

类别不平衡数据是指不同类别的样本数目差异很大,AUC(area under the ROC curve)是衡量不平衡数据分类器性能的一个重要指标,由于AUC不可微,研究者提出了众多替代成对损失函数优化AUC。成对损失的样本对数目为正负样本数目的乘积,大量成对损失较小的正负样本对影响了分类器的性能。针对这一问题,提出了一种加权的成对损失函数WPLoss,通过赋予成对损失较大的正负样本对更高的损失权重,减少大量成对损失较小的正负样本对的影响,进而提升分类器的性能。在20newsgroup和Reuters-21578数据集上的实验结果验证了WPLoss的有效性,表明WPLoss能够提升面向不平衡数据的分类器性能。     

应用于不平衡多分类问题的损失平衡函数

传统分类算法一般要求数据集类别分布平衡,然而在实际情况中往往面临的是不平衡的类别分布。目前存在的数据层面和模型层面算法试图从不同角度解决该问题,但面临着参数选择以及重复采样产生的额外计算等问题。针对此问题,提出了一种在小批量内样本损失自适应均衡化的方法。该算法采用了一种动态学习损失函数的方式,根据小批量内样本标签信息调整各样本损失权重,从而实现在小批量内各类别样本总损失的平衡性。通过在caltech101和ILSVRC2014数据集上的实验表明,该算法能够有效地减少计算成本并提高分类精度,且一定程度上避免了过采样方法所带来的模型过拟合风险。     

加权边缘损失函数的代价敏感支持向量机

已有的非平衡数据分类算法主要采取直接对损失函数进行加权的方法。文中提出一种加权边缘的hinge损失函数并证明它的贝叶斯一致性,得到加权边缘支持向量机算法(WMSVM),并给出类似于SMO的求解方法。实验结果表明WMSVM在一些数据库上是有效的,从而从理论和实验上说明基于加权边缘的损失函数方法是已有代价敏感方法的一种较好补充。     

基于梯度引导加权-延迟负梯度衰减损失的长尾图像缺陷检测

针对目前图像缺陷检测模型对长尾缺陷数据集中尾部类检测效果较差的问题,提出一个基于梯度引导加权-延迟负梯度衰减损失（GGW-DND Loss）。首先,根据检测器分类节点的累积梯度比值分别对正负梯度重新加权,减轻尾部类分类器的受抑制状态;其次,当模型优化到一定阶段时,直接降低每个节点产生的负梯度,以增强尾部类分类器的泛化能力。实验结果表明,在自制图像缺陷数据集和NEU-DET(NEU surface defect database for Defect Detection Task)上,所提损失的尾部类平均精度均值（mAP）优于二分类交叉熵损失（BCE Loss）,分别提高了32.02和7.40个百分点;与EQL v2(EQualization Loss v2)相比,分别提高了2.20和0.82个百分点,验证了所提损失能有效提升网络对尾部类的检测性能。     

基于动态加权类别平衡损失的多类别口罩佩戴检测

公共场合佩戴口罩已经成为重要的防疫措施。现有口罩检测方法通常只检测是否佩戴口罩,忽略检测未规范佩戴口罩这一极易发生交叉感染的场景,目前的口罩数据集缺少未规范佩戴口罩数据。针对以上问题,在现有口罩数据集的基础上,通过线下采集和从互联网收集更多未规范佩戴口罩图像,并根据佩戴口罩的人脸图像特点,改进 Mosaic 数据增强算法扩充数据,改进后 Mosaic 数据增强算法能够将基准网络 YOLOv4的平均精度均值(mAP)提升 2.08%;针对扩增后数据集出现的类别不平衡问题,提出动态加权平衡损失函数,在重加权二分类交叉熵损失(weight binary cross entropy loss)基础上,以有效样本数量的倒数作为辅助类别权重,并对训练的每一个批次进行动态调整,解决直接使用重加权方法稳定性弱、检测精度震荡和效果不理想的问题。实验表明,改进后模型 mAP 达到 91.25%,未规范佩戴口罩平均精度(AP)达到 91.69%,与单阶段方法 RetinaNet,Centernet,Effcientdet 和两阶段方法 YOLOv3-MobileNetV2,YOLOv4-MobileNetV2 相比,改进后算法具有更高的检测精度和速度。     

结合Skip-gram和加权损失函数的神经网络推荐模型

针对网络推荐系统中传统的协同过滤技术在实际应用中存在数据稀疏、导致准确率低、推荐单一性等问题,提出一种结合Skip-gram项目嵌入和加权损失函数的深度神经网络的推荐模型DSM。采用了3层ReLU层对输出向量进行回归,在未使用附加信息的前提下提高了推荐精度;利用Skip-gram进行项目嵌入得到更稠密的表示向量,减少了计算量;并且使用加权损失函数训练深度神经网络的参数,平衡了推荐项目的受欢迎程度,保证了新颖性。在APP数据集和Last.fm数据集的实验结果表明,DSM模型在推荐应用程序和歌曲时,准确性和多样性方面相比现有方法均有一定的提高。     

自适应聚焦损失的图像目标检测算法

现代目标检测算法仍然存在由现有目标检测架构引起的正负样本不平衡和训练数据引起的难易样本不平衡。现有方法一般采用基于类别频率的重采样或基于类别预测概率的重新加权,虽然减轻了类别的不平衡问题,但是引入了新的超参数,为每个训练任务需要进行大量的手动调整超参数。为此在现有Focal Loss损失函数基础上提出了一个新的损失函数自适应聚焦损失（Adaptive Focal Loss）,使模型聚焦于对训练过程贡献更大的困难样本,并且可自适应地调整超参数。根据训练过程中每批图像标签中的正负样本数量计算出自适应的加权因子来实现对正负样本的动态平衡。根据训练过程中不同阶段各类真实标签的期望概率计算出自适应的调制因子来自适应地平衡难易样本。为验证方法的有效性,在PASCAL VOC2007测试数据集中平均精度均值达到80.75%,相比较于原算法提高了3.45个百分点。在PASCAL VOC2012测试数据集中平均精度均值达到77.17%,相比较于原算法提高了1.87个百分点。实验结果表明,把Adaptive Focal Loss作为网络的损失函数,相比于原始的Focal Loss损失函数检测精度有所提升,并具有较大的实用价值。     

基于改进损失函数的YOLOv3网络

为了提高卷积神经网络在目标检测的精度,本文提出了一种基于改进损失函数的YOLOv3网络.该网络模型应用一种新的损失函数Tan-Squared Error （TSE）,将原有的平方和损失（Sum Squared Error,SSE）函数进行转化,能更好地计算连续变量的损失;TSE能有效减低Sigmoid函数梯度消失的影响,使模型收敛更加快速.在VOC数据集上的实验结果表明,与原网络模型的表现相比,利用TSE有效提高了检测精度,且收敛更加快速.     

基于加权分类损失和核范数的领域自适应模型

领域自适应将源域上学习到的知识迁移到目标域上,使得在带标签数据少的情况下也可以有效地训练模型。采用伪标签的领域自适应模型未考虑错误伪标签的影响,并且在决策边界处样本的分类准确率较低,针对上述问题提出了基于加权分类损失和核范数的领域自适应模型。该模型使用带有伪标签的可信样本特征与带有真实标签的源域样本特征构建辅助域,在辅助域上设计加权分类损失函数,降低错误伪标签在训练过程中产生的影响;加入批量核范数最大化损失,提高决策边界处样本的分类准确率。在Office31、Office-Home、Image-CLEFDA基准数据集上与之前模型的对比实验表明,该模型有更高的精确度。     

一种基于局部加权回归的分类方法

分类是数据挖掘和数据分析中最有应用价值的技术之一。传统的积极学习方法需要预先对模型空间进行假设,并且没有充分考虑到实例之间的相关性,其泛化能力将会受到一定程度的影响。针对上述问题,提出了一种基于新型映射关系的局部加权回归方法 MLWR。该算法首先找出测试样本在训练集中的近邻样本,然后建立测试样本和近邻样本的回归函数,根据建立的回归模型和近邻样本的标签,计算得到测试样本的标签。实验与当前流行的多种分类方法在UCI的9个数据集上进行测试。实验结果表明我们的方法能有效地提高分类精度,对较大样本数据也有较好的适用性。     

基于图模型与加权损失策略的视频行人重识别研究

针对监控视频中行人外观、姿态相似等现象导致的视频行人重识别准确率低的问题进行了研究,提出了一种基于图模型的视频行人重识别方法,有效利用了视频中的时序信息,实现跨帧及帧内区域的信息交互。具体来说,利用跨帧分块区域间的关联信息建立区域节点间的固有关系,并进行特征传播迭代更新区域信息。另一方面,在度量学习过程中,提出了一种加权损失函数策略,这个方法将先前挖掘策略中的二进制分配法(即丢弃或保留该样本)优化为连续分数分配法,解决了可用样本未被有效利用的问题。将模型在MARS和DukeMTMC-VideoReID两个数据集上进行了评估,实验结果证实了提出方法的有效性。     

基于特征加权距离的双指数模糊子空间聚类算法

传统的模糊聚类算法(FCM)使用欧氏距离计算数据点之间的差异时,对于高维数据集聚类效果不够理想.对此,以FCM算法的目标函数为基础,用特征加权距离代替传统的欧氏距离,同时向约束条件中引入指数γ和β,提出了一种基于特征加权距离的双指数模糊子空间聚类算法,并讨论了该算法的收敛性.实验表明,所提出算法可以有效提取高维数据集各类别的相关特征,在真实数据集上有较好的聚类效果.     

新的基于代价敏感集成学习的非平衡数据集分类方法NIBoost

现实生活中存在大量的非平衡数据,大多数传统的分类算法假定类分布平衡或者样本的错分代价相同,因此在对这些非平衡数据进行分类时会出现少数类样本错分的问题。针对上述问题,在代价敏感的理论基础上,提出了一种新的基于代价敏感集成学习的非平衡数据分类算法--NIBoost（New Imbalanced Boost）。首先,在每次迭代过程中利用过采样算法新增一定数目的少数类样本来对数据集进行平衡,在该新数据集上训练分类器;其次,使用该分类器对数据集进行分类,并得到各样本的预测类标及该分类器的分类错误率;最后,根据分类错误率和预测的类标计算该分类器的权重系数及各样本新的权重。实验采用决策树、朴素贝叶斯作为弱分类器算法,在UCI数据集上的实验结果表明,当以决策树作为基分类器时,与RareBoost算法相比,F-value最高提高了5.91个百分点、G-mean最高提高了7.44个百分点、AUC最高提高了4.38个百分点;故该新算法在处理非平衡数据分类问题上具有一定的优势。     

面向不平衡数据集的改进型SMOTE算法

针对SMOTE（synthetic minority over-sampling technique）在合成少数类新样本时存在的不足,提出了一种改进的SMOTE算法GA-SMOTE。该算法的关键将是遗传算法中的3个基本算子引入到SMOTE中,利用选择算子实现对少数类样本有区别的选择,使用交叉、变异算子实现对合成样本质量的控制.结合GA-SMOTE与SVM（support vector machine）算法来处理不平衡数据的分类问题.UCI数据集上的大量实验表明,GA-SMOTE在新样本的整体合成效果上表现出色,有效提高了SVM在不平衡数据集上的分类性能。     

融合密集连接与自适应加权损失的血管壁图像分割

针对传统深度神经网络在对血管壁图像分割中难以提取具有针对性有效特征的问题,提出一种融合密度连接与自适应加权损失的血管壁图像分割方法。首先通过构建密集连接的分割网络学习更多的边界和轮廓表征以促进特征复用融合;然后设计了改进的自适应加权损失和边界紧凑性损失约束训练网络,利用自适应加权损失自动调整不同区域分割产生的损失比例来引导网络向最佳方向学习,同时引入边界紧凑性损失约束以充分利用边界信息,提升对血管壁图像的分割精度;最后对包含2 544张MRI的MERGE血管壁数据集进行了验证实验。结果表明,提出的改进方法能够有效提取血管壁图像的特征信息,在管腔和外壁轮廓分割中的Dice分别达到了93.65%和95.81%,设计的消融实验也充分证明了所提各个模块和网络的有效性,能够更好地实现高精度的图像分割。