基于多通道分离整合的多尺度单幅图像去雨算法

由于密度不同的雨对图像造成的遮挡不同,图像去雨一直都是一项极具挑战性的任务。目前,基于深度学习的图像去雨算法已经成为主流。然而,多数深度学习的架构都是通过堆叠卷积层来设计的,执行去雨任务后图像仍存在着大小不一的雨痕,这些方法并不能很好地关注训练中雨图的局部信息和上下文信息。为了解决上述问题,本文设计一种基于多通道分离整合的卷积神经网络用于图像去雨。第一步通过通道分离,再利用卷积层间的层级连接,构成多尺度模块,最终将不同通道的输出进行整合。该模块可以增大感受野,探索特征图之间的空间信息,更好地提取特征。第二步利用渐进网络来反复计算挖掘上下文信息,能够很好关联到全局特征。整体模型易于实施,可以端对端训练。在常用的数据集以及自建的自动驾驶雨天数据集上的大量实验表明,本文方法比现有方法取得了明显的改进。     

尺度不变的条件数约束的模型鲁棒性增强算法

深度神经网络容易受到对抗样本的攻击,这一直威胁着其在安全关键的场景中的应用。基于对抗样本是由神经网络的高度线性行为产生的这一解释,提出了一种基于尺度不变的条件数约束的模型鲁棒性增强算法。在对抗训练过程中利用权重矩阵计算其范数,并通过对数函数获得尺度不变的约束项。将尺度不变的条件数约束项纳入到对抗训练优化的外层框架中,经过反向传播迭代降低权重矩阵的条件数值,从而在良态的高维权重空间中进行神经网络的线性变换,以提高防御对抗扰动的鲁棒性。该算法适用于卷积和Transformer两种架构的视觉模型,不仅在防御PGD、AutoAttack等白盒攻击时可以显著提高鲁棒精度,在防御黑盒攻击square attack等算法时也能有效增强对抗鲁棒性。在基于Transformer架构的图像分类模型上进行对抗训练时结合所提出的约束,权重矩阵的条件数值平均下降了20.7%,防御PGD攻击时可提高1.16个百分点的鲁棒精度。与Lipschitz约束等同类方法相比,提出的算法还能提高干净样本的精度,缓解对抗训练造成的模型泛化性低的问题。     

基于自适应聚焦CRIoU损失的目标检测算法

在目标检测任务中，传统的边界框回归损失函数所回归的内容与评价标准IoU(Intersection over Union)之间存在不相关性，并且对于边界框的回归属性存在一定不合理性，使得回归属性不完整，降低了检测精度和收敛速度，甚至还会造成回归阻碍的情况。并且在回归任务中也存在样本不均衡的情况，大量的低质量样本影响了损失收敛。为了提高检测精度和回归收敛速度提出了一种新的边界框回归损失函数。首先确定设计思想并设计IoU系列损失函数的范式；其次在IoU损失的基础上引入两中心点形成矩形的周长和两框形成的最小闭包矩形周长的比值作为边界框中心点距离惩罚项，并且将改进的IoU损失应用到非极大值抑制（Non-Maximum Suppression,NMS）处理中。接着引入两框的宽高误差和最小外包框的宽高平方作为宽高惩罚项，确定CRIoU(Complete Relativity IoU,CRIoU)损失函数。最后在CRIoU的基础上加入自适应加权因子，对高质量样本的回归损失加权，定义了自适应聚焦CRIoU(Adaptive focal CRIoU,AF-CRIoU)。实验结果表明，使用AF-CRIoU损...     

大规模差异化点云数据下的联邦语义分割算法

海量点云数据的存储对自动驾驶实时3D协同感知具有重要意义,然而出于数据安全保密性的要求,部分数据拥有者不愿共享其私人的点云数据,限制了模型训练准确性的提升。联邦学习是一种注重数据隐私安全的计算范式,提出了一种基于联邦学习的方法来解决车辆协同感知场景下的大规模点云语义分割问题。融合具有点间角度信息的位置编码方式并对邻近点进行几何衍射处理以增强模型的特征提取能力,最后根据本地模型的生成质量动态调整全局模型的聚合权重,提高数据局部几何结构的保持能力。在SemanticKITTI,SemanticPOSS和Toronto3D三个数据集上进行了实验,结果表明该算法显著优于单一训练数据和基于FedAvg的方法,在充分挖掘点云数据价值的同时兼顾各方数据的隐私敏感性。     

基于储备池计算网络的小样本图像分类方法

针对目前小样本学习方法易过拟合、跨域泛化能力不足等问题，受启发于储备池计算不依赖于训练而缓解过拟合的特性，提出了一种基于储备池计算的小样本学习方法（Reservoir Computing based Network for Few-shot Image Classification,RCFIC）。整个方法由特征提取模块、特征增强模块和分类器模块构成。特征增强模块由储备池模块和基于储备池的注意力机制构成，分别对特征提取网络的特征进行通道级增强和像素级增强，同时联合余弦分类器促使网络学习具有高类间方差、低类内方差特性的特征分布。实验结果表明，本文算法在Cifar-FS、FC100、Mini-ImageNet等数据集上的分类精度至少比现有方法高1.07%，在从Mini-ImageNet到CUB-200的跨域场景设置下的分类精度优于次优方法1.77%。同时，消融实验验证了RCFIC的有效性。所提方法泛化性强，能够有效缓解小样本图像分类中的过拟合问题并在一定程度上解决跨域问题。     

基于多级联递进卷积结构的图像去雨算法

雨天图像会影响计算机视觉任务的效果与精度。雨天图像常常包含来自不同方向、大小、形状的雨点或雨痕，在对这些雨点、雨痕进行去除时，现有的方法往往没有考虑到雨天图像不同精细尺度下的特征信息，仅采用单一尺度进行图像去雨存在很大缺陷，无法恢复出足够清晰的视觉任务图像。受益于卷积神经网络架构的强大特征提取能力，本文提出了一种端到端的多级联递进卷积结构算子，该算子包含4层卷积层，通过阶梯化连接构成一个整体模块，该模块可以针对多尺度场景下的雨天进行特征提取并整合。将该算子模块嵌入到渐进循环网络结构中，利用循环结构多次去除雨纹，最终有效还原出接近真实图像的无雨图像。该方法在现有的人工合成雨图数据集Rain100H、Rain100L、Rain800与自动驾驶领域合成雨图数据集BDD1000上进行了对比实验。实验结果表明，该算法在4个数据集上的PSNR值达到了30.70,37.91,27.63,35.74 dB,SSIM值达到了0.914,0.980,0.894,0.977。通过真实雨图数据集去雨结果的可视化展示，充分验证了本文方法在去雨任务上的有效性。     

面向多姿态点云目标的在线类增量学习

针对目前增量学习中所面向目标都是固定姿态这一现象，本文考虑了更严格的设定，即面向多姿态目标的在线类增量学习，并提出了无视姿态重放方法来缓解在线类增量学习中面对多姿态目标时的灾难性遗忘。首先，将2D/3D目标进行点云化处理，以方便提取目标的有效几何信息；其次，基于SE(d)(d=2,3)群对网络进行平移旋转等变性改进，使网络能够提取更丰富的几何信息，从而降低模型在每个任务中受目标姿态的影响；最后，根据损失变化采样特定样本用于重放来缓解灾难性遗忘。实验结果表明，在面对固定姿态目标MNIST、CIFAR-10时，本文方法的最终平均精度分别达到了88%和42.6%，与对比方法结果相近，但最终平均遗忘率明显优于对比方法，分别降低了约3%和15%。在面对多姿态目标RotMNIST、trCIFAR-10时，本文方法依旧能很好地保持在固定姿态目标中的表现，基本不受目标姿态的影响。此外，在3D数据集ModelNet40中的表现也依旧稳定。本文所提方法在在线类增量学习中能够不受目标姿态的影响，同时能缓解灾难性遗忘，具有很好的稳定性和可塑性。     

基于卷积稀疏编码与生成对抗网络的图像超分辨率重建

针对现有图像超分辨率重建算法的重建图像仍存在高频信息缺失、噪点增多问题，本文提出了一种基于卷积稀疏编码与生成对抗网络的图像超分辨率重建模型。首先，利用卷积网络实现稀疏编码并获取图像稀疏表示，充分利用图像的先验信息，有效避免重建图像高频信息缺失和噪点增多的问题；在得到低分辨率图像的稀疏表示后，通过重建模块对稀疏表示进行重建得到超分辨率图像；随后，鉴别器对重建图像进行鉴别，缓解由PSNR主导的算法导致重建图像趋于平滑的问题。在不断对抗训练后，最后的重建图像具有更好的视觉效果。本文在Set5、Set14、BSD100和Urban100通用测试数据集上进行2倍和4倍的超分辨率重建实验，并与Bicubic、SRGAN、EDSR和ESRGAN对比。与ESRGAN方法相比，本文模型在4个数据集上平均PSNR提升约0.702 8 dB，平均SSIM提升约0.047，平均LPIPS提升了0.016。实验结果表明，所提出的模型具有较强的竞争力，能够恢复更多的细纹理细节且具有更好的清晰度。     

基于脑启发的类增量学习

现有的类增量学习方法多是采用存储数据或者扩展网络结构,但受内存资源限制不能有效缓解灾难性遗忘问题。针对这一问题,创新地提出基于脑启发生成式重放方法。首先,通过VAE-ACGAN模拟记忆自组织系统,提高生成伪样本的质量;再引入共享参数模块和私有参数模块,保护已提取的特征;最后,针对生成器中的潜在变量使用高斯混合模型,采样特定重放伪样本。在MNIST、Permuted MNIST和CIFAR-10数据集上的实验结果表明,所提方法的分类准确率分别为92.91%、91.44%和40.58%,显著优于其他类增量学习方法。此外,在MNIST数据集上,反向迁移和正向迁移指标达到了3.32%和0.83%,证明该方法实现任务的稳定性和可塑性之间的权衡,有效地防止了灾难性遗忘。