基于多通道分离整合的多尺度单幅图像去雨算法

由于密度不同的雨对图像造成的遮挡不同,图像去雨一直都是一项极具挑战性的任务。目前,基于深度学习的图像去雨算法已经成为主流。然而,多数深度学习的架构都是通过堆叠卷积层来设计的,执行去雨任务后图像仍存在着大小不一的雨痕,这些方法并不能很好地关注训练中雨图的局部信息和上下文信息。为了解决上述问题,本文设计一种基于多通道分离整合的卷积神经网络用于图像去雨。第一步通过通道分离,再利用卷积层间的层级连接,构成多尺度模块,最终将不同通道的输出进行整合。该模块可以增大感受野,探索特征图之间的空间信息,更好地提取特征。第二步利用渐进网络来反复计算挖掘上下文信息,能够很好关联到全局特征。整体模型易于实施,可以端对端训练。在常用的数据集以及自建的自动驾驶雨天数据集上的大量实验表明,本文方法比现有方法取得了明显的改进。     

NOMA-VLC系统中最大化总和速率功率分配方法

非正交多址接入(Non-Orthogonal Multiple Access, NOMA)被认为是提高无线通信系统频谱效率的一种很有前途的技术。文中将NOMA技术应用于可见光通信(Visible Light Communication, VLC)中，提出了一种基于深度Q网络(Deep Q Network, DQN)强化学习算法的功率分配方案来解决可见光通信系统最大化总和速率优化问题，该方案充分考虑了用户的信道条件，能够提升系统总和速率，可为VLC系统的功率分配问题提供新的思路。仿真结果表明，所提算法比Q学习功率分配算法、增益比功率分配算法、随机功率分配算法拥有更高的总和速率，在用户数小于11的范围内，总和速率平均分别提升了6.28%、12.20%、51.36%。     

基于卷积与稀疏编码的半监督学习方法

卷积神经网络(CNN)在半监督学习中取得了良好的成绩,其在训练阶段既利用有标记样本,也利用无标记样本帮助规范化学习模型。为进一步加强半监督模型的特征学习能力,提高其在图像分类时的性能表现,本文提出一种联合深度半监督卷积神经网络和字典学习的端到端半监督学习方法,称为Semi-supervised Learning based on Sparse Coding and Convolution(SSSConv);该算法框架旨在学习到鉴别性更强的图像特征表示。SSSConv首先利用CNN提取特征,并对所提取特征进行正交投影变换,下一步通过学习其稀疏编码的低维嵌入以得到图像的特征表示,最后据此进行分类。整个模型框架可进行端到端的半监督学习训练,CNN提取特征部分和稀疏编码字典学习部分具有统一的损失函数,目标一致。本文利用共轭梯度下降算法、链式法则和反向传播等算法对目标函数的参数进行优化,将稀疏编码的相关参数约束于流形上,CNN参数既可定义在欧氏空间,也可以进一步定义在正交空间中。基于半监督分类任务的实验结果验证了所提出SSSConv框架的有效性,与现有方法相比具有较强的竞争力。     

基于字典学习的非线性降维方法

目前,众多的数据降维（Dimensionality reduction, DR）方法（如经典的PCA（Principle component analysis）, ISOMAP（Isometric mapping））能够使降维后的数据保留原始信号的重要特征,但是从降维后的数据中很好地恢复出原始信号仍旧是一个挑战.近年来,稀疏表示（Sparse representation, SR）在信号重构研究中受到广泛关注,信号可以利用过完备字典中少数原子的线性组合来描述.本文提出一种基于字典学习的非线性降维方法.从高维输入信号到低维特征的降维过程中,期望一些重要的几何特征（内积、距离和夹角）得以保留,同时又能够从低维数据中恢复出原始信号.为达此目的,本文采用CDL（Concentrated dictionary learning）算法训练一个字典对（高维字典D和低维字典P）,使高维原始信号的能量能够聚集于低维子空间中.字典D用来获取稀疏表示系数,字典P是D的直接降维采样,CDL算法能够保证P聚集D中的大部分能量.这样,信号的降维与恢复问题就转变为字典对的训练问题,信号的降维即为从D到P的能量保留过程.实验表明:CDL可在RIP（Restricted isomery property）条件的限制之外具有一定的信号重建能力,能在更低的维度条件下恢复图像,优于传统的压缩感知方法.此外,在噪声较大的情况下,CDL图像压缩效果优于JPEG2000.     

尺度不变的条件数约束的模型鲁棒性增强算法

深度神经网络容易受到对抗样本的攻击,这一直威胁着其在安全关键的场景中的应用。基于对抗样本是由神经网络的高度线性行为产生的这一解释,提出了一种基于尺度不变的条件数约束的模型鲁棒性增强算法。在对抗训练过程中利用权重矩阵计算其范数,并通过对数函数获得尺度不变的约束项。将尺度不变的条件数约束项纳入到对抗训练优化的外层框架中,经过反向传播迭代降低权重矩阵的条件数值,从而在良态的高维权重空间中进行神经网络的线性变换,以提高防御对抗扰动的鲁棒性。该算法适用于卷积和Transformer两种架构的视觉模型,不仅在防御PGD、AutoAttack等白盒攻击时可以显著提高鲁棒精度,在防御黑盒攻击square attack等算法时也能有效增强对抗鲁棒性。在基于Transformer架构的图像分类模型上进行对抗训练时结合所提出的约束,权重矩阵的条件数值平均下降了20.7%,防御PGD攻击时可提高1.16个百分点的鲁棒精度。与Lipschitz约束等同类方法相比,提出的算法还能提高干净样本的精度,缓解对抗训练造成的模型泛化性低的问题。     

基于可分离结构变换的轻量级Vision Transformer

由于视觉Transformer结构模型参数量大、浮点计算次数高,使得其难以部署到终端设备上。因为注意力矩阵存在低秩瓶颈,所以模型压缩算法和注意力机制加速算法不能很好地平衡模型参数量、模型推理速度和模型性能之间的关系。为了解决上述问题,本文设计一种轻量级的Vi T-SST模型用于图像分类任务。首先,通过将传统全连接层转换为可分离结构,大幅度降低模型参数量且提高了模型推理速度,保证了注意力矩阵不会因出现低秩而破坏模型表达能力;其次,提出一种基于SVD分解的克罗内克积近似分解法,可以将公开的Vi T-Base模型预训练参数转换至Vi T-Base-SST模型,略微缓解了Vi T模型的过拟合现象并提高了模型精度。在常见公开图片数据集CIFAR系列和Caltech系列上的实验验证了本文方法优于对比方法。     

基于注意力的毫米波-激光雷达融合目标检测

针对自动驾驶中使用激光雷达进行目标检测时漏检被遮挡目标、远距离目标和复杂天气场景下目标的问题,提出一种基于注意力机制的毫米波-激光雷达特征融合的目标检测方法.首先,将毫米波和激光雷达各自的扫描帧数据分别聚合到它们的标注帧上,并将毫米波和激光雷达的数据点进行空间对齐;其次,对两者进行聚合和空间对齐后的数据分别进行Poin...     

改进的轻量型网络在图像识别上的应用

针对卷积神经网络在图像识别任务上模型复杂度大、参数量多,首先提出了一种轻量化的SepNet网络结构,该结构在分类器模块上采用克罗内克积替换了传统的全连接层.为进一步优化网络结构,在特征提取模块均衡网络深度、宽度,设计了一个利用深度可分离卷积和残差网络的可分离残差模块,最终形成了一个能实现端到端训练的轻量化网络架构,称为...     

大规模差异化点云数据下的联邦语义分割算法

海量点云数据的存储对自动驾驶实时3D协同感知具有重要意义,然而出于数据安全保密性的要求,部分数据拥有者不愿共享其私人的点云数据,限制了模型训练准确性的提升。联邦学习是一种注重数据隐私安全的计算范式,提出了一种基于联邦学习的方法来解决车辆协同感知场景下的大规模点云语义分割问题。融合具有点间角度信息的位置编码方式并对邻近点进行几何衍射处理以增强模型的特征提取能力,最后根据本地模型的生成质量动态调整全局模型的聚合权重,提高数据局部几何结构的保持能力。在SemanticKITTI,SemanticPOSS和Toronto3D三个数据集上进行了实验,结果表明该算法显著优于单一训练数据和基于FedAvg的方法,在充分挖掘点云数据价值的同时兼顾各方数据的隐私敏感性。