多模态硬币图像单应性矩阵预测

对不同成像条件下拍摄的硬币图像进行配准是硬币表面缺陷算法的前置任务。然而,基于互信息的传统多模态配准方法速度慢、精度低,现有的通过基于深度学习的单应性矩阵预测方法实现的图像配准只适用于单模态的任务。为此,提出一种基于深度学习的适用于多模态硬币图像的单应性矩阵预测方法,进而使用预测的单应性矩阵完成图像配准。首先,使用单应性矩阵预测层预测输入图像对间的单应性矩阵,使用单应性矩阵对待配准图像进行透视变换;然后,使用图像转换层将透视变换后的待配准图像和目标图像映射到同一域,图像转换层可在推理时去除从而减少推理时间;最后,计算同一域下的图像间的损失,并进行训练。实验表明,该方法在测试集上的平均距离误差为 3.417 像素,相较于基于互信息的传统多模态配准方法 5.575 像素的平均距离误差降低 38.71%。且配准单对图像耗时为 17.74 ms,远低于基于互信息的传统多模态配准方法的 6 368.49 ms。     

基于可变形卷积和自适应空间特征融合的硬币表面缺陷检测算法

针对硬币表面缺陷较小、形状多变且易与背景混淆而不易检出的问题,改进YOLOv3算法并提出基于可变形卷积和自适应空间特征融合的硬币表面缺陷检测算法DCA-YOLO.首先,由于缺陷形状的多变设计了3种在主干网络中不同位置添加可变形卷积模块的网络结构,通过卷积学习偏移量和调节参数来提高缺陷的提取能力;然后,使用自适应空间特征...     

工业场景下基于秩信息对YOLOv4的剪枝

在工业场景无线射频识别（RFID）实时缺陷检测任务中,为了保证检测精度以及速度常采用YOLO这类深度学习目标检测算法,然而这些算法仍然难以满足工业检测中的速度要求,且无法将相应的网络模型部署到资源受限的设备上。针对以上问题,需要对YOLO模型进行剪枝压缩,提出了一种基于秩信息的特征信息丰富性和特征信息多样性加权融合的新型网络剪枝方法。首先,加载未剪枝模型进行推理,并在前向传播中获取滤波器对应特征图的秩信息来衡量特征信息丰富性;然后,根据不同大小的剪枝率对秩信息进行聚类或者相似度计算来衡量特征信息的多样性;最后,加权融合得到对应滤波器的重要性程度并对其进行排序后,剪除重要性排序靠后的滤波器。实验结果表明,对于YOLOv4,在剪枝率为28.87%且特征信息丰富性权重为0.75的情况下,所提方法相较于单一使用特征图秩信息的方法提高了2.6%~8.9%的平均精度均值（mAP）,所提方法剪枝后的模型甚至相较于未剪枝模型提高了0.4%的mAP并减少了35.0%的模型参数,表明该方法有利于模型部署。     

基于RandLA-Net的3D点云牙颌分割与身份识别

针对PointNet局部特征聚合不充分、保存模型较大、识别精度有待提升等问题,在三维（3D）点云牙颌身份的识别任务中,采用RandLA-Net的编码结构作为主干网络;在分割任务中采用原始RandLA-Net作为主干网络。针对RandLA-Net特征聚合模块聚合单一的问题,在识别任务中采用基于偏移注意力（OA）的特征聚合模块,在分割任务中增添了基于点云的Transformer block模块,相较于RandLA-Net的原始网络,新的网络模块能够更好地聚合局部特征。为了达到大规模开集数据集的身份再识别目的,将分类的交叉熵损失函数替换成了三元组损失函数。针对训练牙颌样本数据较少的问题,采用生成虚拟正样本的方式极大地拓展了数据集。实验结果表明：在识别任务中,相较于原始的RandLA-Net主干网络,识别任务的top-1平均精度提升了3.13个百分点;在分割任务中网络平均精度相较于原始RandLA-Net提升了3.06个百分点,平均交并比（MIoU）提升了6.05个百分点。