DS-YOLO网络在遥感图像中的飞机检测算法研究

为了解决传统特征提取方法在遥感图像中飞机检测准确率和实时性不足的问题,基于YOLOv3-tiny网络在准确率提升方面提出两点改进。改进点一：将网络提取图像特征点的方式改进为分组卷积,即将一幅图像分成三个通道进行卷积操作,配合通道特征变换以加强各通道之间的语义关联;改进点二：将网络深层特征增加一个尺度检测,并进行上采样与浅层特征图进行融合预测。在速度提升方面引入深度可分离卷积代替传统卷积以降低参数计算量,达到模型轻量化。根据改进后的网络提出一种包含33个卷积层的改进型卷积神经网络DS-YOLO,对改进前后网络分别在自制遥感飞机图像上进行训练,选出最优的权重,用来对目标小、曝光度高、背景干扰等低质量测试集进行测试分析。实验结果表明,改进后的算法在测试集上精准度提升了14.1%,召回率提升了16.8%,检测低质量遥感飞机图像效果更佳。     

基于残差边卷积的3D点云分类算法

3D点云的不规则性与无序性使点云的分类仍具有挑战性.针对上述问题,文中设计基于残差边卷积的3D点云分类算法,可直接从点云学习到具有区分度的形状描述子,用于目标分类.首先,设计具有残差学习的边卷积模块,用于点云的特征提取.通过K近邻算法,该边卷积模块在输入点云上构建局部图,使用卷积及最大池化进行局部特征的提取与聚合.然后,通过多层感知器从原始点特征中提取全局特征,并以残差学习的方式与局部特征结合.最后,以该卷积块为基本单元,构建深度神经卷积网络,实现3D点云的分类.文中方法较全面地考虑点云局部特征与全局特征的有机结合,网络具有更深层次的结构,最终得到的形状描述子更抽象,具有更高的区分度.在具有挑战性的ModelNet40、ScanObjectNN数据集上的实验证实文中方法的分类性能较优.     

深度卷积特征在素描作品分类与评价中的应用

以素描教学过程中的临摹作品作为研究对象,将深度卷积特征应用于素描作品的分类与评价中.首先测试深度卷积特征在素描作品分类中的效果,同时将素描作品评价问题转换为基于作品的构图、形准、质感、画面整体黑白灰等图像高阶语义特征的细分类问题(优、良、中、差);然后提出双线性卷积模型,以较好地解决图像细分类问题;最后使用Tensor Sketch投影算法将双线性深度卷积特征进行压缩,并采用端到端的训练进行模型微调.实验结果表明,在素描作品分类任务中,深度卷积特征明显优于传统手工特征(如直方图特征、纹理特征和SIFT特征);在素描作品评价中,压缩的双线性深度卷积特征能在较低维度上达到相似的评价效果.     

基于一维卷积神经网络的恶意代码家族多分类方法研究

为了提取有效的恶意代码特征,提高恶意代码家族多分类的准确率,提出一种改进模型.该模型将恶意代码的特征映射为灰度图,使用改进的恶意样本图像缩放算法进行图像的规范化处理,基于VGG模型构建一维卷积神经网络分类模型ID-CNN-IMIR.实验结果表明,恶意代码特征的提取和处理提升了分类效果;对比经典的机器学习算法、二维卷积神经网络、其他基于深度学习的恶意代码分类模型,ID-CNN-IMIR分类准确率是最好的,达到98.94％.     

改进残差神经网络的图像去雾算法

针对图像去雾算法中存在因介质透射率估计不准确而造成色彩失真、去雾不完全的问题,提出了一种改进残差神经网络的图像去雾算法.首先采用并行多尺度卷积层提取雾图像特征.然后通过引入了深度可分离卷积层的残差网络学习介质透射率,并利用加权引导滤波细化介质透射率.最后根据大气散射模型反演得到无雾清晰图像.实验结果表明,该算法与其他去雾算法相比在峰值信噪比(peak signal to noise ratio, PSNR)和结构相似度(structural similarity, SSIM)指标上取得了一定的提高,并且去雾图像在主观视觉上也取得了较好表现.     

图像深度层次特征提取算法*

完成众多视觉任务的关键是提取具有较强表达能力的图像特征,传统的图像特征仅描述图像某一方面的信息,表达能力受到很大限制.文中基于卷积神经网络提出图像深度层次特征（DHF）提取算法,通过对图像的层层抽象表达,可以有效挖掘隐藏在图像内部的本质信息.首先基于卷积神经网络产生图像特征图,选取卷积输出层的特征图构建图像阶层结构.然后基于匹配实验选择最佳的层级组合,采用信息熵描述低层级特征图,采用区域平均的方法描述高层级特征图,最终构建具有较强表达能力的DHF特征.实验表明,相比已有特征,DHF特征优势明显,可以高效准确地完成图像匹配任务.     

基于联合动态剪枝的深度神经网络压缩算法

作为模型压缩的一个分支,网络剪枝算法通过移除深度神经网络中不重要的参数来降低计算消耗;然而,永久性的剪枝会导致模型容量不可逆转的损失。针对该问题,提出了一种联合动态剪枝的算法来综合分析卷积核与输入图像的特征。一方面,将部分卷积核置零,并允许其在训练过程中更新,直到网络收敛之后再永久性移除被置零的卷积核。另一方面,采样输入图像的特征,然后利用通道重要性预测网络对这些特征进行分析,从而确定卷积运算中可以跳过的通道。基于M-CifarNet与VGG16的实验结果表明,联合动态剪枝分别取得了2.11和1.99的浮点运算压缩比,而与基准模型（M-CifarNet、VGG16）相比准确率仅分别下降不到0.8个百分点和1.2个百分点。相较于现有的网络剪枝算法,联合动态剪枝有效地减少了模型的浮点运算次数（FLOPs）以及参数规模,在同样的压缩比下获得了更高的准确率。     

基于YOLOv3与注意力机制的桥梁表面裂痕检测算法

为了实现桥梁表面裂痕的快速准确检测和及时修复,在目标检测网络YOLOv3的基础上,结合深度可分离卷积与注意力机制,提出实时检测桥梁表面裂痕的轻量级目标检测网络.使用深度可分离卷积操作替换YOLOv3的标准卷积操作,达到降低网络参数量的目的.同时为了解决深度可分离卷积操作带来的网络精度下降的问题,引入MobileNet v2的反转残差块.卷积块注意力模块同时关注图像的通道注意力和空间注意力,较好地进行特征的自适应学习.实验表明,文中算法可实现对桥梁表面裂痕的实时检测.相比YOLOv3,具有更高的检测精度和检测速度.     

基于MobileNet的多目标跟踪深度学习算法

针对深度学习算法在多目标跟踪中的实时性问题,提出一种基于MobileNet的多目标跟踪算法.借助于MobileNet深度可分离卷积能够对深度网络模型进行压缩的原理,将YOLOv3主干网络替换为MobileNet,通过将标准卷积分解为深度卷积和逐点卷积,保留多尺度预测部分,以有效减少参数量.对于检测得到的边框信息,利用Deep-SORT算法进行跟踪.实验结果表明,所提出方法在跟踪效果基本不变的情况下可提升处理速度近50%.     

一种改进AKAZE特征和RANSAC的图像拼接算法

针对传统图像描述方法在图像对变化复杂时特征点配准精度低,且传统RANSAC算法计算稳定性差的问题,提出一种结合改进AKAZE特征与RANSAC算法的图像拼接算法.利用AKAZE算法构造非线性尺度空间提取图像特征点,采用卷积神经网络描述符生成128维特征向量描述图像特征点,通过精简特征点并在迭代中设定嵌套阈值改进RANS...     

基于深度学习SuperGlue的枪弹痕迹自动识别方法

为实现枪弹痕迹自动匹配的准确性,提出了将基于深度学习的SuperPoint特征提取和SuperGlue匹配算法引入枪弹痕迹自动识别研究。通过SuperPoint网络提取弹痕图像特征点位置与描述子向量;研究了SuperGlue的匹配机制,包括注意力机制的图神经网络(GNN)及优化匹配层,将提取的弹底窝痕迹的特征点和描述子使用SuperGlue算法进行匹配。实验表明SuperPoint特征通过SuperGlue匹配,相较于机器学习算法实现了更高的匹配准确度,正确匹配数量提高,为枪支鉴定增加科学性。     

基于深度可分离卷积和宽残差网络的医学影像超分辨率重建

为提高医学影像超分辨率的重建质量,提出了一种基于深度可分离卷积的宽残差超分辨率神经网络算法。首先,利用深度可分离卷积改进网络的残差块,扩宽残差块中卷积层的通道,将更多的特征信息传入了激活函数,使得网络中浅层低级图像特征更容易地传播到高层,提高了医学影像超分辨率的重建质量;然后,采用组归一化的方法训练网络,将卷积层的通道维度划分为组,在每个组内计算归一化的均值和方差,使得网络训练过程更快地收敛,解决了深度可分离卷积扩宽通道数导致网络训练难度增加的问题,同时网络表现出更好的性能。实验结果表明,对比传统的最近邻插值、双三次插值超分辨率算法,以及基于稀疏表达的超分辨率算法,所提算法重建出的医学影像纹理细节更加丰富、视觉效果更加逼真。对比基于卷积神经网络的超分辨率算法,基于宽残差超分辨率神经网络算法和生成对抗网络超分辨率算法,所提算法在峰值信噪比（PSNR）和结构相似性（SSIM）上有显著的提升。     

基于深度可分卷积神经网络的实时人脸表情和性别分类

针对目前普通卷积神经网络（CNN）在表情和性别识别任务中出现的训练过程复杂、耗时过长、实时性差等问题,提出一种深度可分卷积神经网络的实时人脸表情和性别识别模型。首先,利用多任务级联卷积网络（MTCNN）对不同尺度输入图像进行人脸检测,并利用核相关滤波（KCF）对检测到的人脸位置进行跟踪进而提高检测速度。然后,设置不同尺度卷积核的瓶颈层,用通道合并的特征融合方式形成核卷积单元,以具有残差块和可分卷积单元的深度可分卷积神经网络提取多样化特征,并减少参数数量,轻量化模型结构;使用实时启用的反向传播可视化来揭示权重动态的变化并评估了学习的特征。最后,将表情识别和性别识别两个网络并联融合,实现表情和性别的实时识别。实验结果表明,所提出的网络模型在FER-2013数据集上取得73.8%的识别率,在CK+数据集上的识别率达到96%,在IMDB数据集中性别分类的准确率达到96%;模型的整体处理帧率达到80 frame/s,与结合支持向量机的全连接卷积神经网络方法所得结果相比,有着1.5倍的提升。因此针对数量、分辨率、大小等差异较大的数据集,该网络模型检测快,训练时间短,特征提取简单,具有较高的识别率和实时性。     

L-UNet：轻量化云遮挡道路提取网络

目的 道路提取是常见的遥感应用之一。现有的基于深度卷积网络的道路提取方法往往未考虑云遮挡给道路提取带来的影响，且提取网络模型较大，不利于在移动端部署，同时缺乏用于云遮挡场景下的道路提取数据集。对此，本文提出一种轻量化的UNet网络（lightweight UNet，L-UNet），高效地实现云遮挡下的道路提取。方法 通过柏林噪声模拟云层以扩展现有道路提取数据集，进而训练L-UNet。使用移动翻转瓶颈卷积模块作为特征提取的主要结构，在深度可分离卷积的基础上加入扩展卷积和压缩激励模块，在减少参数量的同时大幅提升了分割效果。结果 在DeepGlobe道路提取扩展数据集的测试中，与D-LinkNet相比，L-UNet的交并比（intersection over union，IoU）提升了1.97%，而参数量仅为D-LinkNet的1/5。在真实云遮挡遥感图像道路提取测试中，L-UNet的性能仍然最优，与D-LinkNet和UNet相比，IoU值分别提高19.47%和31.87%。结论 L-UNet网络具有一定的云遮挡区域下道路标签生成能力，虽然在模拟云遮挡数据集下训练得到，但对于真实云遮挡仍具有较强的鲁棒性。L-UNet模型参数量很小，易于嵌入移动端。     

室内服务机器人的实时场景分割算法

室内场景下的实时场景分割是开发室内服务机器人的一项关键技术,目前关于语义分割的研究已经取得了重大进展,但是多数方法都倾向于设计复杂的网络结构或者高计算成本的模型来提高精度指标,而忽略了实际的部署成本。针对移动机器人算力成本有限的问题,设计一种轻量化的瓶颈结构,并以此为基本元素构建轻量化场景分割网络。该网络通过与特征提取网络级联获得更深层次的语义特征,并且融合浅层特征与深层语义特征获得更丰富的图像特征,其结合深度可分离卷积与多尺度膨胀卷积提取多尺度图像特征,减少了模型的参数量与计算量,同时利用通道注意力机制提升特征加权时的网络分割精度。以512像素×512像素的图像作为输入进行实验,结果表明,该算法在NYUDv2室内场景分割数据集和CamVid数据集上的MIoU分别达到72.7%和59.9%,模型计算力为4.2 GFLOPs,但参数量仅为8.3 Mb,在移动机器人NVIDIA Jetson XavierNX嵌入式平台帧率可达到42 frame/s,其实时性优于DeepLabV3+、PSPNet、SegNet和UNet算法。     

基于改进YOLOv5的轻量化航空目标检测方法

为解决硬件平台资源受限条件下的实时航空目标检测需求,在基于改进YOLOv5的基础上,提出了一种针对移动端设备/边缘计算的轻量化航空目标检测方法。首先以MobileNetv3为基础搭建特征提取网络,设计通道注意力增强结构MNtECA (MobileNetv3 with Efficient Channel Attention)提高特征提取能力;其次在深度可分离卷积层增加1×1的卷积,在减少卷积结构参数的同时提高网络的拟合能力;最后对检测网络进行迭代通道剪枝实现模型压缩和加速。实验选取DIOR (Object Detection in Optical Remote Sensing Images)数据集进行训练和测试,并在嵌入式平台(NVIDIA Jetson Xavier NX)对轻量级模型进行推理验证。结果表明,所提出的轻量级模型大幅降低了参数和计算量,同时具有较高精度,实现了移动端设备/边缘计算的实时航空目标检测。     

面向轻量级卷积网络的激活函数与压缩模型

因卷积神经网络参数膨胀,导致模型训练时占用大量的计算资源和存储资源,从而限制其在边缘终端上的应用。依据深度可分离卷积模型MobileNet V1的设计思路,结合自门控函数和ReLU函数的特点,构建一种改进的激活函数和压缩神经网络模型MobileNet-rhs。将ReLU函数和swish函数分别作为分段线性函数,设计激活函数ReLU-h-swish,通过优化卷积单元结构,解决模型训练过程中难以激活部分神经元的问题,以减少特征信息丢失。构建一种剔除卷积核的压缩模型,从模型深处自下而上剔除2ⁿ个卷积核,减少逐点卷积的参数量。在CIFAR-10和CIFAR-100数据集上进行实验,结果表明,引入ReLU-h-swish函数构建MobileNet-rhs模型的Top-1分类准确率为80.38%。相比MobileNet-rhs模型,压缩后MobileNet-rhs模型的参数量减少17.9%,其Top-1分类准确率仅降低2.28个百分点。此外,利用Tensorflow将该模型部署在安卓平台上,实现图像分类相册的应用。     

基于加强特征融合的轻量化船舶目标检测

针对基于深度学习的海上船舶目标检测任务中存在检测网络复杂且参数量大、检测实时性差的问题, 提出一种加强特征融合的轻量化YOLOv4算法——MA-YOLOv4. 首先使用MobileNetv3替换主干网络, 引入新的激活函数SiLU并使用深度可分离卷积代替普通3×3卷积降低网络参数量; 其次加入自适应空间特征融合模块加强特征融合; 最后使用MDK-means聚类算法得到适用于船舶目标的锚框, 用Ship7000数据集进行训练和评估. 实验结果表明, 改进算法与YOLOv4相比, 模型参数量降低82%, mAP提高2.57%, FPS提高30帧/s, 能实现对海上船舶的高精度实时检测.