融合注意力与时域多尺度卷积的手势识别算法

针对基于深度学习的动态手势识别方法网络规模庞大、提取的时空特征尺度单一、有效特征的提取能力不足等问题,提出了一种深度网络框架。首先,使用时域多尺度信息融合的时空卷积模块改进3D残差网络结构,大幅度缩小网络规模,获得多种尺度的时空感受野特征;其次,引入一种全局信息同步的时空特征通道注意力机制,使用极少量参数构建特征图通道之间的全局依赖关系,使模型更加高效地获取动态手势的关键特征。在自建手势数据集SHC和公开手势数据集SKIG上的实验结果显示,提出的手势识别方法参数量更少且多尺度时空特征提取能力强,识别率高于目前的主流算法。     

基于全局注意力的多尺度显著性检测网络

针对现有算法的多尺度特征融合效果不理想和全局信息利用不充分的问题,提出一种基于多尺度优化和全局注意力的显著目标检测模型.利用特征增强模块对从骨干网络VGG-16中提取出来的粗糙特征进行增强,提升特征的显著性表达能力,对不同层次特征融合得到高层级和低层级特征;设计全局注意力模块,利用空洞空间卷积池化金字塔ASPP模块提取...     

基于局部多片段的轻量级行为识别网络MLNet

针对传统3D卷积神经网络(CNN)对医学和自然场景视频中的动作识别存在输入片段帧数少、正向推理速度慢、网络层数浅、参数量和计算量大的问题,基于2D深度卷积和1D卷积设计了局部时空深度分离卷积模块(LSDW)和时序卷积模块(TCM),进而提出了轻量级局部多片段网络MLNet.首先,MLNet的输入是视频中的多个局部片段,这些片段通过间隔采样得到;其次,将输入中的多个局部片段通过LSDW提取相应的时空特征;最后,通过TCM对LSDW输出特征在时序维度进行融合,得到视频动作的全局表示.实验结果表明,利用该方法在公开数据集UCF101和HX上测试,其识别精度分别达到了76％和94.23％,与时序3D卷积网络方法(T3D)相比,识别率分别至少提升了4.89和4.6个百分点,在拥有低的参数量和计算量的同时提高了识别精度和网络的正向推理速度.     

多尺度卷积残差网络钢轨伤损检测研究

针对传统钢轨探伤大多依赖人工获取特征信息、工作繁琐且效率低的问题,提出了融合改进残差模块的多尺度卷积网络钢轨表面伤损图像识别模型。该网络模型采用深度可分离卷积代替传统卷积减少模型参数量,加快模型训练速度;运用残差网络模块,避免网络堆叠过深引起的过拟合现象;并利用多尺度卷积取代了传统的单尺度卷积,使得网络加宽以获取更多的特征信息,增强了模型特征信息的提取能力,从而提高了模型的识别精度。通过对三种典型钢轨伤损进行对比试验,本方法检测精度和运算速度优于传统方法。     

全局与局部图像特征自适应融合的小目标检测算法

针对现有目标检测算法对于小目标检测精度低的问题,提出一种全局与局部图像特征自适应融合的一阶段小目标检测算法SODet.首先,将Transformer与卷积神经网络相结合构建主干网络,分别提取图像全局和局部信息,并利用自适应特征选择模块AFS对二者输出进行融合;然后,在特征融合网络中利用额外尺度特征图进行特征融合,同时利用大目标抑制单元约束大目标特征表达、转移小目标特征,输出4个尺度的特征图送入预测网络;最后,在损失函数部分针对小目标检测利用EIOU和Focal loss进行优化.实验结果表明, SODet算法在MS COCO验证集上APS达到31.5%,相比于其他算法具有较强的竞争力,同时具有较高的推理速度.     

全局时空特征耦合的多景深三维形貌重建

针对现有三维形貌重建模型无法有效融合全局时空信息的问题，设计深度聚焦体积（DFV）模块保留聚焦和离焦的过渡信息，并在此基础上提出全局时空特征耦合（GSTFC）模型提取多景深图像序列的局部与全局的时空特征信息。首先，在收缩路径中穿插3D-ConvNeXt模块和3D卷积层，捕捉多尺度局部时空特征，同时，在瓶颈模块中添加3D-SwinTransformer模块捕捉多景深图像序列局部时序特征的全局关联关系；然后，通过自适应参数层将局部时空特征和全局关联关系融合为全局时空特征，并输入扩张路径引导生成聚焦体积；最后，聚焦体积通过DFV提取序列权重信息，并保留聚焦与离焦的过渡信息，得到最终深度图。实验结果表明，GSTFC在FoD500数据集上的均方根误差（RMSE）相较于最先进的全聚焦深度网络（AiFDepthNet）下降了12.5%，并且比传统的鲁棒聚焦体积正则化的聚焦形貌恢复（RFVR-SFF）模型保留了更多的景深过渡关系。     

改进多尺度残差网络病害叶片图像识别

针对农作物病害图像识别模型存在参数量较大内存占用较多、识别准确率不高及训练速度慢等问题,提出了融合注意力模块的多尺度卷积网络叶片病害图像识别模型。该网络模型基于残差网络模块,利用多尺度卷积取代了传统的单尺度卷积,使得网络加宽以获取更多的特征信息,避免网络堆叠过深引起的过拟合现象;同时为了加快模型训练速度,采用深度可分离卷积代替传统卷积减少模型参数量;将注意力机制引入到残差网络中,增强了模型的关键特征信息的提取能力,从而提高了模型的识别精度。通过对试验数据集进行对比试验,改进网络模型的识别准确率达到99.48%并且模型参数量仅有19.06 MB,试验结果表明所提出的方法能有效地提高模型的识别性能并降低模型参数量,为实现低成本终端运行奠定基础。     

基于多尺度注意力机制的高分辨率网络人体姿态估计

针对人体姿态估计中面对特征图尺度变化的挑战时难以预测人体的正确姿势,提出了一种基于多尺度注意力机制的高分辨率网络MSANet（multiscale-attention net）以提高人体姿态估计的检测精度。引入轻量级的金字塔卷积和注意力特征融合以更高效地完成多尺度信息的提取;在并行子网的融合中引用自转换器模块进行特征增强,获取全局特征;在输出阶段中将各层的特征使用自适应空间特征融合策略进行融合后作为最后的输出,更充分地获取高层特征的语义信息和底层特征的细粒度特征,以推断不可见点和被遮挡的关键点。在公开数据集 COCO2017上进行测试,实验结果表明,该方法比基础网络HRNet的估计精度提升了4.2%。     

LM-UNet: 横向MLP用于增强U-Net的医学图像分割

卷积神经网络(CNN)作为医学图像分割领域中U-Net基线网络的重要组成部分,其主要作用是处理局部特征信息之间的关系.而Transformer是一种能够有效强化特征信息之间的远距离依赖关系的视觉模型.目前的研究表明,结合Transformer和CNN可以在一定程度上提高医学图像分割的准确性.但是,由于医学图像的标注数据较少,而且训练Transformer模型需要大量数据,这使得Transformer模型面临耗时长和参数量大的挑战.基于这些考虑,本文在UNeXt模型的基础上,结合多尺度混合MLP和CNN,提出了一种新型的基于混合MLP的医学图像分割模型——LM-UNet.这种模型能够有效地增强局部与全局信息之间的联系,并加强特征信息间的融合.在多个数据集上的实验表明, LM-UNet模型在皮肤数据集上的分割性能明显提升,平均Dice系数达到92.58%,平均IoU系数达到86.52%,分别比UNeXt模型提高了3%和3.5%.在软骨和乳腺数据集上的分割效果也有显著提升,平均Dice系数分别比UNeXt提高了2.5%和1.0%.因此, LM-UNet模型不仅提高了医学图像分割的准确性,还增...     

全局信息引导的多尺度显著物体检测模型

目前方法不能有效提取图像的多尺度特征并完全利用全局信息,对此提出一种新的全局信息引导的多尺度显著物体检测模型.设计了多尺度特征提升模块,提升了各个侧输出特征的多尺度表征能力;利用空洞空间卷积池化金字塔模块提取图像的全局特征;将全局特征直接与各个侧边输出的多尺度特征相融合,利用全局特征引导侧边特征聚焦于目标区域中有用的中...     

基于双尺度特征融合的单幅图像去雾网络

基于深度学习的图像去雾方法在合成数据集上表现良好,但在真实场景中应用时存在去雾不彻底、颜色失真等问题。提出一种新的单幅图像去雾网络,该网络包含特征提取、特征融合2个模块。在特征提取模块中,通过残差密集块和具有空间注意机制的特征提取块分别提取图像的局部特征和全局特征。在特征融合模块中,利用通道注意力机制对局部特征图和全局特征图进行通道加权,并通过卷积操作融合加权后的局部特征图与全局特征图。最后,采用门控网络自适应结合3个不同深度的融合特征图,以恢复高质量的去雾图像。实验结果表明,所提网络在室内数据集下的峰值信噪比(PSNR)和结构相似度（SSIM）分别为33.04 dB、0.983,在HAZERD数据集下的PSNR和SSIM分别比GridDehazeNet网络高出1.33 dB和0.041。同时,该网络的模型参数量和浮点运算数分别为0.34M和16.06×109frame/s,具有较低复杂度,对合成图像和真实图像均可取得理想的去雾效果。     

改进的RetinaNet目标检测算法

针对经典一阶段目标检测算法RetinaNet难以充分提取不同阶段特征、边界框回归不够准确等问题,提出一个面向目标检测的改进型RetinaNet算法。在特征提取模块中加入多光谱通道注意力,将输入特征中的频率分量合并到注意力处理中,从而捕获特征原有的丰富信息。将多尺度特征融合模块添加到特征提取模块,多尺度特征融合模块包括1个路径聚合模块和1个特征融合操作,路径聚合模块通过搭建自底向上的路径,利用较浅特征层上精确的定位信号增强整个特征金字塔的信息流,特征融合操作通过融合来自每个阶段的特征信息优化多阶段特征的融合效果。此外,在边界框回归过程中引入完全交并比损失函数,从边界框的重叠面积、中心点距离和长宽比这3个重要的几何因素出发,提升回归过程的收敛速度与准确性。在MS COCO数据集和PASCAL VOC数据集上的实验结果表明,与RetinaNet算法相比,改进型RetinaNet算法在2个数据集上的平均精度分别提高了2.1、1.1个百分点,尤其对于MS COCO数据集中较大目标的检测,检测精度的提升效果更加显著。     

局部与全局相融合的孪生低照度视频增强网络

在低照度环境下拍摄到的视频往往有对比度低、噪点多、细节不清晰等问题, 严重影响后续的目标检测、分割等计算机视觉任务. 现有的低照度视频增强方法大都是基于卷积神经网络构建的, 由于卷积无法充分利用像素之间的长程依赖关系, 生成的视频往往会有部分区域细节丢失、颜色失真的问题. 针对上述问题, 提出了一种局部与全局相融合的孪生低照度视频增强网络模型, 通过基于可变形卷积的局部特征提取模块来获取视频帧的局部特征, 并且设计了一个轻量级自注意力模块来捕获视频帧的全局特征, 最后通过特征融合模块对提取到的局部特征和全局特征进行融合, 指导模型能生成颜色更真实、更具细节的增强视频. 实验结果表明, 本方法能有效提高低照度视频的亮度, 生成颜色和细节都更丰富的视频, 并且在峰值信噪比和结构相似性等评价指标中也都优于近几年提出的方法.     

改进BiSeNetV1实时模型的岩屑图像识别

在图像分割识别领域,现有的深度学习方法大多使用高精度语义分割方法来实现,存在着网络推理速度慢、计算量大、难以实际应用等问题.借助于表现较好的BiSeNetV1实时网络模型,通过扩展的空间路径卷积结构、空间金字塔注意力机制(SPARM)和简化的注意力特征融合模块(S-iAFF)等改进策略,设计一种用于岩屑图像分割领域的BiSeNet＿SPARM＿S-iAFF实时网络.扩展的空间路径卷积结构可以获取更丰富的岩屑图像空间特征,上下文路径使用优化的空间金字塔注意力机制(SPARM)进一步细化高层语义特征提取,在特征融合阶段使用简化注意力特征融合(S-iAFF)加强低层空间与高层语义特征的融合程度.实验结果表明, BiSeNet＿SPARM＿S-iAFF网络在RockCuttings＿Oil岩屑数据集上的平均交并比(mIoU)为64.91%,相较于BiSeNetV1网络提高了2.68%;另外改进后的网络在精度上接近大部分高精度语义分割方法,同时参数量大幅度减少、推理速度有着明显的提升.     

轻量级注意力特征选择循环网络的超分重建

目的 深度卷积网络在图像超分辨率重建领域具有优异性能,越来越多的方法趋向于更深、更宽的网络设计。然而,复杂的网络结构对计算资源的要求也越来越高。随着智能边缘设备（如智能手机）的流行,高效能的超分重建算法有着巨大的实际应用场景。因此,本文提出一种极轻量的高效超分网络,通过循环特征选择单元和参数共享机制,不仅大幅降低了参数量和浮点运算次数（floating point operations,FLOPs）,而且具有优异的重建性能。方法 本文网络由浅层特征提取、深层特征提取和上采样重建3部分构成。浅层特征提取模块包含一个卷积层,产生的特征循环经过一个带有高效通道注意力模块的特征选择单元进行非线性映射提取出深层特征。该特征选择单元含有多个卷积层的特征增强模块,通过保留每个卷积层的部分特征并在模块末端融合增强层次信息。通过高效通道注意力模块重新调整各通道的特征。借助循环机制（循环6次）可以有效提升性能且大幅减少参数量。上采样重建通过参数共享的上采样模块同时将浅层与深层特征进放大、融合得到高分辨率图像。结果 与先进的轻量级网络进行对比,本文网络极大减少了参数量和FLOPs,在Set5、Set14、B100、Urban100和Manga109等基准测试数据集上进行定量评估,在图像质量指标峰值信噪比（peak signal to noise ratio,PSNR）和结构相似性（structural similarity,SSIM）上也获得了更好的结果。结论 本文通过循环的特征选择单元有效挖掘出图像的高频信息,并通过参数共享机制极大减少了参数量,实现了轻量的高质量超分重建。     

Non-local duplicate pooling network for salient object detection

Many existing salient object detection methods are dedicated to fusing features from different levels of a pre-trained convolutional neural network (CNN). However, these methods can easily lead to internal discontinuities within the salient objects because of unreasonable feature fusion strategies and short-range dependencies resulting from common convolution and pooling operations. In this paper, we propose a novel non-local duplicate pooling (NLDP) network to overcome these internal discontinuities. NLDP begins by removing the first few convolutional layers of a classic CNN, which have small receptive fields and require large amounts of calculation. A novel duplicate pooling module (DPM) is then used to generate richer and more detailed saliency maps. This is achieved by constructing a double-pathway that can integrating partial feature maps. Within the DPM, a non-local module (NLM) is used to obtain long-range dependencies. This enhances the internal continuities between the saliency maps. Comprehensive experiments conducted on six benchmark datasets have confirmed the increased effectiveness and detection speed of our method in relation to other salient object detection methods.

     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。     

轻量化改进XYZNet的RGB-D特征提取网络

针对用于位姿估计的RGB-D特征提取网络规模过于庞大的问题,提出一种轻量化改进XYZNet的RGB-D特征提取网络。首先设计一种轻量级子网络BaseNet以替换XYZNet中的ResNet18,使得网络规模显著下降的同时获得更强大的性能;然后基于深度可分离卷积设计一种多尺度卷积注意力子模块Rep-MSCA（reparameterized multi-scale convolutional attention）,加强BaseNet提取不同尺度上下文信息的能力,并约束模型的参数量;最后,为了以较小的参数代价提升XYZNet中PointNet的几何特征提取能力,设计一种残差多层感知器模块Rep-ResP（re-parameterized residual multi-layer perceptron）。改进后的网络浮点计算量与参数量分别降低了60.8%和64.8%,推理速度加快了21.2%,在主流数据集LineMOD与YCB-Video上分别取得了0.5%与0.6%的精度提升。改进后的网络更适宜在硬件资源紧张的场景下部署。