改进DeepLabv3+网络的图书书脊分割算法

图书定位是实现图书馆智能化发展的重要技术之一，精确的书脊分割算法成为实现该目标的一大难题。基于以上情况，提出改进DeepLabv3+网络的图书书脊分割算法，以解决图书密集排列、图书存在倾斜角度和书脊纹理极相似等情况下的书脊分割难点。首先，为了提取图书图像更密集的金字塔特征，将原始DeepLabv3+网络中的空洞金字塔池化（ASPP）替换为多空洞率、多尺度的DenseASPP (Dense Atrous Spatial Pyramid Pooling)模块；其次，针对原始DeepLabv3+网络对大长宽比的目标对象分割边界不敏感的问题，在DenseASPP模块的支路加入条形池化（SP）模块以增强书脊的长条形特征；最后，参考ViT (Vision Transformer)中的多头自注意（MHSA）机制，提出一种全局信息增强的自注意模块，以增强网络获取长距离特征的能力。将所提算法在开源数据库上进行对比测试，实验结果表明，与原始DeepLabv3+网络分割算法相比，所提算法在近竖直书脊数据库上的平均交并比（MIoU）提升了1.8个百分点；在倾斜书脊数据库上的MIoU提升了4.1个百分点，达到了...     

基于双金字塔特征融合网络的RGB-D多类实例分割

针对RGB图像的实例分割任务在图像目标物体纹理相近但类别不同的区域可能出现分割错误的问题,引入Depth信息,结合RGB-D图像的三维几何结构特点,提出一种以双金字塔特征融合网络为框架的RGB-D实例分割方法.所提出的方法通过构建两种不同复杂度的金字塔深度卷积神经网络分别提取不同梯度分辨率大小的RGB特征及Depth特征,将对应分辨率大小的两种特征相加输入区域候选网络,以此改变输入区域候选网络层的共享特征,共享特征再经过分类、回归与掩码网络分支输出定位与分类结果,从而实现RGB-D图像的实例分割.实验结果表明,所提出的双金字塔特征融合网络模型能够完成RGB-D图像的实例分割任务,有效学习到深度图像与彩色图像之间的互补信息,与不包含Depth信息的Mask R-CNN相比,平均精度提高7.4%.     

一种基于文本检测的书脊定位方法

书脊定位是实现图书管理自动化的重要技术,通过对定位分割出的书脊图像进行图像匹配或文本识别获得图书信息,可大大减小图书检索、整理的人力劳动。论文提出了一种基于文本检测的书脊区域粗选方法,首先通过序贯分割算法检测图像中的字符整体区域,然后根据字符宽度和距离将同属于一本书的字符加入相似字符集合,根据集合内的字符中心和字符宽度计算候选书脊区域,最后通过支持向量机分类器精选书脊区域。相比于已有的书脊定位方法,论文算法在光照敏感、相邻书脊颜色对比度敏感、书脊多角度倾斜检测等方面进行了改善,在实验中取得了较好的定位成功率。     

基于自动定位分割的图书识别框架

提出一种基于自动定位分割的图书识别算法,主要包括对拍摄图像进行图书封面区域的自动定位、感兴趣区域(ROI)分割、标准形状矫正以及有效区域的特征提取与相似性匹配部分.自动定位分割部分根据图书封面的几何形状特点,通过基于霍夫变换的形状检测算法对自然场景下拍摄的图书封面图像进行有效区域定位,对ROI进行分割并根据逆仿射变换将其矫正到标准形状;然后对获取的有效图书封面区域进行基于改进的尺度不变特征变换(SIFT)的特征点检测和特征描述,并采用词包(BOW)方法对其进行特征量化和码本学习,从而将定位分割出的图书图像与数据库中图书源图像进行相似性匹配.实验结果表明,对包含一定复杂程度背景的图书图像进行准确的定位分割和矫正,在很大程度上影响着基于特征匹配的图书识别技术的精确度.     

基于无锚框分割网络改进的实例分割方法

在无人驾驶应用场景中,现有无锚框实例分割方法存在大目标特征覆盖小目标特征、缺少两阶段检测器中的感兴趣区域对齐操作、忽略类别分支对掩膜分支提供的位置和空间信息等问题,导致特征提取不充分且无法准确获取目标区域。提出一种改进的无锚框实例分割方法。结合可变形卷积,设计编码-解码特征提取网络提取高分辨率特征,以增强对小目标特征的提取能力,并采用空洞卷积和合并连接的方式,在不增加计算量的前提下有效融合多种分辨率的特征。在此基础上,将注意力机制引入到类别分支中,同时设计结合空间信息和通道信息的信息增强模块,以提高目标检测能力。实验结果表明,该方法在COCO 2017和Cityscapes数据集上平均精度和平均交并比分别为41.1%和83.3%,相比Mask R-CNN、SOLO、Yolact等方法,能够有效改进实例分割效果并具有较优的鲁棒性。     

基于视觉的错序在架图书检测系统

在架图书整理是图书馆的一项常见工作,迫切需要提高自动化水平。本文以尽可能不增加额外投资和设施改造为前提,提出了依靠移动设备获取图像,通过视觉技术构建软件系统以实现对错序图书的自动识别的方法。该方法由移动设备采集在架图书图像,利用LSD算法检测书脊边缘并分割图书图像,进而得到索书号区域,并通过投影分离出索书号区域中的字符。采用前馈连续双卷积CNN网络结构模型并综合使用了Dropout、Re LU激活函数和Softmax回归等技术完成对字符的识别。最后,将组合后的索书号与数据库预存信息进行比较,得到图书的正确排列信息。对系统的实际测试和分析表明,本文的方法可以针对一般索书号在架图书进行较好的错序检测,能为图书的自动化整理提供一种可行的方案。     

融合多尺度上下文信息的实例分割

目的 实例分割通过像素级实例掩膜对图像中不同目标进行分类和定位。然而不同目标在图像中往往存在尺度差异,目标多尺度变化容易错检和漏检,导致实例分割精度提高受限。现有方法主要通过特征金字塔网络(feature pyramid network,FPN)提取多尺度信息,但是FPN采用插值和元素相加进行邻层特征融合的方式未能充分挖掘不同尺度特征的语义信息。因此,本文在Mask R-CNN(mask region-based convolutional neural network)的基础上,提出注意力引导的特征金字塔网络,并充分融合多尺度上下文信息进行实例分割。方法 首先,设计邻层特征自适应融合模块优化FPN邻层特征融合,通过内容感知重组对特征上采样,并在融合相邻特征前引入通道注意力机制对通道加权增强语义一致性,缓解邻层不同尺度目标间的语义混叠;其次,利用多尺度通道注意力设计注意力特征融合模块和全局上下文模块,对感兴趣区域(region of interest,RoI)特征和多尺度上下文信息进行融合,增强分类回归和掩膜预测分支的多尺度特征表示,进而提高对不同尺度目标的掩膜预测质量。结果 在MS ...     

基于改进SOLOv2的煤矿图像实例分割方法

现有的图像分割方法用于清晰度较好的煤矿井下图像时效果良好,但应用于环境复杂的煤矿井下时,获取的图像大多较模糊且目标物体轮廓不清晰,从而影响目标物体的分割精度。针对上述问题,提出了一种基于改进SOLOv2的煤矿图像实例分割方法。将SOLOv2模型的ResNet-50网络替换为ResNeXt-18网络,从而精简网络层数,提升模型的推理速度;引入坐标注意力（CA）模块,以提升模型特征提取能力,保留精确的位置信息,提高模型的图像分割精度;采用ACON-C激活函数替换ReLU激活函数,从而使神经元之间的特征得以充分组合,增强模型的特征表达能力,进一步提高模型的图像分割精度。将改进SOLOv2模型部署在嵌入式平台上进行煤矿图像分割实验,相较于SOLOv2模型,改进SOLOv2模型的Mask AP（掩膜平均精度）提高了1.1%,模型权重文件减小了83.2 MiB,推理速度提高了5.30帧/s,达26.10帧/s,在煤矿图像分割精度和推理速度上均有一定提升。     

改进YOLOv5网络在遥感图像目标检测中的应用北大核心CSCD

针对遥感图像目标检测存在的尺度多样化、分布密集、小目标检测困难等问题,提出了一种改进YOLOv5网络的遥感图像目标检测的新方法Fca_YOLOv5。该方法引入了频率通道注意力网络,引导模型更加关注信息丰富的特征;将网络输入尺寸优化为1 024,减少了图像缩放带来的影响;采用圆形平滑标签计算角度损失,对船舰目标进行旋转目标检测,进一步提升检测效果。在DOTA遥感图像数据集上进行实验,检测精度最高达到了75.9%,船舰旋转目标检测精度达到了96.1%,并且Fca_YOLOv5s的检测精度比YOLOv5s提高了3.1%。实验结果表明,改进网络对遥感图像中的微小目标具有较好的检测效果,有效提升了遥感图像的检测精度,对实现遥感图像中的微小目标检测具有一定的参考意义。     

基于注意力机制的SOLOA船舶实例分割算法北大核心CSCD

目前,可见光船舶图像的实例分割仍然是较有挑战性的工作。由于船舶图像场景复杂多变,多数实例分割算法无法对复杂场景下的船舶图像进行有效分割。本文提出了基于注意力机制的依靠位置分割目标(attention based segmenting objects by locations,SOLOA)船舶实例分割算法,针对网络特征图里实例信息不完善、背景干扰较多的问题,使用空间注意力机制来充分利用分类特征中的实例信息,建模图像实例间的相互关系并与分割特征相融合。实验结果表明,在新构建的船舶图像数据集上进行训练和测试,改进的网络模型能有效地增强网络特征中的实例信息、减弱背景的干扰。SOLOA算法的船舶实例分割准确率高于其他算法,可以很好地适应复杂场景下的船舶分割需求。     

基于RGB-D的反向融合实例分割算法

RGB-D 图像在提供场景 RGB 信息的基础上添加了 Depth 信息,可以有效地描述场景的色彩及 三维几何信息。结合 RGB 图像及 Depth 图像的特点,提出一种将高层次的语义特征反向融合到低层次的边缘 细节特征的反向融合实例分割算法。该方法通过采用不同深度的特征金字塔网络(FPN)分别提取 RGB 与 Depth 图像特征,将高层特征经上采样后达到与最底层特征同等尺寸,再采用反向融合将高层特征融合到低层,同时 在掩码分支引入掩码优化结构,从而实现 RGB-D 的反向融合实例分割。实验结果表明,反向融合特征模型能 够在 RGB-D 实例分割的研究中获得更加优异的成绩,有效地融合了 Depth 图像与彩色图像 2 种不同特征图像 特征,在使用 ResNet-101 作为骨干网络的基础上,与不加入深度信息的 Mask R-CNN 相比平均精度提高 10.6%, 比直接正向融合 2 种特征平均精度提高 4.5%。     

名词引导局部特征提取的基于文本的实例分割方法

局部特征信息在图像分割中扮演着重要角色,然而基于文本的实例分割任务具有对输入文本表达式的依赖性,无法直接从原始的输入图像中提取局部特征信息。针对这一问题,提出了一种具体的名词引导局部特征提取的深度神经网络模型(NgLFNet),NgLFNet模型可根据输入文本表达式中的关键名词来自动挖掘待分割对象的局部特征信息。具体地,该模型首先通过语句分析得到关键名词;其次通过文本和图像编码器提取相应特征,并利用关键名词通过多头注意力机制获取高关注区域局部特征;然后逐步融合多模态特征;最后在解码修正模块利用得到的局部特征对预测掩膜进行更细致的修正,从而得到最终结果。将该方法与多种主流基于文本的实例分割方法进行对比,实验结果表明该方法提升了分割效果。     

旋转区域提议网络的孪生神经网络跟踪算法

孪生区域提议网络跟踪算法是一种高效的目标跟踪算法,通过锚框规避了图像金字塔对跟踪性能带来的影响,但这种跟踪方法受制于区域提议网络本身的局限性,在目标旋转时,跟踪精度将受到较大损失。而其他对旋转鲁棒性较高的方法则因为使用了复杂的旋转结构,导致算法的跟踪速度大幅下降。为了解决旋转目标对区域提议网络跟踪精度的影响,提出了旋转区域提议网络的孪生神经网络跟踪算法,通过AO-RPN（arbitrary-oriented region proposal network）结构将旋转与区域提议网络相统一,引入角度预测分支,在目标跟踪的过程中,直接对旋转的目标进行搜索,并得到最小外接矩形。该方法在保持较高跟踪速度的同时,精度超过了对目标进行旋转采样或使用局部特征进行跟踪的算法。通过在数据集OTB2015、VOT2016和VOT2018上进行的大量实验。结果表明,该算法在遮挡、形变、光照等多种复杂情况下表现出了较强的鲁棒性和适应性。     

基于实例分割模型优化的道路抛洒物检测算法

在交通安全领域,道路抛洒物易引发交通事故,构成了交通安全隐患。针对传统抛洒物检测方式识别率低、对于多类抛洒物检测效果不佳等问题,提出了一种基于实例分割模型CenterMask优化的道路抛洒物检测算法。首先,使用空洞卷积优化的残差网络ResNet50作为主干神经网络来提取特征并进行多尺度处理;然后,通过距离交并比（DIoU）函数优化的全卷积单阶段（FCOS）目标检测器实现对抛洒物的检测和分类;最后,使用空间注意力引导掩膜作为掩膜分割分支来实现对于目标形态的分割,并采用迁移学习的方式实现模型的训练。实验结果表明,所提算法对于抛洒物目标的检测率为94.82%,相较常见实例分割算法Mask R-CNN,所提的道路抛洒物检测算法在边界框检测上的平均精度（AP）提高了8.10个百分点。     

基于密集分割网络的车道线检测方法

传统车道线检测算法大多数依赖手工制作特征和启发式算法的组合,容易受车辆遮挡和地面污损等因素的影响。针对影响车道线检测的复杂问题,将车道线检测视为连续细长区域实例分割问题,提出了一种基于密集分割网络的车道线检测方法。为此,使用稠密块构建了一个密集分割网络DSNet,该网络能够利用特征重复使用的特性提高提取车道线实例特征和恢复特征图分辨率的性能。同时,还引入了邻近AND运算和Meanshift聚类算法对DSNet网络的输出进行处理,减小了非车道线像素的影响,使得检测结果的边界线更为清晰。实验表明,本文方法能很好地解决车辆遮挡和地面污损问题,并且还能确定车道线的数量,具有较好的鲁棒性和实时性。     

注意力残差多尺度特征增强的显著性实例分割

显著性实例分割是指分割出图像中最引人注目的实例对象。现有的显著性实例分割方法中存在 较小显著性实例不易检测分割,以及较大显著性实例分割精度不足等问题。针对这 2 个问题,提出了一种新的 显著性实例分割模型,即注意力残差多尺度特征增强网络(ARMFE)。模型 ARMFE 主要包括 2 个模块：注意力 残差网络模块和多尺度特征增强模块,注意力残差网络模块是在残差网络基础上引入注意力机制,分别从通道 和空间对特征进行选择增强;多尺度特征增强模块则是在特征金字塔基础上进一步增强尺度跨度较大的特征信 息融合。因此,ARMFE 模型通过注意力残差多尺度特征增强,充分利用多个尺度特征的互补信息,同时提升 较大显著性实例对象和较小显著性实例对象的分割效果。ARMFE 模型在显著性实例分割数据集 Salient Instance Saliency-1K (SIS-1K)上进行了实验,分割精度和速度都得到了提升,优于现有的显著性实例分割算法 MSRNet 和 S4Net。     

基于分组卷积进行特征融合的全景分割算法

针对图像全景分割任务对于实践应用中现有网络结构运算不够快速的问题,提出一种基于分组卷积进行特征融合的全景分割算法。首先,通过自底向上的方式选择经典残差网络结构（ResNet）进行特征提取,并采用不同扩张率的空洞卷积空间金字塔池化操作（ASPP）对提取到的特征进行语义分割与实例分割的多尺度特征融合;然后,通过提出一种单路分组卷积上采样方法,整合语义与实例特征进行上采样特征融合至指定大小;最后,通过对语义分支、实例分支以及实例中心点这三个分支进行损失函数运算以得到更加精细的全景分割输出结果。该模型在CityScapes数据集上与注意力引导的联合全景分割网络（AUNet）、全景特征金字塔网络（Panoptic FPN）、亲和金字塔单阶段实例分割算法（SSAP）、联合全景分割网络（UPSNet）、Panoptic-DeepLab等方法进行了实验对比。实验结果表明,与对比方法中表现最好的Panoptic-DeepLab模型相比,所提模型在极大减少了解码网络参数量的情况下,全景分割质量（PQ）值为0.565,仅下降了0.003,在建筑物、火车、自行车等物体的分割质量上有0.3~5.5的提升,平均精确率（AP）、目标IoU阈值超过50%的平均精确率（AP₅₀）分别提升了0.002与0.014,平均交并比（mIoU）值提升了0.06。可见该方法能提升图像全景分割速度,在PG、AP、mIoU三个指标上均有较好的精度,可以有效地完成全景分割任务。     

特征注意金字塔调制网络的视频目标分割

目的 视频目标分割是在给定第1帧标注对象掩模条件下,实现对整个视频序列中感兴趣目标的分割。但是由于分割对象尺度的多样性,现有的视频目标分割算法缺乏有效的策略来融合不同尺度的特征信息。因此,本文提出一种特征注意金字塔调制网络模块用于视频目标分割。方法 首先利用视觉调制器网络和空间调制器网络学习分割对象的视觉和空间信息,并以此为先验引导分割模型适应特定对象的外观。然后通过特征注意金字塔模块挖掘全局上下文信息,解决分割对象多尺度的问题。结果 实验表明,在DAVIS 2016数据集上,本文方法在不使用在线微调的情况下,与使用在线微调的最先进方法相比,表现出更具竞争力的结果,J-mean指标达到了78.7%。在使用在线微调后,本文方法的性能在DAVIS 2017数据集上实现了最好的结果,J-mean指标达到了68.8%。结论 特征注意金字塔调制网络的视频目标分割算法在对感兴趣对象分割的同时,针对不同尺度的对象掩模能有效结合上下文信息,减少细节信息的丢失,实现高质量视频对象分割。