基于改进YOLACT的堆垛图像快速分割方法研究

针对堆叠密集的堆垛货箱出现的漏检情况以及难以分割出每个货箱的精确边缘而造成的难以准确抓取的问题,对深度学习实例分割算法YOLACT进行了相应的改进。首先使用工业相机采集货箱的堆垛图像,然后利用Labelme标注图像制作数据集,并且通过数据增强方法扩充数据集。接着为了提高模型的分割准确率,分别对掩码真值和YOLACT中的原型掩码输出分支(Protonet)的预测掩码使用Canny边缘检测算子,并取二者的二值交叉熵损失作为损失函数加入到原网络中训练。最后再使用训练好的最优模型对测试集图像数据进行试验,结果表明,改进后的模型预测掩码mAP_0.5:0.95可以达到0.543,比原模型提高2.2%,同时货箱边缘的分割精度也得到了一定的提升,模型推理速度可达10.2帧/秒,可以满足精度要求和生产节拍要求。     

基于稠密扩张卷积的图像语义分割模型

为解决图像语义分割任务中面对的分割场景的复杂性、分割对象的多样性及分割对象空间位置的差异性问题, 提高语义分割模型的精度, 提出基于稠密扩张卷积的双分支多层级语义分割网络(double branch and multi-stages network, DBMSNet). 首先采用主干网络提取输入图像的4个不同分辨率的特征图(De1、De2、De3、De4), 其次采用特征精炼(feature refine, FR)模块对De1和De3这两个特征图进行特征精炼处理, 特征精炼处理之后的输出分支经过混合扩张卷积模块(mixed dilation module, MDM)编码空间位置特征, De4分支采用金字塔池化模块(pyramid pooling module, PPM)编码高级语义特征, 最后将两个分支进行融合, 输出分割结果. 在数据集CelebAMask-HQ和Cityscapes中进行实验, 分别得到mIoU精度为74.64%、78.29%. 结果表明, 本文方法的分割精度高于对比方法, 且具有更少的参数量.     

基于改进U-Net的下肢骨骼CT图像分割

针对骨骼CT图像对比度较低、特征不明显、现有算法对骨骼特征提取不充分的问题, 本文提出了一种基于U-Net的改进网络来实现骨骼数据的精确分割. 在网络编码阶段, 使用密集连接的空洞卷积模块加强骨骼特征的提取; 在网络解码阶段, 使用结合注意力机制的融合模块充分利用空间信息与语义信息, 改善骨骼信息丢失的问题. 改进算法在人体下肢骨骼CT数据集中Dice系数达89.44%, IoU系数达80.55%. 与U-Net模型相比, Dice系数提高了5.1%, IoU系数提高了7.63%. 实验结果表明, 提出的优化算法对下肢骨骼CT图像可以达到精确分割的效果, 对骨科疾病的治疗与术前规划提供了参考.     

基于深度学习的早期火灾预警算法

传统火灾预警方法存在检测精度低、未发生火灾时不能及时预警的问题, 提出一种基于深度学习的早期火灾预警算法. 首先, 使用红外热像仪采集特定场景中的红外图像, 构建数据集; 其次, 使用改进的YOLOv4算法进行训练得到网络权重, 在主干网络的3个输出特征层后引入卷积注意力模块, 提升网络对关键信息的提取能力; 在主干网络和路径聚合网络中增加卷积层, 提高特征提取的能力; 最后, 使用提出的智能火灾检测(intelligent fire detection, IFD)算法对预测图像处理并根据得分评估火灾隐患. 实验结果表明, 改进YOLOv4算法在数据集上的mAP达到98.31%, 比原始YOLOv4算法的mAP提高了2.7%, FPS达到37.1 f/s, IFD算法精确度为93%, 误检率为3.2%. 提出的早期火灾预警算法具有检测精度高, 未形成火灾时及时预警的优点.     

结合掩码定位和漏斗网络的6D姿态估计

目的 6D姿态估计是3D目标识别及重建中的一个重要问题。由于很多物体表面光滑、无纹理,特征难以提取,导致检测难度大。很多算法依赖后处理过程提高姿态估计精度,导致算法速度降低。针对以上问题,本文提出一种基于热力图的6D物体姿态估计算法。方法 首先,采用分割掩码避免遮挡造成的热力图污染导致的特征点预测准确率下降问题。其次,基于漏斗网络架构,无需后处理过程,保证算法具有高效性能。在物体检测阶段,采用一个分割网络结构,使用速度较快的YOLOv3（you only look once v3）作为网络骨架,目的在于预测目标物体掩码分割图,从而减少其他不相关物体通过遮挡带来的影响。为了提高掩码的准确度,增加反卷积层提高特征层的分辨率并对它们进行融合。然后,针对关键点采用漏斗网络进行特征点预测,避免残差网络模块由于局部特征丢失导致的关键点检测准确率下降问题。最后,对检测得到的关键点进行位姿计算,通过PnP （perspective-n-point）算法恢复物体的6D姿态。结果 在有挑战的Linemod数据集上进行实验。实验结果表明,本文算法的3D误差准确性为82.7%,与热力图方法相比提高了10%;2D投影准确性为98.9%,比主流算法提高了4%;同时达到了15帧/s的检测速度。结论 本文提出的基于掩码和关键点检测算法不仅有效提高了6D姿态估计准确性,而且可以维持高效的检测速度。     

RB模型实例集上置信传播算法的收敛性

置信传播算法求解RB（k,n,α,r_c,p）模型实例时非常有效,几乎能够有效求解接近可满足性相变点的难解实例.然而,因子图带有回路的实例,置信传播算法不总有效,常表现为不收敛.对于这种现象,至今缺少系统的理论解释.置信传播算法是最为基础的信息传播算法,对置信传播算法的收敛性分析是其他信息传播算法收敛性分析的重要基础.在RB（k,n,α,r_c,p）模型中,取k=2,α>（1/k）,r_c>0均为常数,且满足ke^{-（α/（r_c））}≥1.证明了如果p∈（0,n^-2α）,则置信传播算法在RB（k,n,α,r_c,p）模型产生的随机实例集上高概率收敛.最后,在RB（k,n,α,r_c,p）模型上选取了几组不同的数据进行数值模拟,实验结果表明该结论有效.当问题规模n增大时,在RB（k,n,α,r_c,p）模型的可满足区域,实验收敛区间趋于一个固定范围,而理论收敛区间逐渐变窄.原因在于,RB（k,n,α,r_c,p）模型是一个具有增长定义域的随机CSP实例产生模型,不协调赋值的数目与参数p及问题规模n有关.     

在线多类别逐点式多目标跟踪与分割

现有基于深度学习的多目标跟踪算法大多利用目标检测任务预测的边界框跟踪目标,当目标间存在遮挡时,边界框会产生重叠进而影响跟踪准确度,针对这个问题,提出了一种在线多类别逐点式多目标跟踪与分割（category-free point-wise multi-object tracking and segmentation,CPMOTS）算法。该算法摒弃了边界框的目标表征方式,利用实例分割的像素级掩码表征目标进行跟踪,网络采用并行结构同时分割与跟踪多类别目标,并保证了运行效率,这在真实场景中有很强的实用性。CPMOTS首先利用实例分割网络得到实例分割掩码,对其采样得到无序点集;然后将点集的特征输入跟踪网络得到判别性的实例级嵌入向量;最后将该嵌入向量通过直观高效的注意力模块以显式建模其通道间的依赖关系,自适应学习每个特征通道的重要程度,依照这个重要程度选择性地强化有用的特征,抑制无用的特征,实现通道特征重标定,从而提高算法的性能。在多目标跟踪与分割基准数据集KITTI MOTS的实验表明,CPMOTS跟踪的精度优于大部分其他对比方法,并达到了16 frame/s的近实时速度。     

随机正则(k,r)-SAT问题的可满足临界

研究k-SAT问题实例中每个变元恰好出现r=2s次,且每个变元对应的正、负文字都出现s次的严格随机正则（k,r）-SAT问题.通过构造一个特殊的独立随机实验,结合一阶矩方法,给出了严格随机正则（k,r）-SAT问题可满足临界值的上界.由于严格正则情形与正则情形的可满足临界值近似相等,因此得到了随机正则（k,r）-SAT问题可满足临界值的新上界.该上界不仅小于当前已有的随机正则（k,r）-SAT问题的可满足临界值上界,而且还小于一般的随机k-SAT问题的可满足临界值.因此,这也从理论上解释了在相变点处的随机正则（k,r）-SAT问题实例通常比在相应相变点处同规模的随机k-SAT问题实例更难满足的原因.最后,数值分析结果验证了所给上界的正确性.     

基于改进UNet3+的岩心图像颗粒提取算法

在石油勘探过程中, 岩心颗粒是研究地质层序、评估油气含量以及认识地质构造的有效资料, 对岩心颗粒图像进行颗粒提取有利于地质研究人员后续的深入分析. 岩心颗粒图像通常存在颗粒边缘模糊、背景与颗粒色彩复杂的问题. 为了改善岩心颗粒提取的效果, 本文设计了一种基于改进UNet3+的岩心图像颗粒提取算法. 该算法在UNet3+的每个编码层后加入感受野模块(RFB)来扩大网络的感受野, 从而有效地解决网络因感受野受限而导致的分割精度低的问题, 并在RFB模块后嵌入了卷积块注意力模块(CBAM)使网络更加精确地聚焦于目标区域, 提高目标区域的特征权重. 实验结果表明, 改进后的算法在岩心颗粒图像上具有良好的分割效果, 相比原始UNet3+网络, 分别在mIoU、mPA和FWIoU上提升了5.43%、2.99%和5.34%.     

特征注意金字塔调制网络的视频目标分割

目的 视频目标分割是在给定第1帧标注对象掩模条件下,实现对整个视频序列中感兴趣目标的分割。但是由于分割对象尺度的多样性,现有的视频目标分割算法缺乏有效的策略来融合不同尺度的特征信息。因此,本文提出一种特征注意金字塔调制网络模块用于视频目标分割。方法 首先利用视觉调制器网络和空间调制器网络学习分割对象的视觉和空间信息,并以此为先验引导分割模型适应特定对象的外观。然后通过特征注意金字塔模块挖掘全局上下文信息,解决分割对象多尺度的问题。结果 实验表明,在DAVIS 2016数据集上,本文方法在不使用在线微调的情况下,与使用在线微调的最先进方法相比,表现出更具竞争力的结果,J-mean指标达到了78.7%。在使用在线微调后,本文方法的性能在DAVIS 2017数据集上实现了最好的结果,J-mean指标达到了68.8%。结论 特征注意金字塔调制网络的视频目标分割算法在对感兴趣对象分割的同时,针对不同尺度的对象掩模能有效结合上下文信息,减少细节信息的丢失,实现高质量视频对象分割。     

基于双金字塔特征融合网络的RGB-D多类实例分割

针对RGB图像的实例分割任务在图像目标物体纹理相近但类别不同的区域可能出现分割错误的问题,引入Depth信息,结合RGB-D图像的三维几何结构特点,提出一种以双金字塔特征融合网络为框架的RGB-D实例分割方法.所提出的方法通过构建两种不同复杂度的金字塔深度卷积神经网络分别提取不同梯度分辨率大小的RGB特征及Depth特征,将对应分辨率大小的两种特征相加输入区域候选网络,以此改变输入区域候选网络层的共享特征,共享特征再经过分类、回归与掩码网络分支输出定位与分类结果,从而实现RGB-D图像的实例分割.实验结果表明,所提出的双金字塔特征融合网络模型能够完成RGB-D图像的实例分割任务,有效学习到深度图像与彩色图像之间的互补信息,与不包含Depth信息的Mask R-CNN相比,平均精度提高7.4%.     

一种改进的视频分割网络及其全局信息优化方法EI北大核心CSCD

提出了一种基于注意力机制的视频分割网络及其全局信息优化训练方法.该方法包含一个改进的视频分割网络,在对视频中的物体进行分割后,利用初步分割的结果作为先验信息对网络优化,再次分割得到最终结果.该分割网络是一种双流卷积网络,以视频图像和光流图像作为输入,分别提取图像的表观信息和运动信息,最终融合得到分割掩膜(Segmentation mask).网络中嵌入了一个新的卷积注意力模块,应用于卷积网络的高层次特征与相邻低层次特征之间,使得高层语义特征可以定位低层特征中的重要区域,提高网络的收敛速度和分割准确度.在初步分割之后,本方法提出利用初步结果作为监督信息对表观网络的权值进行微调,使其辨识前景物体的特征,进一步提高双流网络的分割效果.在公开数据集DAVIS上的实验结果表明,该方法可准确地分割出视频中时空显著的物体,效果优于同类双流分割方法.对注意力模块的对比分析实验表明,该注意力模块可以极大地提高分割网络的效果,较本方法的基准方法(Baseline)有很大的提高.     

基于实例分割模型优化的道路抛洒物检测算法

在交通安全领域,道路抛洒物易引发交通事故,构成了交通安全隐患。针对传统抛洒物检测方式识别率低、对于多类抛洒物检测效果不佳等问题,提出了一种基于实例分割模型CenterMask优化的道路抛洒物检测算法。首先,使用空洞卷积优化的残差网络ResNet50作为主干神经网络来提取特征并进行多尺度处理;然后,通过距离交并比（DIoU）函数优化的全卷积单阶段（FCOS）目标检测器实现对抛洒物的检测和分类;最后,使用空间注意力引导掩膜作为掩膜分割分支来实现对于目标形态的分割,并采用迁移学习的方式实现模型的训练。实验结果表明,所提算法对于抛洒物目标的检测率为94.82%,相较常见实例分割算法Mask R-CNN,所提的道路抛洒物检测算法在边界框检测上的平均精度（AP）提高了8.10个百分点。     

自适应权重更新的轻量级视频目标分割算法

目的 针对现有视频目标分割（video object segmentation,VOS）算法不能自适应进行样本权重更新,以及使用过多的冗余特征信息导致不必要的空间与时间消耗等问题,提出一种自适应权重更新的轻量级视频目标分割算法。方法 首先,为建立一个具有较强目标判别性的算法模型,所提算法根据提取特征的表征质量,自适应地赋予特征相应的权重;其次,为了去除冗余信息,提高算法的运行速度,通过优化信息存储策略,构建了一个轻量级的记忆模块。结果 实验结果表明,在公开数据集DAVIS2016 （densely annotated video segmentation）和DAVIS2017上,本文算法的区域相似度与轮廓准确度的均值J&F分别达到了85.8%和78.3%,与对比的视频目标分割算法相比具有明显的优势。结论 通过合理且无冗余的历史帧信息利用方式,提升了算法对于目标建模的泛化能力,使目标掩码质量更高。     

基于RGB-D的反向融合实例分割算法

RGB-D 图像在提供场景 RGB 信息的基础上添加了 Depth 信息,可以有效地描述场景的色彩及 三维几何信息。结合 RGB 图像及 Depth 图像的特点,提出一种将高层次的语义特征反向融合到低层次的边缘 细节特征的反向融合实例分割算法。该方法通过采用不同深度的特征金字塔网络(FPN)分别提取 RGB 与 Depth 图像特征,将高层特征经上采样后达到与最底层特征同等尺寸,再采用反向融合将高层特征融合到低层,同时 在掩码分支引入掩码优化结构,从而实现 RGB-D 的反向融合实例分割。实验结果表明,反向融合特征模型能 够在 RGB-D 实例分割的研究中获得更加优异的成绩,有效地融合了 Depth 图像与彩色图像 2 种不同特征图像 特征,在使用 ResNet-101 作为骨干网络的基础上,与不加入深度信息的 Mask R-CNN 相比平均精度提高 10.6%, 比直接正向融合 2 种特征平均精度提高 4.5%。     

Multiphase Soft Segmentation with Total Variation and <Emphasis Type="Italic">H</Emphasis><Superscript>1</Superscript> Regularization

In this paper, we propose a variational soft segmentation framework inspired by the level set formulation of multiphase Chan-Vese model. We use soft membership functions valued in [0,1] to replace the Heaviside functions of level sets (or characteristic functions) such that we get a representation of regions by soft membership functions which automatically satisfies the sum to one constraint. We give general formulas for arbitrary N-phase segmentation, in contrast to Chan-Vese’s level set method only 2 ^m -phase are studied. To ensure smoothness on membership functions, both total variation (TV) regularization and H ¹ regularization used as two choices for the definition of regularization term. TV regularization has geometric meaning which requires that the segmentation curve length as short as possible, while H ¹ regularization has no explicit geometric meaning but is easier to implement with less parameters and has higher tolerance to noise. Fast numerical schemes are designed for both of the regularization methods. By changing the distance function, the proposed segmentation framework can be easily extended to the segmentation of other types of images. Numerical results on cartoon images, piecewise smooth images and texture images demonstrate that our methods are effective in multiphase image segmentation.     

融合多重实例关系的无监督跨模态哈希检索

大多数跨模态哈希检索方法仅使用余弦相似度进行特征匹配,计算方式过于单一,没有考虑到实例的关系对于性能的影响.为此,提出一种基于多重实例关系图推理的方法,通过构造相似度矩阵,建立全局和局部的实例关系图,充分挖掘实例之间的细粒度关系.在多重实例关系图的基础上进行相似度推理,首先分别进行图像模态和文本模态关系图内部的推理,然后将模态内的关系映射到实例图中进行推理,最后执行实例图内部的推理.此外,为了适应图像和文本两种模态的特点,使用分步训练策略训练神经网络.在MIRFlickr和NUS-WIDE数据集上实验表明,提出的方法在mAP指标上具有很明显的优势,在Top-k-Precision曲线上也获得良好的效果.这也说明所提方法对实例关系进行深入挖掘,从而显著地提升检索性能.