基于实例分割与毕达哥拉斯模糊决策的目标跟踪

为了解决目标跟踪中的尺度变化、相似性干扰、遮挡等问题，提出一种基于实例分割与毕达哥拉斯模糊决策的目标跟踪算法。在实例分割网络YOLACT++(improved You Only Look At CoefficienTs)的基础上，融合3种不同的匹配方式针对不同场景预测跟踪结果；同时提出一种基于毕达哥拉斯模糊决策的模板更新机制，即根据预测结果的质量作出是否更新目标模板和更换匹配方式的决定。实验结果表明，所提算法能够更准确地跟踪存在尺度变化、相似性干扰、遮挡等问题的视频序列。相较于SiamMask算法，所提算法在DAVIS 2016、DAVIS 2017数据集上的区域相似度分别提高了12.3、15.3个百分点，在VOT2016、VOT2018数据集上的预期平均重叠率（EAO）分别提高了4.2、4.1个百分点，且所提算法的平均跟踪速度为每秒32.00帧，满足实时性要求。     

基于注意力机制和有效分解卷积的实时分割算法

针对现阶段实时语义分割算法计算成本高和内存占用大而无法满足实际场景需求的问题,提出一种新型的浅层的轻量级实时语义分割算法——基于注意力机制和有效分解卷积的实时分割算法（AEFNet）。首先,利用一维非瓶颈结构（Non-bottleneck-1D）构建轻量级分解卷积模块以提取丰富的上下文信息并减少运算量,同时以一种简单的方式增强算法学习能力并利于提取细节信息;然后,结合池化操作和注意力细化模块（ARM）构建全局上下文注意力模块以捕捉全局信息并细化算法的每个阶段,从而优化分割效果。算法在公共数据集cityscapes和camvid上进行验证,并在cityscapes测试集上获得精度为74.0%和推理速度为118.9帧速率（FPS）,相比深度非对称瓶颈网络（DABNet）,所提算法在精度上提高了约4个百分点,推理速度提升了14.7 FPS,与最近高效的增强非对称卷积网络（EACNet）相比,所提算法精度略低0.2个百分点,然而推理速度提高了6.9 FPS。实验结果表明：所提算法能够较为准确地识别场景信息,并能满足实时性要求。     

基于对目标理解和感知的检测跟踪算法

传统的核相关滤波器（KCF）目标跟踪算法利用目标的纹理特征进行相关运算定位,没有检测目标类别,因此在目标纹理被噪声干扰,例如目标运动模糊、快速抖动、目标遮挡等情况时的跟踪精度和成功率较低。针对这些问题,提出一种语义分割和多特征融合相结合的目标检测跟踪算法。该算法将目标跟踪分为检测和跟踪两个部分：在检测阶段使用全卷积网络（FCN）语义分割对场景进行语义分析,对场景中的目标进行分类;在定位阶段使用KCF算法进行跟踪定位,为了提高跟踪精度,将目标的方向梯度直方图（HOG）特征和颜色（CN）特征融合为新的特征。在标准数据集OTB-100视频序列上的实验结果表明,相较于KCF算法,所提算法的跟踪精度和成功率分别提高了14.3个百分点和13.2个百分点,有效提高了跟踪性能。     

基于距离加权重叠度估计与椭圆拟合优化的精确目标跟踪算法

为解决判别式相关滤波（DCF）跟踪算法在跟踪目标旋转或非刚性形变时的模型漂移、尺度粗糙、跟踪失败问题,提出一种基于距离加权重叠度估计与椭圆拟合优化的精确目标跟踪算法（DWOP-EFO）。首先,同时采用矩形框之间的重叠度和中心距离作为动态锚框质量评价的依据,能够缩小预测结果与目标区域之间的空间距离,缓解模型漂移问题;其次,为了进一步提高跟踪精度,采用轻量化的目标分割网络将目标从背景中分割出来,再利用椭圆拟合算法对分割轮廓进行优化并输出稳定的旋转矩形框,实现对目标尺度的精确估计;最后,通过尺度置信度优化策略对置信度高的尺度结果实现门控输出。所提算法能缓解模型漂移问题,同时有利于增强跟踪器的鲁棒性和提升跟踪精度。在两个最为流行的评测数据集VOT2018和OTB100上进行了实验,结果表明：在VOT2018数据集上,所提算法的期望平均重叠率（EAO）指标比基于重叠度最大化准确跟踪算法（ATOM）提高2.2个百分点,相较于基于可学习的判别模型跟踪器（DiMP）提高1.9个百分点;同时,所提算法在OTB100评测数据集上的成功率指标比ATOM高出1.3个百分点,特别是在非刚性形变属性上效果显著。所提算法在评测数据集上的平均运行速率均超过25 frame/s实现了实时跟踪。     

基于张量核范数与3D全变分的背景减除

针对常用背景减除方法忽略前景时空连续性的问题,以及动态背景对前景提取的干扰问题,基于张量鲁棒主成分分析（TRPCA）提出了一种改进的背景减除模型。该模型利用改进的张量核范数对背景进行约束,加强了背景的低秩性,保留了视频的空间信息;然后用3D全变分（3D-TV）对前景进行正则化约束,考虑了目标在时空上的连续性,有效地抑制了动态背景和目标移动对前景提取造成的干扰。实验结果表明,所提算法能有效地分离视频中的前景和背景,且与高阶鲁棒主成分分析（HoRPCA）、带有新核范数的张量鲁棒主成分分析（TRPCA-TNN）和基于克罗内克基的鲁棒主成分分析（KBR-RPCA）等方法相比,综合评判指标F-measure值均处于最优或次优状态。由此可见,所提算法有效地提高了前景背景分离的准确度,抑制了复杂天气和目标移动对前景提取的干扰。     

基于可分离金字塔的轻量级实时语义分割算法

针对现有语义分割算法参数量过多、内存占用巨大导致其很难满足自动驾驶需要等现实应用的问题,提出一种基于可分离金字塔模块（SPM）的新颖、有效且轻量的实时语义分割算法。首先,利用特征金字塔形式的分解卷积和扩张卷积来构建瓶颈结构,从而以一种简单但有效的方式提取局部和上下文信息;然后,提出基于计算机视觉注意力的上下文通道注意力（CCA）模块,来利用深层语义修改浅层特征图通道权重优化分割效果。实验结果显示：所提出的算法在Cityscapes测试集上以每秒91帧的速度达到了71.86%的平均交并比（mIoU）。相较高效残差分解卷积网络（ERFNet）,所提算法mIoU提高了3.86个百分点,处理速度是其2.2倍;与最新的非局部高效实时算法（LRNNet）相比,所提算法mIoU略低0.34个百分点,但处理速度每秒上升了20帧。实验结果表明,所提算法有助于完成如自动驾驶中要求的高效、准确的街道场景图像分割任务。     

基于张量核范数与3D全变分的背景减除

针对常用背景减除方法忽略前景时空连续性的问题，以及动态背景对前景提取的干扰问题，基于张量鲁棒主成分分析（TRPCA）提出了一种改进的背景减除模型。该模型利用改进的张量核范数对背景进行约束，加强了背景的低秩性，保留了视频的空间信息；然后用3D全变分（3D-TV）对前景进行正则化约束，考虑了目标在时空上的连续性，有效地抑制了动态背景和目标移动对前景提取造成的干扰。实验结果表明，所提算法能有效地分离视频中的前景和背景，且与高阶鲁棒主成分分析（HoRPCA）、带有新核范数的张量鲁棒主成分分析（TRPCA-TNN）和基于克罗内克基的鲁棒主成分分析（KBR-RPCA）等方法相比，综合评判指标F-measure值均处于最优或次优状态。由此可见，所提算法有效地提高了前景背景分离的准确度，抑制了复杂天气和目标移动对前景提取的干扰。     

基于双重金字塔网络的视频目标分割方法

针对复杂视频场景中难以分割特定目标的问题，提出一种基于双重金字塔网络（DPN）的视频目标分割方法。首先，通过调制网络的单向传递让分割模型适应特定目标的外观。具体而言，从给定目标的视觉和空间信息中学习一种调制器，并通过调制器调节分割网络的中间层以适应特定目标的外观变化。然后，通过基于不同区域的上下文聚合的方法，在分割网络的最后一层中聚合全局上下文信息。最后，通过横向连接的自左而右结构，在所有尺度中构建高阶语义特征图。所提出的视频目标分割方法是一个可以端到端训练的分割网络。大量实验结果表明，所提方法在DAVIS2016数据集上的性能与较先进的使用在线微调的方法相比，可达到相竞争的结果，且在DAVIS2017数据集上性能较优。     

基于多分支网络的道路场景实时语义分割方法

针对目前实时语义分割方法存在大目标分割不准确、小目标信息丢失的问题,提出一种基于多分支网络的实时语义分割算法。首先,对双边分割网络进行优化,设计了金字塔分支扩大感受野,以覆盖视野内的大目标,充分地将上下文信息结合起来;其次,设计双边指导融合模块,为深层和浅层的特征映射提供指导信息,弥补小目标信息的损失。最后在Cityscapes数据集上进行验证,实验结果表明所提模型以51.3 fps的推理速度使平均交并比达到77.8%,与基准相比,精度提高了2.5个百分点。所提方法采用金字塔分支,在扩大感受野的同时,获取不同尺度的语义边缘区域特性,增强对语义边界的建模能力,且提出的双边指导融合模块可以更有效地融合不同层次的特征,弥补下采样造成的信息丢失,能够更好地指导模型学习。     

基于时空上下文信息增强的目标跟踪算法

充分利用视频中的时空上下文信息能明显提高目标跟踪性能,但目前大多数基于深度学习的目标跟踪算法仅利用当前帧的特征信息来定位目标,没有利用同一目标在视频前后帧的时空上下文特征信息,导致跟踪目标易受到邻近相似目标的干扰,从而在跟踪定位时会引入一个潜在的累计误差。为了保留时空上下文信息,在SiamMask算法的基础上引入一个短期记忆存储池来存储历史帧特征;同时,提出了外观显著性增强模块（ASBM）,一方面增强跟踪目标的显著性特征,另一方面抑制周围相似目标对目标的干扰。基于此,提出一种基于时空上下文信息增强的目标跟踪算法。在VOT2016、VOT2018、DAVIS-2016和DAVIS-2017等四个数据集上进行实验与分析,结果表明所提出的算法相较于SiamMask算法在VOT2016上的准确率和平均重叠率（EAO）分别提升了4个百分点和2个百分点;在VOT2018上的准确率、鲁棒性和EAO分别提升了3.7个百分点、2.8个百分点和1个百分点;在DAVIS-2016上的区域相似度、轮廓精度指标中的下降率均分别降低了0.2个百分点;在DAVIS-2017上的区域相似度、轮廓精度指标中的下降率分别降低了1.3和0.9个百分点。     

基于权值多样性的半监督分类算法

在实际生活中,可以很容易地获得大量系统数据样本,却只能获得很小一部分的准确标签。为了获得更好的分类学习模型,引入半监督学习的处理方式,对基于未标注数据强化集成多样性（UDEED）算法进行改进,提出了UDEED⁺——一种基于权值多样性的半监督分类算法。UDEED⁺主要的思路是在基学习器对未标注数据的预测分歧的基础上提出权值多样性损失,通过引入基学习器权值的余弦相似度来表示基学习器之间的分歧,并且从损失函数的不同角度充分扩展模型的多样性,使用未标注数据在模型训练过程中鼓励集成学习器的多样性的表示,以此达到提升分类学习模型性能和泛化性的目的。在8个UCI公开数据集上,与UDEED算法、S4VM（Safe Semi-Supervised Support Vector Machine）和SSWL（Semi-Supervised Weak-Label）半监督算法进行了对比,相较于UDEED算法,UDEED⁺在正确率和F1分数上分别提升了1.4个百分点和1.1个百分点;相较于S4VM,UDEED⁺在正确率和F1分数上分别提升了1.3个百分点和3.1个百分点;相较于SSWL,UDEED⁺在正确率和F1分数上分别提升了0.7个百分点和1.5个百分点。实验结果表明,权值多样性的提升可以改善UDEED⁺算法的分类性能,验证了其对所提算法UDEED⁺的分类性能提升的正向效果。     

自适应权重更新的轻量级视频目标分割算法

目的 针对现有视频目标分割（video object segmentation,VOS）算法不能自适应进行样本权重更新,以及使用过多的冗余特征信息导致不必要的空间与时间消耗等问题,提出一种自适应权重更新的轻量级视频目标分割算法。方法 首先,为建立一个具有较强目标判别性的算法模型,所提算法根据提取特征的表征质量,自适应地赋予特征相应的权重;其次,为了去除冗余信息,提高算法的运行速度,通过优化信息存储策略,构建了一个轻量级的记忆模块。结果 实验结果表明,在公开数据集DAVIS2016 （densely annotated video segmentation）和DAVIS2017上,本文算法的区域相似度与轮廓准确度的均值J&F分别达到了85.8%和78.3%,与对比的视频目标分割算法相比具有明显的优势。结论 通过合理且无冗余的历史帧信息利用方式,提升了算法对于目标建模的泛化能力,使目标掩码质量更高。     

基于深度生成式对抗网络的蓝藻语义分割

针对传统图像分割算法分割蓝藻图像准确率不足的问题,提出了一种基于深度神经网络（DNN）和生成式对抗网络（GAN）思想的网络结构,称为深度生成式对抗网络（DGAN）。首先,在传统全卷积神经网络（FCN）的基础上构建了一个12层的FCN作为生成网络（G）,用于学习分布规律,生成蓝藻图像的分割结果（Fake）;然后,设计了一个5层的卷积神经网络（CNN）作为判别网络（D）,用于区分生成网络生成的分割结果（Fake）和手工标注的真实分割结果（Label）,G试图生成Fake并蒙骗D,D试图找出Fake并惩罚G;最后,通过两个网络的对抗式训练,G生成的Fake可以蒙骗D,从而获得了更好的分割结果。在3075张蓝藻图像集上的训练和测试结果表明,DGAN在精确率、召回率及F₁分数等指标上均大幅领先基于迭代的阈值分割算法;相比FCNNet （SHELHAMER E,LONG J,DARRELL T.Fully convolutional networks for semantic segmentation.IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39（4）：640-651）、Deeplab （CHEN L C,PAPANDREOU G,KOKKINOS I,et al.Semantic image segmentation with deep convolutional nets and fully connected CRFs.Computer Science,2014（4）：357-361）等其他基于DNN的方法也提升了超过4个百分点,取得了更精准的分割结果。分割速度上,DGAN的0.63 s略慢于FCNNet的0.46 s,但远快于Deeplab的1.31 s。DGAN均衡的分割准确率和分割速度为基于图像的蓝藻语义分割提供了可行的技术方案。     

一种用于视频对象分割的仿U形网络

在半监督的分割任务中,单镜头视频对象分割(OSVOS)方法根据第一帧的对象标记掩模进行引导,从视频画面中分离出后续帧中的前景对象。虽然取得了令人印象深刻的分割结果,但其不适用于前景对象外观变化显著或前景对象与背景外观相似的情形。针对这些问题,提出一种用于视频对象分割的仿U形网络结构。将注意力机制加入到此网络的编码器和解码器之间,以便在特征图之间建立关联来产生全局语义信息。同时,优化损失函数,进一步解决了类别间的不平衡问题,提高了模型的鲁棒性。此外,还将多尺度预测与全连接条件随机场(FC/Dense CRF)结合,提高了分割结果边缘的平滑度。在具有挑战性的DAVIS 2016数据集上进行了大量实验,此方法与其他最先进方法相比获得了具有竞争力的分割结果。     

结合l1/2范数与显著性约束的背景减除

传统背景减除模型在背景静止和前景对象移动较快时提取到的前景效果较好,但当背景变化或前景对象移动缓慢时容易将动态背景误判为前景或检测出的前景有较多空洞。针对传统背景减除模型在动态背景和前景对象移动缓慢条件下存在前景检测精度下降的问题,提出一种基于l_1/2范数与显著性约束的背景减除模型。将观测数据分为低秩背景、运动前景和动态干扰3类,利用l_1/2范数约束运动前景加强前景稀疏性,有效抑制动态背景对前景提取造成的干扰,提高运动前景在动态背景中的检测精度。引入视频每一帧的显著性约束,通过对每一帧图像进行低秩稀疏分解来检测移动缓慢的目标。实验结果表明,该模型对于复杂场景具有较强的适应能力,可有效去除动态背景对前景的干扰,快速检测出移动缓慢的前景对象,相比于l_1/1/2-RPCA背景减除模型的平均查全率、查准率和调和平均值分别提升了9、14和10个百分点。     

边界感知的实时语义分割网络

目前多数实时语义分割网络不仅同时处理边界和纹理等细节信息而且还忽略了语义边界区域特征,从而导致物体边界分割质量下降。针对该问题,提出一种边界感知的实时语义分割网络,主要从三个方面提高边界语义分割质量。提出了边界感知学习机制利用位置信息降低边界特征和轮廓附近细节的耦合度使边界感知和位置关系相互促进。设计轻量级区域自适应模块增强卷积网络对复杂语义边界区域的建模能力。根据采样区域像素贡献值不同设计了高效的空洞空间金字塔池化模块以增强重要的细节和语义特征。实验方面,与基准相比,在Cityscapes验证集上精度提升了约5.8个百分点,在Cityscapes测试集上以47.2 FPS的推理速度使精度达到了74.9%。在CamVid数据集上与BiSeNetV2算法相比mIoU提升了约3.96个百分点。     

基于前景语义信息的图像着色算法

图像可分为前景部分与背景部分,而前景往往是视觉中心.在图像着色任务上,由于前景的类别多且情况复杂,着色困难,以至于图像中的前景部分会存在着色暗淡和细节丢失等问题.针对这些问题,提出了基于前景语义信息的图像着色算法,以改善图像着色效果,达到图像整体颜色自然、内容颜色丰富的目的.首先利用前景子网提取前景部分的低级特征和高级...     

基于深度学习模型的遥感图像分割方法

利用遥感图像快速准确地检测地物信息是当前的研究热点。针对遥感图像地表物的传统人工目视解译分割方法效率低下和现有基于深度学习的遥感图像分割算法在复杂场景下准确率不高、背景噪声多的问题，提出一种基于改进的U-net架构与全连接条件随机场的图像分割算法。首先，融合VGG16和U-net构建新的网络模型，以有效提取具有高背景复杂度的遥感图像特征；然后，通过选取适当的激活函数和卷积方式，在提高图像分割准确率的同时显著降低模型预测时间；最后，在保证分割精度的基础上，使用全连接条件随机场进一步优化分割结果，以获得更加细致的分割边缘。在ISPRS提供的标准数据集Potsdam上进行的仿真测试表明，相较于U-net，所提算法的准确率、召回率和均交并比（MIoU）分别提升了15.06个百分点、29.11个百分点和0.3662，平均绝对误差（MAE）降低了0.02892。实验结果验证了该算法具备有效性和鲁棒性，是一种有效的遥感图像地表物提取算法。     

深度学习在视频对象分割中的应用与展望

视频对象分割是指在给定的一段视频序列的各帧图像中,找出属于特定前景对象的所有像素点位置区域.随着硬件平台计算能力的提升,深度学习受到了越来越多的关注,在视频对象分割领域也取得了一定的进展.本文首先介绍了视频对象分割的主要任务,并总结了该任务所面临的挑战.其次,对开放的视频对象分割常用数据集进行了简要概述,并介绍了通用的...     

动态生成掩膜弱监督语义分割

目的 传统图像语义分割需要的像素级标注数据难以大量获取,图像语义分割的弱监督学习是当前的重要研究方向。弱监督学习是指使用弱标注样本完成监督学习,弱标注比像素级标注的标注速度快、标注方式简单,包括散点、边界框、涂鸦等标注方式。方法 针对现有方法对多层特征利用不充分的问题,提出了一种基于动态掩膜生成的弱监督语义分割方法。该方法以边界框作为初始前景分割轮廓,使用迭代方式通过卷积神经网络（convolutional neural network,CNN） 多层特征获取前景目标的边缘信息,根据边缘信息生成掩膜。迭代的过程中首先使用高层特征对前景目标的大体形状和位置做出估计,得到粗略的物体分割掩膜。然后根据已获得的粗略掩膜,逐层使用CNN 特征对掩膜进行更新。结果 在Pascal VOC（visual object classes） 2012 数据集上取得了78.06% 的分割精度,相比于边界框监督、弱—半监督、掩膜排序和实例剪切方法,分别提高了14.71%、4.04%、3.10% 和0.92%。结论 该方法能够利用高层语义特征,减少分割掩膜中语义级别的错误,同时使用底层特征对掩膜进行更新,可以提高分割边缘的准确性。