注意力机制和特征融合的自动抠图算法

针对目前人工抠图工作量大,而自动抠图无法区分多个实例的问题,提出了一种注意力机制和特征融合的自动抠图算法.该算法由预分割模块和Alpha抠图模块2部分组成,分别采用了不同的网络结构.其中预分割模块是使用迁移学习方法对Mask Scoring R-CNN进行微调实现了对多实例自然图像的实例分割,从而得到输入图像前景个体的二值化分割图.而Alpha抠图模块在此基础上首先对二值化分割图预处理生成三分图,然后将三分图与原输入图像一起输入Alpha抠图模块网络.通过为Alpha抠图模块设计不同的解码策略和注意力机制,实现了对图像细节信息的精确恢复.在后续对自制车辆数据集的无人工交互前景车辆Alpha估计对比实验中,相比现有DIM算法,该算法的SAD降低19.2%, MSE降低26.3%,达到了更高的抠图精度.     

粗糙语义引导的同时预测前背景的透明度图估计算法EI北大核心CSCD

针对抠图算法中的“溢色”现象,提出一种同时预测前景、背景和透明度图的算法,并设计了一个结合粗糙语义的自动抠图网络.该算法包括2个阶段:粗糙语义生成阶段和同时预测前背景的抠图阶段.在粗糙语义生成阶段,利用语义分割网络得到中间结果,再通过一个粗糙语义信息融合模块,在多个尺度上对语义信息进行粗略估计;在抠图阶段,利用一个编码器-解码器结构的神经网络对粗糙的语义信息进行编解码,最终得到前景、背景和透明度图的预测.上述2阶段网络可以更加准确地提取出前景物体,得到的透明度图可直接应用于影视特效、图像处理等下游任务.在Adobe数据集和Distinction-646数据集上的实验结果表明,所提算法的绝对误差和分别为42.5和50.3,梯度误差分别为27.1和28.0;抠图的细节也更为准确.     

基于模糊估计融合显著性检测的自动抠图算法

提出了一种新的自动抠图算法框架。首先,估计输入图像各个区域的模糊程度;其次,对图像进行显著性的计算;然后融合模糊度和显著性信息,大致分割出前景和背景,从而自动生成标注前景、背景、未知区域的三色图;最后,采用基于采样的抠图算法就可以准确地完成前景目标物体的自动抠图。该算法无须人工辅助或附加信息。在标准数据集和实拍图像上的实验结果证明了该算法的准确性和实用性,可广泛应用于图像和视频的编辑合成。     

融合多线索信息的数字图像抠图方法研究

针对自然图像抠图方法中存在对先验知识过度依赖和交互输入繁琐的问题,为了扩展自然图像抠图方法的使用范围,提升自然图像抠图方法的自动化程度,提出一种融合多线索信息的数字图像抠图方法。利用原始自然图像所对应的深度信息和视觉显著度信息进行感兴趣区域粗分割;利用形态学的膨胀与腐蚀算法对感兴趣区域的分割结果进行粗分割区域膨胀和粗分割区域腐蚀操作,从而得到抠图过程所需的三分元素图;利用彩色纹理图像和三分元素图,并结合使用相似性传递抠图方法获得精细的前景目标抠图结果。实验结果表明,该方法不仅能够得到较为理想的抠图效果,而且大大提升了自然图像抠图方法的自动化程度。     

具有纠偏性的图像抠图的全局优化方法

通过对图像分割与图像抠图的比较和分析,从图划分的角度考虑抠图问题,提出一种具有纠偏性的图像抠图的全局优化方法.该方法在最小化前景对象与背景相互分离的软分割开销的同时,最大化前景对象的内部关联度.理论分析和实验结果表明,与其他形式的抠图优化目标函数相比,文中方法能够更有效地提取出全局最优的抠图结果,有利于实现自动或半自动的抠图处理.     

基于深度学习的人物肖像全自动抠图算法

针对抠图任务中人物抠图完整度低、边缘不够精细化等繁琐问题,提出了一种基于深度学习 的人物肖像全自动抠图算法。算法采用三分支网络进行学习,语义分割分支(SSB)学习  图的语义信息,细节 分支(DB)学习  图的细节信息,混合分支(COM)将 2 个分支的学习结果汇总。首先算法的编码网络采用轻量 级卷积神经网络(CNN) MobileNetV2,以加速算法的特征提取过程;其次在 SSB 中加入注意力机制对图像特 征通道重要性进行加权,在 DB 加入空洞空间金字塔池化(ASPP)模块,对图像的不同感受野所提取的特征进 行多尺度融合;然后解码网络的 2 个分支通过跳级连接融合不同阶段编码网络提取到的特征进行解码;最后 将 2 个分支学习的特征融合在一起得到图像的  图。实验结果表明,该算法在公开的数据集上抠图效果优于 所对比的基于深度学习的半自动和全自动抠图算法,在实时流视频抠图的效果优于 Modnet。     

基于改进YOLACT的堆垛图像快速分割方法研究

针对堆叠密集的堆垛货箱出现的漏检情况以及难以分割出每个货箱的精确边缘而造成的难以准确抓取的问题,对深度学习实例分割算法YOLACT进行了相应的改进;使用工业相机采集货箱的堆垛图像,利用Labelme标注图像制作数据集,并且通过数据增强方法扩充数据集;为了提高模型的分割准确率,分别对掩码真值和YOLACT中的原型掩码输出分支(Protonet)的预测掩码使用Canny边缘检测算子,并取二者的二值交叉熵损失作为损失函数加入到原网络中训练;使用训练好的最优模型对测试集图像数据进行试验;结果表明,改进后的模型预测掩码mAP_0.5:0.95可以达到0.543,比原模型提高2.2%,同时货箱边缘的分割精度也得到了一定的提升,模型推理速度可达10.2帧/秒,可以满足精度要求和生产节拍要求。     

基于人工免疫调节网络的自然抠图算法及应用

自然图像抠图效果取决于待分离图像的α掩图的精度.基于改进的人工免疫调节网络的自然抠图算法是为未知区域中的象素点定义一个即反映颜色适应度也反映空间信息的权值函数,利用人工免疫网络在前景和背景的全局范围内搜索,以得到该像素点对应的最佳的样本对(F,B),从而得到α掩图.通过实验与其他算法比较,该算法对用户输入的依赖较少,对复杂背景图像的抠图精度高,稳定性好,且对于细长头发丝区域及毛发类的边界区域的划分特别有效.     

基于谱抠图的遥感图像滑坡半自动提取

为统计遥感图像中滑坡区域的有效数据,提出基于谱抠图的遥感图像滑坡半自动提取方法。建立抠图拉普拉斯矩阵,计算特征向量,自动确定聚类数,利用爬山算法对图像聚类,根据特征向量和用户交互数据得到抠图成分,去除平滑项,得到前景透明度。实验结果证明该方法能够有效提取滑坡信息,准确率高,稳定性强。     

基于RWR的自然图像抠图

提出了一种基于图论的自然图像抠图方法。该算法首先在图像上建立图的模型,并用不同颜色标记目标种子点和背景种子点;接着采用有重启概率的随机游走方法计算像素点之间的相似性,进而提出一个线性概率模型;最后求解模型并分别估计前景和背景物体。与目前的抠图方法相比,该算法具有以下特点：将RWR方法结合图论用于自然图像抠图中;减小了RWR算法在图像分割中迭代求逆的高复杂度,大大提高了抠图速度;解决了“弱”边界的问题。     

基于视觉概率统计的无监督数字抠图模型

针对无监督抠图因视觉信息较少而存在抠图结果视觉偏差较大的问题,提出一种基于视觉统计概率的无监督抠图模型。该方法根据视觉统计概率模型训练SVM分类器,得到区分背景区域与视觉显著度较高的前景目标区域的SIFT特征点,根据特征点生成结构合理的Trimap,并利用Trimap实现无监督抠图。实验结果表明,在无用户交互的情况下,该模型生成的[α]掩像无较大视觉偏差,对前景目标边缘及透明度做出良好估计并且具有较好的鲁棒性。     

改进的自然图像鲁棒抠图算法

自然抠图从背景复杂的彩色图像中根据已知像素进行未知像素的透明度估计以实现前景的准确提取,是图像处理和影视制作的关键技术之一。由于自然图像透明度值的求解具有高度不确定性,目前对颜色和结构复杂的图像抠图效果并不理想。提出一种改进的鲁棒抠图算法。该方法根据trimap的已知前景和背景区域减少未知像素个数;计算前景-背景对的可靠性,选择可信赖的样本对获得透明度的初始值和信心值;优化基于图拉普拉斯的二次目标函数并确定未知像素最终透明度值。自然抠图实验结果表明,与几种主要抠图算法相比,所提方法能提取到具有更好视觉效果和均方误差的前景。     

Deep infrared pedestrian classification based on automatic image matting

Infrared pedestrian classification plays an important role in advanced driver assistance systems. However, it encounters great difficulties when the pedestrian images are superimposed on a cluttered background. Many researchers design very deep neural networks to classify pedestrian from cluttered background. However, a very deep neural network associated with a high computational cost. The suppression of cluttered background can boost the performance of deep neural networks without increasing their depth, while it has received little attention in the past. This study presents an automatic image matting approach for infrared pedestrians that suppresses the cluttered background and provides consistent input to deep learning. The domain expertise in pedestrian classification is applied to automatically and softly extract foreground objects from images with cluttered backgrounds. This study generates trimaps, which must be generated manually in conventional approaches, according to the estimated positions of pedestrian’s head and upper body without the need for any user interaction. We implement image matting by adopting the global matting approach and taking the generated trimap as an input. The representation of pedestrian is discovered by a deep learning approach from the resulting alpha mattes in which cluttered background is suppressed, and foreground is enhanced. The experimental results show that the proposed approach improves the infrared pedestrian classification performance of the state-of-the-art deep learning approaches at a negligible computational cost.     

数字抠图技术综述

数字抠图是一种把图像的前景部分从背景中分离出来的技术,它通过用户指定图像中少量部分前景和背景区域,并根据这些提示按照一定的判定规则自动、准确地分离出所有的前景物体.回顾了该技术的历史发展过程,包括光学场景抽取、蓝屏抠图和图像合成技术,重点介绍了数字蓝屏抠图、自然图像抠图以及数字抠图技术的扩展和应用,如环境抠图、阴影抠图、视频抠图等,并对这几种技术的局限性以及发展方向做了简要的说明.     

一种鲁棒视频抠图算法*

基于鲁棒抠图算法提出了一种鲁棒视频抠图算法。新算法给出了一种基于少量手工标记的Strokes生成Trimap的方法,为视频帧半自动生成较为粗糙的Trimap划分,同时结合标记传递策略大大减少视频抠图过程中的手工标记操作。理论分析和实验结果证明鲁棒视频抠图算法能够获得较优的视频抠图结果。     

一种基于双层框架的仿射类图像抠像方法

仿射类抠像方法主要分为KNN(K-nearest neighbor)类和Matting Laplacian类方法,本文结合这2种方法的优点提出了一种基于仿射类的双层次抠像方法.其中,第一层为绝对像素的划分层次或预处理层次,采用了基于KNN类简单权重与相对远距离的搜索方法,并结合初始Trimap未知区域大小无关的方式;第...     

A Survey on Pre-Processing in Image Matting

Pre-processing is an important step in digital image matting, which aims to classify more accurate foreground and background pixels from the unknown region of the input three-region mask (Trimap). This step has no relation with the well-known matting equation and only compares color differences between the current unknown pixel and those known pixels. These newly classified pure pixels are then fed to the matting process as samples to improve the quality of the final matte. However, in the research field of image matting, the importance of pre-processing step is still blurry. Moreover, there are no corresponding review articles for this step, and the quantitative comparison of Trimap and alpha mattes after this step still remains unsolved. In this paper, the necessity and the importance of pre-processing step in image matting are firstly discussed in details. Next, current pre-processing methods are introduced by using the following two categories: static thresholding methods and dynamic thresholding methods. Analyses and experimental results show that static thresholding methods, especially the most popular iterative method, can make accurate pixel classifications in those general Trimaps with relatively fewer unknown pixels. However, in a much larger Trimap, there methods are limited by the conservative color and spatial thresholds. In contrast, dynamic thresholding methods can make much aggressive classifications on much difficult cases, but still strongly suffer from noises and false classifications. In addition, the sharp boundary detector is further discussed as a prior of pure pixels. Finally, summaries and a more effective approach are presented for pre-processing compared with the existing methods.     

基于局部抠像技术的融合图像精确跟踪算法

为了提高跟踪精度,提出一种基于局部抠像的融合图像全自动精确跟踪算法。首先采用帧间差分法获取运动目标的大致区域,并自动生成局部抠像框,由此采集目标、背景代表颜色集合;在此基础上自动生成抠像所需的草图,实现对目标的抠像;最后对抠像产生的前景映射图进行边缘检测即可获取精确的目标轮廓,并可根据跟踪结果对模型进行更新。对于实验的图像序列,与目标实际中心相比较,抠像跟踪误差均值为0.9像素,传统均值漂移跟踪误差均值为5.2像素。实验结果表明,该方法跟踪结果能完整、清晰地表示目标轮廓,很好地解决了跟踪中的漂移问题,提升了跟踪精度