基于图像抠图技术的多聚焦图像融合方法

针对多聚焦图像融合容易出现信息丢失、块效应明显等问题,提出了一种新的基于图像抠图技术的多聚焦图像融合算法。首先,通过聚焦检测获得源图像的聚焦信息,并根据所有源图像的聚焦信息生成融合图像的三分图,即前景、背景和未知区域;然后,利用图像抠图技术,根据三分图获得每一幅源图像的精确聚焦区域;最后,将这些聚焦区域结合起来构成融合图像的前景和背景,并根据抠图算法得到的确定前景、背景对未知区域进行最优融合,增强融合图像前景、背景与未知区域相邻像素之间的联系,实现图像融合。实验结果表明,与传统算法相比,所提算法在客观评价方面能获得更高的互信息量（MI）和边缘保持度,在主观评价方面能有效抑制块明显效应,得到更优的视觉效果。该算法可以应用到目标识别、计算机视觉等领域,以期得到更优的融合效果。     

基于谱抠图的遥感图像滑坡半自动提取

为统计遥感图像中滑坡区域的有效数据,提出基于谱抠图的遥感图像滑坡半自动提取方法。建立抠图拉普拉斯矩阵,计算特征向量,自动确定聚类数,利用爬山算法对图像聚类,根据特征向量和用户交互数据得到抠图成分,去除平滑项,得到前景透明度。实验结果证明该方法能够有效提取滑坡信息,准确率高,稳定性强。     

改进Closed_Form Solution方法进行前景物体运动模糊抠图

针对Closed_Form Solution图像抠图方法在进行前景物体运动模糊抠图时容易受到复杂背景影响而产生抠图不精确问题, 提出一种结合运动模糊物体局部梯度统计特征以及透明度连续性特点的抠图方法。该方法在原来Closed_Form Solution方法中加入一项含有权重的透明度值之差的约束平滑项, 通过相邻像素运动梯度统计特征和透明度差值约束改善传统方法抠图不精确问题。仿真实验和真实运动模糊抠图实验结果表明, 改进算法相对传统Closed_Form Solution方法能够更有效地提取出前景物体运动模糊区域, 抠图结果更为平滑。     

数字抠图技术综述

数字抠图是一种把图像的前景部分从背景中分离出来的技术,它通过用户指定图像中少量部分前景和背景区域,并根据这些提示按照一定的判定规则自动、准确地分离出所有的前景物体.回顾了该技术的历史发展过程,包括光学场景抽取、蓝屏抠图和图像合成技术,重点介绍了数字蓝屏抠图、自然图像抠图以及数字抠图技术的扩展和应用,如环境抠图、阴影抠图、视频抠图等,并对这几种技术的局限性以及发展方向做了简要的说明.     

例样相似性的全局最优抠图算法

数字抠图技术,即采用已知部分的前景和背景信息从图像中提取出完整的前景信息的过程,在图像和视频编辑中发挥着极其重要的作用。从计算机视觉的角度出发,这是一项极具挑战性的工作,因为必须为每个像素点估计前景和背景组合因子。当前现存的以例样相似性为基础的抠图方法常常会因为无法搜索到正确的例样而抠图失败。提出了例样相似性的全局最优抠图算法。该算法同时考虑例样的颜色信息和坐标信息,并建立简单有效的抠图代价函数。为了降低代价函数最优化时的计算复杂度,我们采用了模拟退火算法对代价函数进行优化。同时,引入引导滤波来提高抠图精度。实验结果表明本文算法能够进行高质量的图像抠图。     

融合多线索信息的数字图像抠图方法研究

针对自然图像抠图方法中存在对先验知识过度依赖和交互输入繁琐的问题,为了扩展自然图像抠图方法的使用范围,提升自然图像抠图方法的自动化程度,提出一种融合多线索信息的数字图像抠图方法。利用原始自然图像所对应的深度信息和视觉显著度信息进行感兴趣区域粗分割;利用形态学的膨胀与腐蚀算法对感兴趣区域的分割结果进行粗分割区域膨胀和粗分割区域腐蚀操作,从而得到抠图过程所需的三分元素图;利用彩色纹理图像和三分元素图,并结合使用相似性传递抠图方法获得精细的前景目标抠图结果。实验结果表明,该方法不仅能够得到较为理想的抠图效果,而且大大提升了自然图像抠图方法的自动化程度。     

基于MRF的复杂图像抠图

所谓复杂图像抠图就是从复杂图像中抠取出目标物体的一种图像处理算法。为了取得更好的抠图效果,提出了一种基于马尔可夫随机场的自然图像抠图方法。该方法首先手工把图像分成3个区域:前景区域、背景区域和未知区域;然后,再将未知区域用手工粗略地划分成几个相交的小区域;接着在每一个小区域内,以其中的未知区域的像素点为节点,定义抠图标号,同时在这些节点上面建立MRF抠图模型,并把这些标号赋给这些节点,这样抠图问题被定义为在这个MRF模型和它的Gibbs分布上MAP估计问题;继而再计算出每个小区域的掩像;最后把这些掩像合并,即得到输入图像最终的掩像。和其他算法相比,对复杂图像的抠图问题,该方法可以取得更好的抠图效果。     

粗糙语义引导的同时预测前背景的透明度图估计算法EI北大核心CSCD

针对抠图算法中的“溢色”现象,提出一种同时预测前景、背景和透明度图的算法,并设计了一个结合粗糙语义的自动抠图网络.该算法包括2个阶段:粗糙语义生成阶段和同时预测前背景的抠图阶段.在粗糙语义生成阶段,利用语义分割网络得到中间结果,再通过一个粗糙语义信息融合模块,在多个尺度上对语义信息进行粗略估计;在抠图阶段,利用一个编码器-解码器结构的神经网络对粗糙的语义信息进行编解码,最终得到前景、背景和透明度图的预测.上述2阶段网络可以更加准确地提取出前景物体,得到的透明度图可直接应用于影视特效、图像处理等下游任务.在Adobe数据集和Distinction-646数据集上的实验结果表明,所提算法的绝对误差和分别为42.5和50.3,梯度误差分别为27.1和28.0;抠图的细节也更为准确.     

基于显著目标移动的自动抠图方法

抠图技术是一种常用的提取图像中精确目标区域的方法,在图像编辑中有着重要的 应用,现有的大多数抠图技术依赖于人工交互,本文提出一种基于显著目标移动的自动抠图方法。 首先对输入图像进行区域分割;然后计算各个区域的显著性值,并建立区域之间的显著性引力模 型;在此基础上进行基于显著目标移动的迭代,从而获取图像的显著区域;之后对显著图进行分 割并且进行目标区域形态学运算,生成三分图;最后利用基于学习的抠图算法,提取图像目标。 实验结果表明,本文方法不需要人工交互和其他的辅助信息,目标抠取效果良好。     

改进的自然图像鲁棒抠图算法

自然抠图从背景复杂的彩色图像中根据已知像素进行未知像素的透明度估计以实现前景的准确提取,是图像处理和影视制作的关键技术之一。由于自然图像透明度值的求解具有高度不确定性,目前对颜色和结构复杂的图像抠图效果并不理想。提出一种改进的鲁棒抠图算法。该方法根据trimap的已知前景和背景区域减少未知像素个数;计算前景-背景对的可靠性,选择可信赖的样本对获得透明度的初始值和信心值;优化基于图拉普拉斯的二次目标函数并确定未知像素最终透明度值。自然抠图实验结果表明,与几种主要抠图算法相比,所提方法能提取到具有更好视觉效果和均方误差的前景。     

人体前景的自动抠图算法

在基于立体视觉的人体建模系统中,背景像素的移除可以减少不必要的立体匹配计算,提高人体模型重建效率.为此,在给定大量具有前景Alpha蒙板真值的人体图像作为训练数据的前提下,提出了一个端到端的深度学习网络,以实现系统采集图像中人体前景自动抠图.该深度学习网络包括2个阶段:人体前景分割阶段和人体前景Alpha抠图阶段.在人体前景分割阶段,采用Mask R-CNN网络中的目标检测和掩码生成2个负载,并结合训练数据进行迁移学习,得到了适用于人体前景二值化分割的模型网络.在人体前景Alpha抠图阶段,采用Encoder-Decoder网络架构实现Alpha蒙板的自动预测.首先引入核为5的非学习卷积层,以上一个阶段的二值化分割结果作为输入,自动得到三分图Trimap,再和人体前景训练数据一起作为此阶段抠图网络的输入;经过学习迭代,获得能够预测人体前景Alpha蒙板的模型网络.在实验部分,以单幅系统采集人体图像为输入,无需额外先验和人工交互,可以自动估计人体前景Alpha掩码结果.用户测试结果以及与其他方法的对比和分析证明了文中算法的可靠性和鲁棒性;同时,该自动抠图算法还对其他公开数据集的人体图像进行了掩码预测,实验结果表明该算法具有一定的泛化能力.     

结合背景和前景先验的显著性检测

目的 显著性检测已成为图像处理过程中的一个重要步骤,已被应用到许多计算机视觉任务中。虽然显著性检测已被研究多年并取得了较大的进展,但仍存在一些不足,例如在复杂场景中的检测不准确或检测结果夹带着背景噪声等。因此,针对已有图像显著性检测方法存在的不能有效抑制背景区域,或不能清晰突显出完整的目标区域的缺点,提出一种结合背景先验和前景先验信息的图像显著性检测算法。方法 首先选取图像的边界超像素作为背景区域,从而根据每个区域与背景区域的差异度来建立背景先验显著图;然后通过计算特征点来构建一个能够粗略包围目标区域的凸包,并结合背景先验显著图来选取前景目标区域,从而根据每个区域与前景目标区域的相似度来生成前景先验显著图;最后融合这两个显著图并对其结果进一步优化得到更加平滑和准确的显著图。结果 利用本文算法对MSRA10K数据库内图像进行显著性检测,并与主流的算法进行对比。本文算法的检测效果更接近人工标注,而且精确率和效率都优于所对比的算法,其中平均精确率为87.9%,平均召回率为79.17%,F值为0.852 6,平均绝对误差（MAE）值为0.113,以及平均运行时间为0.723 s。结论 本文提出了一种结合两类先验信息的显著性检测算法,检测结果既能够有效地抑制背景区域,又能清晰地突显目标区域,从而提高了检测的准确性。     

Adaptive propagation matting based on transparency of image

Image matting is an essential technique in many image and video editing applications. Although many matting methods have been proposed, it is still a challenge for most to obtain satisfactory matting results in the transparent foreground region of an image. To solve this problem, this paper proposes a novel matting algorithm, i.e. adaptive transparency-based propagation matting (ATPM) algorithm. ATPM algorithm considers image matting from a new slant. We pay attention to the transparencies of the input images and creatively assign them into three categories (highly transparent, strongly transparent and little transparent) according to the transparencies of the foreground objects in the images. Our matting model can make relevant adjustment in terms of the transparency types of the input images. Moreover, many current matting methods do not perform well when the foreground and background regions have similar color distributions. Our method adds texture as an additional feature to effectively discriminate the foreground and background regions. Experimental results on the benchmark dataset show that our method gets high-quality matting results for images of three transparency types, especially provides more accurate results for highly transparent images comparing with the state-of-the-art methods.     

A Survey on Pre-Processing in Image Matting

Pre-processing is an important step in digital image matting, which aims to classify more accurate foreground and background pixels from the unknown region of the input three-region mask (Trimap). This step has no relation with the well-known matting equation and only compares color differences between the current unknown pixel and those known pixels. These newly classified pure pixels are then fed to the matting process as samples to improve the quality of the final matte. However, in the research field of image matting, the importance of pre-processing step is still blurry. Moreover, there are no corresponding review articles for this step, and the quantitative comparison of Trimap and alpha mattes after this step still remains unsolved. In this paper, the necessity and the importance of pre-processing step in image matting are firstly discussed in details. Next, current pre-processing methods are introduced by using the following two categories: static thresholding methods and dynamic thresholding methods. Analyses and experimental results show that static thresholding methods, especially the most popular iterative method, can make accurate pixel classifications in those general Trimaps with relatively fewer unknown pixels. However, in a much larger Trimap, there methods are limited by the conservative color and spatial thresholds. In contrast, dynamic thresholding methods can make much aggressive classifications on much difficult cases, but still strongly suffer from noises and false classifications. In addition, the sharp boundary detector is further discussed as a prior of pure pixels. Finally, summaries and a more effective approach are presented for pre-processing compared with the existing methods.     

基于前景优化和概率估计的显著性检测

为了对图像中的显著目标进行更精确的识别,提出一种基于前景优化和概率估计的区域显著性检测算法.所提出算法主要包括前景与背景线索选择、前景线索优化及基于概率估计的显著性区域检测3部分.首先,采用简单线性迭代聚类算法对图像进行初始分割;然后,分别检测图像的背景线索和前景线索,并利用背景线索对前景线索进行优化;最后,采用概率估计算法分别对基于背景线索和优化后前景线索进行显著性区域检测,并对两者结果进行融合.对比实验表明,所提出算法相比其他算法取得了较高的查准率,具有较好的检测性能.     

基于显著度的非监督抠像方法

为免除抠像过程中的人工参与步骤,提出一种基于显著度的非监督抠像方法。提取输入图像的显著度图,利用块融合与块过滤方法,获得抠像的参考信息,将图像划分为多个层次进行多分辨率抠像,从图像背景中抠取出前景物体。实验结果证明,该抠像方法在计算速度和抠像效果上均优于非监督的光谱抠像方法。     

基于颜色通道比较的显著性检测

为了快速有效地检测图像中的显著性区域,利用颜色通道差异信息和空间信息,提出了一种基于颜色通道比较的显著性检测算法. 该算法将显著性检测任务看作对图像前景区域和背景区域进行分离和识别的过程,首先基于RGB颜色空间构造了一组反映不同色彩信息的颜色通道,通过通道比较将不同颜色的区域分离开,然后通过分析空间信息选择出属于前景的区域,最后对所有前景区域进行合并得到最终的显著图. 我们在两个公开数据集上与现有的一些检测算法进行了对比试验,结果表明该算法具有较低的计算复杂度以及较高的检测准确率和召回率,证明该算法是简单有效的.     

基于感知颜色空间的透明度估计方法

提出一种用于自然图像抠图的高效的基于感知颜色空间的透明度估计方法。在用户指定图像的未知区域后，对于其中的任意一点，估计出该点的前景颜色分量和背景颜色分量，把该点RGB颜色的亮度信息和色度信息分开。分别估计出该点的亮度透明度分量和色度透明度分量，将这2个透明度分量的加权平均作为该点的最终透明度值。     

一种基于双层框架的仿射类图像抠像方法

仿射类抠像方法主要分为KNN (K-nearest neighbor)类和Matting Laplacian类方法, 本文结合这2种方法的优点提出了一种基于仿射类的双层次抠像方法.其中, 第一层为绝对像素的划分层次或预处理层次, 采用了基于KNN类简单权重与相对远距离的搜索方法, 并结合初始Trimap未知区域大小无关的方式; 第二层为混合像素的计算层次或最终抠像层次, 充分利用了第一层计算获得的剩余混合像素的宽度, 自适应地调整Matting Laplacian中的颜色线性模型所构成颜色近邻的核宽度.每个层次均按图像的全局颜色重叠程度相应调整合理的搜索范围.本文的实验具备以下特点: 1)预处理层次之后采用了若干典型的后续抠像方法, 以展现本文方法相比于其他预处理方法对后续抠像操作步骤的优越性和兼容性; 2)最终抠像层次引入了若干其他抠像方法, 以验证本文抠像方法的优越性.实验表明, 相比于其他单层次的仿射类方法, 无论对于计算绝对像素还是混合像素, 本文方法都可以大幅提升计算结果的准确率.