借助大位移视图进行图像修补的透视畸变最小化算法

提出一种由粗到精的透视畸变最小化算法,借助大位移视图来修补目标图像.它先对大位移视点图像进行透视畸变校正后再用来补全目标图像上的丢失信息区域.首先,在平面场景的假设下,大位移视点图像通过单应矩阵进行全局变形得到初始的畸变校正.然后,由误匹配识别机制检测出初始校正的大位移视图中的残余畸变.在颜色一致性和位移场光滑性的期望下,残余畸变通过基于能量优化的重叠像素对应算法得到进一步的松弛.最后,在极线几何以及像素邻域中的位移场光滑性和颜色一致性的约束下,信息丢失像素按照特别定义的修补优先级函数依次得到恢复.泊松图像融合算法被用于消除修补区域与其周围像素之间可能存在的鬼影现象从而得到无缝的修补效果.实验表明,该方法优于已有的图像修补算法,且能够修补含有复杂结构信息的较大受损区域.     

利用大位移视图的自动可信图像修补

为了以自动的方式达到反映原始场景真实性的图像复原效果,提出一个基于大位移视图的自动可信图像修补技术框架.首先,根据优缺点互补的原则将几种显著特征检测器有效地结合起来,提取目标图像和大位移视图上均匀分布的准稠密特征对应点集.然后,受启发于先验模型与模型拟合问题,提出一个准平面场景区域聚类算法,通过对特征对应点集的聚类划分将整个自然场景图像分割表示成多个准平面场景区域,以校正大位移视图中的景物投影变形.最后,受启发于纹理合成与图像拼接技术,提出一个准平面场景区域合成算法,校正并缝合空洞周围的多个准平面场景区域重投影图像至目标图像上,以填补目标图像上的信息丢失区域.实验结果与实拍照片之间的视觉辨别困难表明了本文方法的有效性.     

虚平面映射:深度图像内部视点的绘制技术

首先推导与归纳了图像三维变换中像素深度场的变换规律,同时提出了基于深度场和极线原则的像素可见性别方法,根据上述理论和方法,提出一种基于深度图像的建模与绘制(image-based modeling and rendering,简称IBMR)技术,称为虚平面映射.该技术可以基于图像空间内任意视点对场景进行绘制.绘制时,先在场景中根据视线建立若干虚拟平面,将源深度图像中的像素转换到虚平面上,然后通过对虚平面上像素的中间变换,将虚平面转换成平面纹理,再利用虚平面的相互拼接,将视点的成像以平面纹理映射的方式完成.新方法还能在深度图像内侧,基于当前视点快速获得该视点的全景图,从而实现视点的实时漫游.新方法视点运动空间大、存储需求小,且可以发挥图形硬件的纹理映射功能,并能表现物体表面的三维凹凸细节和成像视差效果,克服了此前类似算法的局限和不足.     

基于多尺度MRF图像样本修补稳健算法

为了消除在单尺度条件下进行图像修补过程中,在修复区域产生的累积误差,提出了基于多尺度MRF图像样本修补稳健算法.根据图像包含的尺度特征,应用序贯最大后验概率准则对不同尺度的匹配样本采用不同权重的代价函数,利用大尺度填充信息指导小尺度目标区域的修补,实现图像全局信息与局部信息的有机融合.实验结果表明,多尺度MRF图像样本修补算法能更好抑制修复区域由于累积误差产生的“垃圾物”和马赛克现象,同时保持良好的纹理和结构特征.     

基于区域分割和样本信息的图像修复算法

本文提出了一种通过区域分割和样本信息的图像修复算法,该修复算法是迭代的搜索原域和利用原域中最相似的修补块来填充目标域。首先采用区域分割的方法对图像中目标域进行区域划分,确定不同的目标域的修补区域,从而减少对整个原域的搜索;然后利用修补区域中的样本信息选择修补块大小;最后对图像进行修复。实验结果表明,该算法是有效的,从视觉修复效果较其他算法有了显著提高。     

快速结构化图像修补

图像修补的目的是对图像中缺失的区域进行修复,或是将图像中的物体抠去并进行背景填充,以取得融合到难以用肉眼分辨的效果。在图像修补的过程中,较大的结构信息是修补的难点。为此提出了一种快速结构化的图像修补算法,该方法将图像修补分为结构修补与纹理填充两个部分,即在用户指定待修补区域与结构曲线之后,首先定义全局最优化能量函数,并用动态规划与置信度传播的算法将其最小化来完成结构修补;然后对剩余的待修补区域通过按行扫描来进行纹理填充,其中对于边界处的点是使用基于样本的修补算法,而对于待修补区域内部的点,则使用快速的加权Ashikhmin-WL算法,扫描完成后输出修补后的图像;最后实现了一个快速结构化图像修补系统,并给出一些实验结果,从实验结果中可以看到,该方法的修补流程与算法是有实际应用价值的。     

基于自动结构延伸的图像修补方法

针对图像修补问题中结构信息修补的难题, 提出一种自动延伸图像中显著结构信息并完成图像修补的方法. 通过提取图像未知区域周围的显著结构信息, 并依据结构信息的趋势向未知区域中自动延伸, 形成指导修补的辅助线. 沿着辅助线修补显著结构信息后再利用基于块的纹理合成修复余下的未知区域. 实验结果证明本文提出方法相比传统基于块的纹理合成方法能够得到更好的修补效果.     

基于邻域滤波的图像修复

图像修复是图像恢复研究中的一个重要内容,它的目的是根据图像现有的信息来自动恢复丢失的信息,可以用于对旧图片的修复。大多数现有图像修复算法都非常复杂,而且难于实现。由于图像中的边缘代表了图像的重要信息,所以在设计修复算法时,必须着重考虑边缘的恢复。提出了一种基于图像邻域滤波算法、利用图像的空间连续性,及图像的边缘信息的图像修复算法。该算法实现简单,修复速度快,对小区域的修复效果较好。     

基于修复顺序的图像修复算法

提出一个用于图像修复的算法。首先计算修复前沿每个待修复小片的优先级,然后优先修复具有最高优先级的小片。优先级计算方法能体现每个小片具有的结构信息以及已有颜色的可信度,使得基于小片的纹理综合方法有序进行,同时修复目标区域中的纹理和结构信息。用户选择一个目标区域后,算法就根据选择区域周围的信息自动地修复目标区域。实验证明该算法不仅快速且修复的效果非常好,且目标区域较大时也能达到很好效果。     

基于参考纹理与自身色彩的图像修复

传统的图像修复工作仅仅利用破损图像本身的信息完成,破损面积较大并且结构比较复杂时,破损图像不能提供足够的信息导致修复效果不理想。针对这个问题提出了基于参考图像纹理与破损图像自身颜色的修复算法。该算法在图像库中通过图像检索智能筛选相似参考图像,并选择最优区域填充破损图像区域,利用参考图像样块与自身未破损区域的纹理信息保证修复边界的平滑性,再结合颜色迁移与扩展算法使破损图像修复区域与完好区域的色彩协调一致。实验结果表明新提出的修复算法使得图像修复区域过渡更加自然,能在视觉上有较好的效果。     

Image completion based on views of large displacement

This paper presents an algorithm for image completion based on the views of large displacement. A distinct from most existing image completion methods, which exploit only the target image’s own information to complete the damaged regions, our algorithm makes full use of a large displacement view (LDV) of the same scene, which introduces enough information to resolve the original ill-posed problem. To eliminate any perspective distortion during the warping of the LDV image, we first decompose the target image and the LDV one into several corresponding planar scene regions (PSRs) and transform the candidate PSRs on the LDV image onto their correspondences on the target image. Then using the transformed PSRs, we develop a new image repairing algorithm, coupled with graph cut based image stitching, texture synthesis based image inpainting, and image fusion based hole filling, to complete the missing regions seamlessly. Finally, the ghost effect between the repaired region and its surroundings is eliminated by Poisson image blending. Our algorithm effectively preserves the structure information on the missing area of the target image and produces a repaired result comparable to its original appearance. Experiments show the effectiveness of our method.     

基于语义分割的红外和可见光图像融合

红外图像即使在低光照条件下,也能根据热辐射的差异将目标与背景区分开来,而可见光图像具有高空间分辨率的纹理细节,此外,红外和可见光图像都含有相应的语义信息.因此,红外与可见光图像融合,需要既保留红外图像的辐射信息,也保留可见光图像的纹理细节,同时,也要反映出二者的语义信息.而语义分割可以将图像转换为带有语义的掩膜,提取源图像的语义信息.提出了一种基于语义分割的红外和可见光图像融合方法,能够克服现有融合方法不能针对性地提取不同区域特有信息的缺点.使用生成式对抗神经网络,并针对源图像的不同区域设计了2种不同的损失函数,以提高融合图像的质量.首先通过语义分割得到含有红外图像目标区域语义信息的掩模,并利用掩模将红外和可见光图像分割为红外图像目标区域、红外图像背景区域、可见光图像目标区域和可见光图像背景区域;然后对目标区域和背景区域分别采用不同的损失函数得到目标区域和背景区域的融合图像;最后将2幅融合图像结合起来得到最终融合图像.实验表明,融合结果目标区域对比度更高,背景区域纹理细节更丰富,提出的方法取得了较好的融合效果.     

划分特征子区域的图像修复算法

为了解决含有丰富纹理信息和复杂结构信息的大破损区域中的缺失信息修复的问题,提出了一种划分特征子区域的图像修复算法。首先,根据图像中包含的不同特征,运用特征公式进行特征提取,再通过统计特征值划分特征子区域,提高了图像修复的速度;其次,在原Criminisi算法的基础上改进了优先级的计算,通过增大结构项的影响,避免结构断裂的产生;然后,通过目标块和其最佳邻域相似块共同约束样本块的选取,确定最佳样本块集;最后,利用权值分配法合成最佳样本块。实验结果表明,所提算法相比原Criminisi算法,其峰值信噪比（PSNR）提升了2~3 dB,相比基于稀疏表示的块优先权值计算的算法,其修复效率有明显的提高。所提算法不但适用于一般小尺度的破损图像的修复,而且对于含有丰富纹理信息和复杂结构信息的大破损图像的修复效果也更佳,并且修复后的图像更加符合人们视觉上的连通性。     

强化边缘结构的分段自适应图像修复算法

针对基于样本的图像修复技术在修复井下煤岩图像时存在纹理过渡延伸和边缘结构不连续的问题,提出一种强化边缘结构的分段自适应图像修复算法,其在Criminisi算法中引入基于ISEF的数据项和等照度线曲率信息构成新的优先权函数,解决了修复顺序不当的问题;并利用局部方差特征与信息熵划分的区域类型自适应选择样本块大小,解决了边缘保持的问题。在常用测试图像与孟村煤矿的煤岩图像上进行了修复实验,相较于传统的Criminisi方法,该算法的平均PSNR分别提升了0.37 dB与1.33 dB,平均SSIM分别提升了0.002 3与0.002 7。实验结果表明,该算法对纹理结构信息复杂的图像具有较好的修复效果,为煤壁图像的修复奠定了基础。     

结构张量的改进Criminisi修复

目的 针对传统基于样本块的图像修复算法中仅利用图像的梯度信息和颜色信息来修复破损区域时,容易产生错误填充块的问题,本文在Criminisi算法的基础上,利用结构张量特性,提出了一种改进的基于结构张量的彩色图像修复算法。方法 首先利用结构张量的特征值定义新的数据项,以确保图像的结构信息能够更加准确地传播;然后利用该数据项构成新的优先权函数,使得图像的填充顺序更加精准;最后利用结构张量的平均相干性来自适应选择样本块大小,以克服结构不连续和错误延伸的缺点;同时在匹配准则中,利用结构张量特征值来增加约束条件,以减少错误匹配率。结果 实验结果表明,改进算法的修复效果较理想,在主观视觉上有明显的提升,其修复结果的峰值信噪比（PSNR）和结构相似度（SSIM）都有所提高;与传统Criminisi算法相比,其峰值信噪比提高了1~3 dB。结论 本文算法利用结构张量的特性实现了对不同结构特征的彩色破损图像的修复,对复杂的线性结构和纹理区域都有较理想的修复,有效地保持了图像边缘结构的平滑性,而且对大物体的移除和文字去除也有较好的修复效果。     

基于样例的图像修复改进算法

基于样例的图像修复算法在修复强结构纹理图像时存在结构不连续现象。针对该问题,提出一种基于样例的图像修复改进算法。在计算数据项时引入结构张量,实现各向异性线性结构的优先级,以决定目标区域修复的先后顺序,使用置信度项和数据项加权和的方式计算优先级。实验结果证明,改进算法对强结构纹理图像的修复效果较优。     

结合纹理结构的分数阶TV模型的图像修复

目的 TV（total variation）模型在图像修复时易导致图像中具有弱导数性质的纹理和边缘细节等信息变得模糊,为了克服该缺陷,分数阶微分被引入到TV模型中,但传统的分数阶TV模型对弱边缘和弱纹理等细节信息的保持仍不够理想,并且没有充分利用图像已知区域的先验信息,修复精度仍有待提高。方法 针对该问题,提出结合纹理结构信息和分数阶TV模型的图像修复算法。改进的模型在分数阶TV模型求解时,在梯度计算过程中增加了一个极小值,克服了正则项和数据项在零点处的不可微,从而增加了模型的稳定性。再则改进的模型根据图像已知区域的先验信息确定待修复区域的纹理方向,从而更好地保持了图像中的纹理细节和弱边缘信息。结果 将本文算法与3种修复效果较好的算法进行对比,采用客观评价指标：均方差（MSE）、峰值信噪比（PSNR）和差值图像进行评价,实验结果表明本文算法在不同的纹理图像修复中均取得较好的效果,如对标准图像库中的Barbara和Lena图像以及岩石图像进行修复后,与原始TV模型相比,它们的峰值信噪比分别提高5.94%、8.07%和3.85%,灰度均方差分别降低48.66%、65.89%和35%;与分数阶TV模型相比,它们的峰值信噪比分别提高4.17%、8.59%和1.81%,灰度均方差分别降低37.90%、68.00%和18.68%。结论 提出的模型相对于原始的TV模型和分数阶TV模型,均能有效地提高图像修复的精度,适合于包含较多弱纹理和弱边缘信息的图像修复,该模型是TV模型的重要延伸和推广。     

小波变换与纹理合成相结合的图像修复

目的 为了克服传统的图像修复算法在结构和纹理边界的错误修复,利用小波变换域的系数特征,探讨了一种基于小波变换与纹理合成相结合的修复算法。方法 算法先利用小波变换将待修复图像分解成具有不同分辨率的低频子图和高频子图,然后根据不同子图各自的特征分别进行修复。对代表图像结构信息的低频子图,采用FMM(fast marching method)算法进行修复;对代表图像纹理信息的高频子图,根据各子图中小波系数的特征,利用纹理合成方法进行修复。结果 分层、分类修复方法对边缘破损具有良好的修复效果,其峰值信噪比相比于传统算法提高了1~2 dB。结论 与相关算法相比,本文算法的综合修复能力较好,可以有效修复具有较强边缘和丰富纹理的破损图像,尤其对破损自然图像的修复,修复后图像质量得到较大提升,修复效果更符合人眼视觉效应。     

深度融合图像文本特征的文本引导图像修复

为解决现有文本引导图像修复模型在处理文本图像融合时模态间信息缺乏高效融合导致修复结果不真实且语义一致性差的问题,提出一种通过条件批量归一化融合图像文本特征实现文本引导的图像修复模型BATF。首先,通过空间区域归一化编码器对破损和未破损区域分别归一化,减少了直接特征归一化对均值方差偏移的影响;其次,将提取的图像特征与文本特征向量通过深度仿射变换进行融合,增强了生成器网络特征图的视觉语义嵌入,使图像和文本特征得到更有效的融合;最后,为增强修复图像的纹理真实性及语义一致性,设计了一种高效鉴别器并引入了目标感知鉴别器。在CUB brid这个带有文本标签的数据集上进行定量和定性实验表明,提出的模型在PSNR（peak signal-to-noise ratio）、SSIM （structural similarity）以及MAE（mean absolute error）度量指标分别达到了20.86、0.836和23.832。实验结果表明,BATF模型对比现有的MMFL和ALMR模型效果更好,修复的图像既符合给定文本属性的要求又具有高度语义一致性。     

基于非降采样轮廓波变换的图像修复算法

多尺度分析技术已经广泛应用于数字图像处理领域,较大破损区域的图像修复成为图像修复的一个热点和难点。针对该问题,结合多分辨率分析原理与传统的样本块图像修复技术,提出了一种基于非降采样轮廓波变换的图像修复算法。该算法利用非降采样轮廓波变换把图像分解成低频部分和高频部分,并对图像分解后不同频率的部分分别予以修复。其中,图像的低频成分采用改进的纹理合成的方法进行修复。因为图像经过非降采样轮廓波变换后,低频分量与高频分量之间对应位置的信息之间具有一致性的特点,所以在修复低频成分的同时实现其他高频分量对应位置信息的修复。最后通过非降采样轮廓波重构过程完成纹理图像的修复。一般图像修复方法的参数选取以图像的修复效果最佳为宜,给出一个反例进行分析论证。实验发现,所提算法所修复图像的结构相似性测度与经典Criminisi算法和小波修复算法相差不大,但是峰值信噪比（PSNR）测度依据不同图像的纹理结构的特点与破损区域的不同位置特点而不同。仿真实验表明,所提方法很好地推广了非降采样轮廓波变换在图像修复中的应用,并且在修复大区域破损图像时能够获得较好的修复效果。