结合图像细节特征的全局优化纹理合成

提出了一种结合图像细节特征的全局优化纹理合成算法.作者利用非线性分解方法获取纹理细节作为特征图,将其作为纹理图像一个新的信息通道来引导纹理合成.联合图像细节信息通道和颜色通道,在图像上建立了一个全局的纹理合成能量方程,采用最大期望值算法迭代优化求解出一个全局的能量最小值.在全局优化算法中,构建样本纹理和待合成纹理之间的各个信息通道直方图匹配算法,进一步提高纹理合成的质量.文中同时给出了结合细节特征的图像和视频纹理合成算法,实验结果表明,文中的方法较好地解决了纹理合成中合成的纹理图像结构不连续或特征结构容易断裂等问题.     

融合语义标签和噪声先验的图像生成

针对现有生成模型难以直接从复杂语义标签生成高分辨率图像的问题,提出了融合语义标签和噪声先验的生成对抗网络(SLNP-GAN)。首先,直接输入语义标签(包含形状、位置和类别等信息),使用全局生成器对其进行编码,并结合噪声先验来学习粗粒度的全局属性,初步合成低分辨率图像;然后,基于注意力机制,使用局部细化生成器来查询低分辨率图像子区域对应的高分辨率子标签,获取细粒度信息,从而生成纹理清晰的复杂图像;最后,采用改进的引入动量的Adam算法(AMM)算法来优化对抗训练。实验结果表明,与现有方法text2img相比,所提方法的像素精确度(PA)在COCO_Stuff和ADE20K数据集上分别提高了23.73%和11.09%;相较于Adam算法,AMM算法收敛速度提升了约一倍,且损失值波幅较小。可见,SLNP-GAN能高效地获取全局特征和局部纹理,生成细粒度、高质量的图像。     

改进的基于稀疏表示的全色锐化算法

为了更有效地结合高分辨率全色（PAN）图像细节信息和低分辨率多光谱（MS）图像光谱信息，提出了一种改进的全色锐化算法。首先，对低分辨率MS图像的强度通道进行下采样再上采样获取其低频成分；其次，用强度通道减去低频成分获取其高频成分，在获取到的高低频成分中进行随机采样来构建字典；然后，用构建好的过完备字典对高分辨率PAN图像进行分块分解以获取高频信息；最后，将分解出的高频信息注入到低分辨率MS图像中以重建高分辨率MS图像。经多组实验后发现，所提出的算法在主观上保留了光谱信息，并注入了大量的空间细节信息。对比结果表明，相比其他诸如基于成分替换算法、基于多分辨率分析算法、基于稀疏表示算法，所提算法重建出来的高分辨率MS图像更加清晰，且在相关系数等多种客观评价指标上优于对比算法。     

一种改进的SFIM高光谱图像融合算法

基于平滑滤波的亮度调节(SFIM)图像融合技术具有算法简单、计算快捷、光谱保真度高的优点,但同样存在边缘模糊、空间纹理信息提高不足的问题。针对上述问题,本文从瞬时视场角的角度出发提出一种改进SFIM算法,采用隔行隔列采样技术代替原SFIM算法中的逐行逐列卷积方法,从原高分辨率图像中计算模拟低分辨率图像。试验结果表明改进算法在边缘清晰度和空间纹理信息等方面均有明显的提高,且保持了原SFIM算法计算快捷的优点。     

基于深度图压缩的边界自适应上采样方案

在三维视频系统中,为了更好地保护深度图的锐利边界并改善虚拟视图的合成质量,提出一种新的边界自适应性上采样方案来恢复由于在编码前进行下采样操作而丢失的深度信息。通过Sobel算子识别出低分辨率深度图和高分辨率纹理图的水平边界和垂直边界。根据深度图不同区域的特点利用纹理信息来指导高分辨率深度图的重建。实验结果表明本文方法在提高了编码效率的同时也改善了合成视图的视觉效果。     

基于特征匹配的渐变纹理图像合成算法

近年来发展起来的纹理合成算法可以由小块纹理样图合成任意大小的纹理图像。合成的纹理图像虽然和样本纹理在视觉上相似且连续,但是缺少变化,因此需要有算法能使合成纹理图像产生需要的变化。文中借助输入样本图像的MIP图像和基于块的纹理合成,在边界的合成过程中加入了特征匹配以提高合成纹理图像的质量。实验结果表明,该算法可以在沿着纹理合成的方向上产生渐变的纹理图像,并通过特征匹配能够使合成的纹理图像在视觉是平滑过渡的。     

低分辨率人脸图像的迭代标签传播识别算法

针对监控视频下低分辨率人脸识别中存在的特征表示能力不强及判别开集人脸图像身份不够准确的问题,文中提出低分辨率人脸图像的迭代标签传播识别算法.采用视觉几何组(VGG)提取人脸图像特征,依据特征的相似度获得高、低分辨率图像的映射关系.对已标记样本和未标记样本进行迭代标签传播,在每次迭代过程中,通过统计每个类别的置信度直方图,估计识别精确率逼近100%的自适应置信度阈值.根据阈值将确认的未标记样本更新至已标记样本集,提高算法召回率.在公共数据集上的实验表明,文中算法在精确率逼近100%的基础上,召回率取得较高值.     

改进的暗原色先验理论视频去雾算法研究

针对暗原色先验算法出现的边缘残雾、天空区域彩色失真、去雾后图像偏暗以及实时性差等问题,提出了一种基于点暗原色先验和引导滤波的视频去雾算法。采用逐点式最小值滤波来消除块效应,并利用四叉树法来快速准确地估计大气光值,结合直方图均衡化技术来增强图像,改善视觉效果,同时利用图像采样技术和引导滤波优化算法提高速度。实验结果显示,该算法的去雾图像清晰,运算量小,适用范围广,鲁棒性好,适合实时视频去雾。     

雾天退化模型参数估计与CUDA设计

针对基于物理模型的去雾方法大多采用统计或假设等先验信息获取模型参数精度较低的问题,提出一种非假设的雾天退化模型参数估计方法.为了尽可能准确地获取大气光值和透射率值,首先采用四叉树算法求解大气光值;随后利用预训练的卷积神经网络获取粗略透射率图,并使用引导滤波算法优化透射率图;最后通过大气散射模型逆向求解获取复原图像.实验结果表明,文中方法在去雾各项性能指标上表现均衡,不仅提高了雾天图像的清晰度和亮度,而且可以有效地避免"晕轮效应".算法时间性能实验表明,文中算法CPU效率比其他去雾算法提高40%+,应用CUDA并行设计将耗时的引导滤波算法并行化后效率有显著提升,处理分辨率大小为640×480(单位为像素)雾天图像仅需0.048 9 s,可直接迁移应用于视频去雾处理,满足视频处理的实时性要求.     

利用双通道卷积神经网络的图像超分辨率算法

目的 图像超分辨率算法在实际应用中有着较为广泛的需求和研究。然而传统基于样本的超分辨率算法均使用简单的图像梯度特征表征低分辨率图像块,这些特征难以有效地区分不同的低分辨率图像块。针对此问题,在传统基于样本超分辨率算法的基础上,提出双通道卷积神经网络学习低分辨率与高分辨率图像块相似度进行图像超分辨率的算法。方法 首先利用深度卷积神经网络学习得到有效的低分辨率与高分辨率图像块之间相似性度量,然后根据输入低分辨率图像块与高分辨率图像块字典基元的相似度重构出对应的高分辨率图像块。结果 本文算法在Set5和Set14数据集上放大3倍情况下分别取得了平均峰值信噪比(PSNR)为32.53 dB与29.17 dB的效果。结论 本文算法从低分辨率与高分辨率图像块相似度学习角度解决图像超分辨率问题,可以更好地保持结果图像中的边缘信息,减弱结果中的振铃现象。本文算法可以很好地适用于自然场景图像的超分辨率增强任务。     

Fast multi-scale joint bilateral texture upsampling

We present a new approach using a multi-scale joint bilateral filter for upsampling the synthesized texture generated by optimization-based methods. Our method is based on the following motivation: if the available exemplar texture is used as a priority to upsample the synthesized texture, a high resolution result that prevents image blurring can be obtained. Our multi-scale joint bilateral upsampling applies a spatial filter on each multi-scale layer of the synthesized texture, and jointly applies a similar range filter on exemplar texture, which guides the interpolation from low to high resolution, by magnifying and combining the upsampled information; the details of the upsampled texture are progressively enhanced, and the image blurring artifacts can be effectively avoided. We offer an accelerated joint bilateral filter, which enables our upsampling method to interactively generate a large texture. In addition, we propose a detail-aware texture optimization approach that incorporates image detail in texture optimization to improve the quality of the synthesized texture, on which the multi-scale joint bilateral filter works to generate a more convincing result. We show results for upsampling image and video textures and compare them to traditional upsampling methods, by this demonstrating that with low computational and memory costs, our method achieves better results.     

基于双模式联合三边滤波器的深度图像超分辨率方法

彩色图像引导的深度图像超分辨率方法通过利用高分辨率彩色图像的高频信息来重建深度图像,取得了不错的重建效果,但当深度图像和彩色图像边缘不(完全)一致或彩色区域纹理丰富时,重建图像普遍存在边缘模糊和纹理拷贝问题.针对这一问题,提出一种边缘图像引导的双模式联合三边滤波器(DMJTF)方法.该方法利用单幅低分辨率深度图像构建了一个边缘图像金字塔字典,然后利用MRF模型构建了一个高分辨率边缘图像,该图像确定了滤波器的两种模式,分别用于重构深度图像的边缘和平滑区域.实验结果表明DMJTF算法有效地避免了纹理拷贝异常,降低了边缘模糊现象,在定性和定量两个方面都优于其他算法,取得了较好的超分效果.     

面向虚拟视点绘制的深度图滤波及上采样方法

针对虚拟视点合成系统中虚拟视点的绘制质量不高,主观效果不理想的问题,同时为了提高自由视点电视系统中的深度图压缩性能,对基于下/上采样的深度图编码方法中的深度图滤波及上采样方法进行了研究.首先,根据深度图的特性使用H.264/MVC对深度图进行下采样压缩.其次,提出使用(A)-Trous小波滤波器对解码后的低分辨率深度图进行滤波,减少由编码器引入的块效应,继而提出多相似度自适应权重上采样方法恢复原始分辨率深度图.最后,使用上采样后的深度图与未压缩的彩色视频序列进行虚拟视点合成,通过虚拟视点的峰值信噪比(PSNR)来衡量客观绘制质量.实验结果显示,使用提出的中值滤波和多相似度上采样方法与(A)-Trous小波滤波和多相似度上采样方法生成的虚拟视点的PSNR分别比自适应权值上采样方法提高至少0.04 dB和0.22 dB,而且后者极大程度上改善了虚拟视点的主观绘制质量.     

Semantic segmentation of high-resolution images

Image semantic segmentation is a research topic that has emerged recently. Although existing approaches have achieved satisfactory accuracy, they are limited to handling low-resolution images owing to their large memory consumption. In this paper, we present a semantic segmentation method for high-resolution images. First, we downsample the input image to a lower resolution and then obtain a low-resolution semantic segmentation image using state-of-the-art methods. Next, we use joint bilateral upsampling to upsample the low-resolution solution and obtain a high-resolution semantic segmentation image. To modify joint bilateral upsampling to handle discrete semantic segmentation data, we propose using voting instead of interpolation in filtering computation. Compared to state-of-the-art methods, our method significantly reduces memory cost without reducing result quality.     

基于引导滤波和多尺度局部自相似单幅红外图像超分辨率方法

本文针对红外图像存在分辨率不高、对比度低的特点,提出了基于引导滤波和多尺度局部自相似性红外单幅图像超分辨率算法。首先,该方法引进了类高斯分布的“类高斯核”,在此基础上构建均值引导滤波器,该滤波器是一种线性边缘保持滤波器,可以得到图像的高频细节。其次,根据图像的自相似性,对初始高分辨率图像和原始低分辨率图像进行分块,得到待匹配窗和搜索窗,根据非局部均值（NLM）,待匹配窗图像块的值利用搜索窗中相似块的加权平均计算得到。再次,利用图像自相似性,待匹配窗在搜索窗的邻域内进行匹配搜索,找到与待匹配窗最相似的匹配块,计算出最佳匹配块的高频细节图像块,与相似块的加权平均值相加,重构出高分辨率待匹配窗。最后,合并所有的超分辨率重构的待匹配窗,相邻图像块重叠区域的像素值使用平均融合得到,得到最终的超分辨率图像。实验结果表明,本文算法不仅能很好重构图像的高频细节,还能很好的恢复图像的纹理特征,得到的结果不仅边缘更清晰更真实,而且纹理更加丰富。     

分层联合双边滤波的深度图修复算法研究

三维场景建模及三维多目标检测识别等研究中需要获取高精度、高分辨率深度图,针对RGB-D传感器提供的深度信息存在分辨率低、深度值缺失和噪声干扰等问题,提出一种基于深度置信度的分层联合双边滤波深度图修复算法。基于深度信息获取存在的问题提出相应的深度退化模型,采用深度置信度测量对深度像素进行置信度分类,根据深度置信度确定滤波器窗口权重值,利用提出的分层联合双边滤波算法在待修复区域完成深度图修复。采用Middlebury标准数据库和自采数据库进行定性对比实验和定量结果分析表明,该算法对深度图修复后边缘更加清晰合理,消除了边缘模糊和纹理伪像,有效提高了三维深度图修复的精确度。     

基于纹理分析的去噪声方法研究

中巴资源一号卫星高分辨率CCD相机接收的图像数据,灰度值偏低,对比度较差,且存在明显的条带噪声;当图像被增强时,这种条带更加突出,严重影响了图像的质量以及清晰度,不利于数据的应用。从与以往不同角度出发,提出了基于纹理分析的去条带方法。即将图像上具有特定特征的噪声信息看作是某种对应的纹理特征,在基于纹理特征滤波法去噪声基础上,再用灰度共生矩阵法进一步进行直方图平滑,以消除局部噪声。同时将此方法与基于统计的均值调节法进行对比分析。     

Two-level joint local laplacian texture filtering

Extracting the structure component from an image with textures is a challenging problem. This paper presents a novel structure-preserving texture-filtering approach based on the two-level local Laplacian filter. The new texture-filtering method is developed by introducing local Laplacian filters into the joint filtering. Our study shows that local Laplacian filters can also be used for texture smoothing by defining a special remapping function, which is closely related to joint bilateral filtering. This finding leads to a variant of the joint bilateral filter, which produces smooth edges while preserving color variations. Our filter shares similar advantages with the joint bilateral filter, such as being simple to implement and easy to understand. Experiments demonstrate that the new filter can produce satisfactory filtering results with the properties of texture smoothing, smooth edges, and edge shape preserving. We compare our method with the state-of-the-art methods to demonstrate its improvements, and apply this filter to a variety of image-editing applications.     

非真实感绘制漫画艺术效果的研究与实现

提出了一种基于非真实感绘制的漫画艺术效果绘制算法。算法首先将输入图像从 RGB 色彩空间转换为LAB 色彩空间,通过双边滤波及色彩量化的方法对输入图像进行处理,获 得连续的、局部区域色彩一致的结果图像,可通过权值等参数对滤波及量化程度进行控制。其次, 采用DOG 滤波器和阈值处理求取输入图像的边缘信息,获得连续的、清晰的边缘。最后将边缘 图像融合到量化结果图像中,获得最终的漫画艺术效果。从最终的漫画艺术绘制效果看出,该算 法简单、易于实现。     

一种融合颜色和纹理特征的遥感图像检索方法

海量遥感图像的自动查询和选择，迫切需要有效的基于内容的图像检索方法。鉴于单一视觉特征不能很好地表达图像内容，为此提出一种基于五叉树分解的线性加权颜色和纹理特征距离的检索新方法。该方法首先采用五叉树分解法分解图像，然后在利用多通道Gabor滤波器与图像做卷积得到滤波能量值的基础上，提取各子图像滤波能量纹理特征，最后通过计算子图像的颜色均值和均方差来对查询图像和与其大小相当的数据库子图像进行颜色和纹理特征线性加权距离相似性测度。将该方法用于高分辨率卫星和航空遥感图像数据库检索的实验结果证明，该方法是有效的。