基于级联深度卷积神经网络的高性能图像超分辨率重构

为了进一步提高现有图像超分辨率重构方法所得图像的分辨率,提出一种高性能的深度卷积神经网络（HDCN）模型用于重构放大倍数固定的超分辨率图像。通过建立级联HDCN模型解决传统模型重构图像时放大倍数无法按需选择的问题,并在级联过程中引入深度边缘滤波器以减少级联误差,突出边缘信息,从而得到高性能的级联深度卷积神经网络（HCDCN）模型。基于Set5、Set14数据集进行超分辨率图像重构实验,证明了引入深度边缘滤波器的有效性,对比HCDCN方法与其他图像超分辨率重构方法的性能评估结果,展现了HCDCN方法的优越性能。     

纹理边缘引导的深度图像超分辨率重建

目的 深度图像作为一种普遍的3维场景信息表达方式在立体视觉领域有着广泛的应用。Kinect深度相机能够实时获取场景的深度图像,但由于内部硬件的限制和外界因素的干扰,获取的深度图像存在分辨率低、边缘不准确的问题,无法满足实际应用的需要。为此提出了一种基于彩色图像边缘引导的Kinect深度图像超分辨率重建算法。方法 首先对深度图像进行初始化上采样,并提取初始化深度图像的边缘;进一步利用高分辨率彩色图像和深度图像的相似性,采用基于结构化学习的边缘检测方法提取深度图的正确边缘;最后找出初始化深度图的错误边缘和深度图正确边缘之间的不可靠区域,采用边缘对齐的策略对不可靠区域进行插值填充。结果 在NYU2数据集上进行实验,与8种最新的深度图像超分辨率重建算法作比较,用重建之后的深度图像和3维重建的点云效果进行验证。实验结果表明本文算法在提高深度图像的分辨率的同时,能有效修正上采样后深度图像的边缘,使深度边缘与纹理边缘对齐,也能抑制上采样算法带来的边缘模糊现象;3维点云效果显示,本文算法能准确区分场景中的前景和背景,应用于3维重建等应用能取得较其他算法更好的效果。结论 本文算法普遍适用于Kinect深度图像的超分辨率重建问题,该算法结合同场景彩色图像与深度图像的相似性,利用纹理边缘引导深度图像的超分辨率重建,可以得到较好的重建结果。     

图像超分辨率方法研究进展

随着计算机理论与技术的发展,图像超分辨率理论和技术手段不断取得新的进步,发展出插值法、重构法和学习法等一系列方法。报告了图像超分辨率的研究进展,梳理了主要的图像超分辨率方法,阐述了几种较为重要的深度学习超分辨率模型,总结了当前图像超分辨率的发展趋势,对超分辨率的研究提出了展望。     

基于边缘特征引导的深度图像超分率重建

针对TOF(Time of Flight)相机深度图像在超分辨重建过程中易出现边缘模糊、纹理映射问题,在联合双边上采样滤波器的基础上提出一种基于深度图像自身边缘特征引导的超分辨重建方法。通过低分辨深度图像的边缘特征引导,将深度图像分为不同的区域,根据滤波区域性质的不同,对联合双边上采样滤波器模型中的颜色相似项进行不同加权。同时为了进一步保持图像边缘,在深度图像边缘部分加入一个结构保持项。最后利用联合双边上采样滤波器模型重建出高分辨深度图像。实验结果表明,该方法不仅提高了TOF深度图像的分辨率,而且很好地保护了深度图像的边缘结构,取得了较好的效果。     

基于深度学习的图像超分辨率重建算法研究

图像超分辨率重建是计算机进行图像处理的底层任务,可以将低分辨率图像进行优化,生成高频细节的高分辨率图像。基于深度学习的图像超分辨率重建算法可以进一步提高重建图像质量与视觉效果,采用轻量化的超分辨率算法可以有效减少重建算法模型所需要的内存空间。本文采用深度学习技术中的基于卷积神经网络的图像超分辨率重建模型,提高图像分辨率,降低计算复杂度。     

基于深度反卷积神经网络的图像超分辨率算法

图像超分辨率一直是底层视觉领域的研究热点,现有基于卷积神经网络的方法直接利用传统网络模型,未对图像超分辨率属于回归问题这一本质进行优化,其网络学习能力较弱,训练时间较长,重建图像的质量仍有提升空间。针对这些问题,本文提出了基于深度反卷积神经网络的图像超分辨率算法,该算法利用反卷积层对低分辨率图像进行上采样处理,再经深度映射消除由反卷积层造成的噪声和伪影现象,使用残差学习降低网络复杂度,同时避免了因网络过深导致的网络退化问题。在Set5、Set14等测试集中,本文算法的PSNR、SSIM、IFC三项评价指标皆优于FSRCNN,重建图像的视觉效果同样验证了本文算法出色的性能。     

结合深度学习的单幅遥感图像超分辨率重建

目的 克服传统遥感图像超分辨率重建方法依赖同一场景多时相图像序列且需预先配准等缺点,解决学习法中训练效率低和过拟合问题,同时削弱插值操作后的块效应,增强单幅遥感图像超分辨率重建效果。方法 首先构造基于四层卷积的深度神经网络结构,并在结构中前三层卷积后添加参数修正线性单元层和局部响应归一化层进行优化,经过训练得到遥感图像超分辨率重建模型,其次,对多波段遥感图像的亮度空间进行双三次插值,然后使用该模型对插值结果进行重建,并在亮度空间重建结果指导下,使用联合双边滤波来提升其色度空间边缘细节。结果 应用该方法对实验遥感图像进行2倍、3倍、4倍重建时在无参考指标上均优于对比方法,平均清晰度提升约2.5个单位,同时取得了较好的全参考评价结果,在2倍重建时峰值信噪比较传统插值法提升了约2 dB,且平均训练效率较其他学习法提升3倍以上,所得遥感图像重建结果在目视效果上更加细致、自然。结论 实验结果表明,本文设计的网络抗过拟合能力强、训练效率高,重建时针对单幅遥感图像,无需依赖图像序列且不受波段影响,重建结果细节表现较好,具有较强的普适性。     

基于自适应权值滤波的深度图像超分辨率重建

目的 越来越多的应用都依赖于对真实场景深度图像的准确且快速的观测和分析。飞行时间相机可以实时获取场景的深度图像,但是由于硬件条件的限制,采集的深度图像分辨率较低,无法满足实际应用的需要。为此提出一种结合同场景彩色图像通过构造自适应权值滤波器对深度图像进行超分辨率重建的方法。方法 充分发掘深度图像的非局部以及局部自相似性先验约束,结合同场景的高分辨率彩色图像构造非局部及局部的自适应权值滤波算法对深度图像进行超分辨率重建。具体来说,首先利用非局部滤波算法来有效避免重建结果的振铃效应,然后利用局部滤波算法进一步提升重建的深度图像质量。结果 实验结果表明,无论在客观指标还是视觉效果上,基于自适应权值滤波的超分辨率重建算法较其他算法都可以得到更好的结果,尤其当初始的低分辨率深度图像质量较差的情况下,本文方法的优势更加明显,峰值信噪比可以得到1dB的提升。结论 结合非局部和局部自相似性先验约束,结合同场景的高分辨率彩色图像构造的自适应权值滤波算法,较其他算法可以得到更理想的结果。     

基于 CNN 的彩色图像引导的深度图像超分辨率重建

深度图像表达了三维场景内物体之间的相对距离信息,根据深度图像表达的信息, 人们能够准确的获得物体在空间中的位置以及不同物体之间的相对距离,使得深度图像在立体 视觉等领域有着广泛的应用。然而受 RGB-D 传感器硬件条件的限制,获取的深度图像分辨率 低,无法满足一些具有高精度要求的实际应用的需求。近年来深度学习特别是卷积神经网络 (CNN)在图像处理方面获得了非常大的成功。为此提出了一种基于 CNN 的彩色图像引导的深度 图像超分辨率重建。首先,利用 CNN 学习彩色图像的边缘特征信息与深度图像的深度特征信 息,获得边缘纹理清晰的高分辨率深度图像;再通过不同大小尺寸滤波核的卷积层,进一步优 化深度图像的边缘纹理细节,获得更高质量的高分辨率深度图像。实验结果表明,相较于其他 方法,该方法 RMSE 值更低,重建的图像也能更好的恢复图像边缘纹理细节。     

深度学习的单幅图像超分辨率重建方法综述

图像超分辨率重建即使用特定算法将同一场景中的低分辨率模糊图像恢复成高分辨率图像.近年来,随着深度学习的蓬勃发展,该技术在很多领域都得到了广泛的应用,在图像超分辨率重建领域中基于深度学习的方法被研究的越来越多.为了掌握当前基于深度学习的图像超分辨率重建算法的发展状况和研究趋势,对目前图像超分辨率的流行算法进行综述.主要从...     

基于向量量化的图像超分辨率方法

受分形编码思想启发,提出了一种新的基于向量量化的图像超分辨率方法。该方法使用学习算法来获取单幅输入图像中的高频信息和低频信息之间的对应关系,并利用此关系对输入图像的一个倍频程的空间频率内添加图像细节以获得高分辨率图像。该方法克服了传统插值方法中因过度平滑导致图像模糊和纹理保持较差的缺点,能够重现出传统插值方法不能复原出的一些高频图像细节。实验结果显示该算法在客观和主观上都比传统插值方法有更好的评价。     

Ultra‐compact dual mode dual band filter based on separate electric and magnetic coupling paths

A pair of dual mode independent controllable resonators used to realize dual band pass filter with good frequency selectivity and isolation is presented. The resonators are directly connected to input/output and are coupled through electric and magnetic coupling in two different paths. Magnetic coupling between the resonators is achieved using a common grounded via‐hole between the two set of quarter‐wavelength resonators. Electric coupling is achieved through open edge coupling of the resonators. Two independent resonators with Separate Electric and Magnetic Coupling (SEMC) paths produce an independently controllable dual band filter response and also additional transmission zeros (TZs) at the edges of the pass bands. The TZs are introduced to improve the selectivity of the filter. Filter exhibits desired pass band response at the Universal Mobile Telecommunications System (UMTS) band (1.95‐2.2 GHz) and Worldwide Interoperability for Microwave Access (WiMAX) band (3.4‐3.6 GHz). Proposed compact filter is implemented on RT/Duroid 5880 (ε_r = 2.2) substrate with thickness of 0.785 mm and surface area of 15 × 12 sq. mm.     

基于对偶字典学习的图像超分辨技术研究

提出一种基于对偶字典学习的图像超分辨方法,通过稀疏重建的方法得到重建的图像,对偶字典通过稀疏表示将低分辨图像和高分辨图像联系起来.在稀疏表示过程中,低分辨图像在低分辨字典上的稀疏表示能够很好地提高对应的高分辨图像在高分辨字典上的稀疏表示效果.将字典的学习建模为包含l1范数优化问题的双层最优化问题,采用隐微分法计算随机梯度下降的期望梯度.仿真实验结果表明,该方法能够达到和联合字典学习方法相同的速度和质量,同时,在实际应用中可以通过神经网络模型学习方法提高算法的速度.与现有的算法比较,表明了该算法的有效性.     

基于Quaternion-Gabor小波运动估计的深度图获取技术

深度图是“二维视频+深度图”格式3D显示器的关键技术所在。在对四元数及Gabor滤波器进行研究的基础上提出了基于Quaternion-Gabor小波运动估计的深度图获取技术。通过计算普通视频运动图像的全局运动向量,估计出图像背景运动模型,获得图像运动场,最后分离出图像的前景与背景,从而得到图像的深度图。将普通的Gabor滤波器扩展到Quaternion-Gabor滤波器,不仅把图像变换到频率域获得额外的信息,而且可以对每个像素的RGB分别独立滤波。实验结果表明,使用Quaternion-Gabor小波运动估计方法得到的深度图变化很平滑,边缘更突出。     

基于图像类推的遥感图像超分辨率技术

由于卫星上相机距离拍摄景物较远,所以遥感图像分辨率一般较低。为了获得较高分辨率的图像。提出将图像类推技术(IA)与立方卷积插值法相结合的方法;并在学习样本集合建立过程中引入一种新的思路,直接对高分辨率图像的高频细节信息进行学习。实验结果表明,该方法不仅提高了放大图像的清晰程度,而且较一般的图像类推算法,能产生更为合理的细节以增强图像,使放大后的遥感图像更为逼真。     

基于超像素的深度图修复算法

随着计算机视觉领域不断的发展,用于描述场景深度信息的深度图受到越来越多的关注。针对深度图中由于深度信息缺失导致的图像空洞、深度值准确度不高及图像噪声等问题,提出了一种融合超像素和基于方向的联合双边滤波器的深度图修复算法来改善深度图的质量。该算法引入了基于超像素的自适应滤波窗口,并对不同类型的空洞像素点采用不同的滤波算法,从而对深度图进行修复和优化。定性对比实验和定量评价结果表明,其可以有效地修复深度图空洞噪点,获得高质量、高准确性的深度图。     

一种面向视点绘制的深度图像后处理方法

基于深度图像的绘制是三维视频系统中的一项关键技术。然而,深度编码失真会对后续虚拟视点绘制的性能产生极大的影响。提出了一种面向虚拟视点绘制的深度图像后处理方法,利用基于置信区间的交点规则确定深度图像中每个像素点的滤波窗口,利用最小均方逼近多项式技术估计每个像素点的深度值,再利用加权模式滤波器对估计的深度图像进行滤波处理,得到深度滤波图像。实验结果表明,该方法能够精确地恢复出真实深度信息,提高虚拟视点图像的绘制性能。     

基于多种正则化的改进超分辨率重建算法

为了解决超分辨率图像重建过程中无法同时降低平滑区域噪声和保持图像细节的问题,结合改进的非局部变分（NLTV）和全变分（TV）正则项方法提出一种新的超分辨率重建算法。首先,根据图像重尾分布特性,结合高斯分布、拉普拉斯分布及柯西分布改进了传统NLTV正则项系数,提出了改进的ANLTV正则项。然后利用ANLTV正则项基于分裂Bregman算法重建了初始的高分辨率图像。最后结合TV正则项对重建的高分辨率图像进行去模糊操作,进而得到最终的超分辨率图像重建结果。为验证所提算法的性能,分别利用该算法与传统的TV和NLTV算法进行超分辨率图像重建并对比。实验结果表明,所提出的方法相比于传统的TV和NLTV重建算法,其峰值信噪比、信噪比和结构相似度均有所提高,能够同时满足超分辨率图像重建过程中抑制噪声和保持边缘细节的需求。