面向纹理平滑的方向性滤波尺度预测模型

目的 传统图像处理的纹理滤波方法难以区分梯度较强的纹理与物体的结构,而深度学习方法使用的训练集生成方式不够合理,且模型表示方式比较粗糙,为此本文设计了一种面向纹理平滑的方向性滤波尺度预测模型,并生成了含有标签的新的纹理滤波数据集。方法 在现有结构图像中逐连通区域填充多种纹理图,生成有利于模型训练的纹理滤波数据集。设计了方向性滤波尺度预测模型,该模型包含尺度感知子网络和图像平滑子网络。前者预测得到的滤波尺度图不但体现了该像素与周围像素是否为同一纹理,而且还隐含了该像素是否为结构像素的信息。后者以滤波尺度图和原图的堆叠作为输入,凭借少量的卷积层快速得出纹理滤波的结果。结果 在本文的纹理滤波数据集上与7个算法进行比较,峰值信噪比(peak signal to noise ratio, PSNR)与结构相似度(structural similarity, SSIM)分别高于第2名2.79 dB、0.0133,均方误差(mean squared error, MSE)低于第2名6.863 8,运算速度快于第2名0.002 s。在其他数据集上的实验对比也显示出本文算法更好地保持结构与平滑纹理。通过...     

多尺度显著区域检测图像压缩

目的 为了解决利用显著区域进行图像压缩已有方法中存在的对多目标的图像内容不能有效感知,从而影响重建图像的质量问题,提出一种基于多尺度深度特征显著区域检测图像压缩方法。方法 利用改进的卷积神经网络（CNNs）,进行多尺度图像深度特征检测,得到不同尺度显著区域;然后根据输入图像尺寸自适应调整显著区域图的尺寸,同时引入高斯函数,对显著区域进行滤波,得到多尺度融合显著区域;最后结合编码压缩技术,对显著区域实行近无损压缩,非显著区域利用有损编码技术进行有损压缩,完成图像的压缩和重建工作。结果 提出的图像压缩方法较JPEG压缩方法,编码码率为0.39 bit/像素左右时,在数据集Kodak PhotoCD上,峰值信噪比（PSNR）提高了2.23 dB,结构相似性（SSIM）提高了0.024;在数据集Pascal Voc上,PSNR和SSIM两个指标分别提高了1.63 dB和0.039。同时,将提出的多尺度特征显著区域方法结合多级树集合分裂（SPIHT）和游程编码（RLE）压缩技术,在Kodak数据集上,PSNR分别提高了1.85 dB、1.98 dB,SSIM分别提高了0.006、0.023。结论 提出的利用多尺度深度特征进行图像压缩方法得到了较传统编码技术更好的结果,该方法通过有效地进行图像内容的感知,使得在图像压缩过程中,减少了图像内容损失,从而提高了压缩后重建图像的质量。     

面向真实图像噪声的两阶段盲去噪

目的 现有的深度图像去噪算法在去除加性高斯噪声上效果显著,但在去除任意分布的真实图像噪声时表现不佳;去噪模型的深度在不断增加,但去噪效果上却并未能显著提高。对此,设计了一种简单有效的两阶段深度图像去噪算法。方法 首先基于注意力机制估计真实图像上的噪声分布水平,然后使用一个混合膨胀卷积和普通卷积的多尺度去噪模块进行非盲降噪。结果 在DND（darmstadt noise dataset）、SIDD（smartphone image denoising dataset）、Nam和PolyU（the Hong Kong Polytechnic University）等4个图像去噪领域常用数据集上进行去噪实验,选择峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似性（structual similarity,SSIM）作为去噪效果的评价指标,得到的平均PSNR值分别为39.23 dB,38.54 dB,40.45 dB,37.34 dB,并与几种传统去噪方法和基于深度学习的去噪方法进行比较。实验结果表明,本文的去噪算法在去噪效果和视觉质量上有明显提升。同时,在SIDD数据集上进行消融实验以验证算法中模块的有效性。结论 本文算法使用的跳跃连接、噪声水平估计以及多尺度模块均可以有效提升真实图像去噪效果。与现有方法相比,本文算法不仅能有效去除真实图像噪声,而且能通过简单的模块参数设置控制去噪网络的计算效率。     

面向虚拟视点绘制空洞填充的渐进式迭代网络

目的 基于深度图像的绘制（depth image based rendering,DIBR）是合成虚拟视点图像的关键技术,但在绘制过程中虚拟视图会出现裂纹和空洞问题。针对传统算法导致大面积空洞区域像素混叠和模糊的问题,将深度学习模型应用于虚拟视点绘制空洞填充领域,提出了面向虚拟视点绘制空洞填充的渐进式迭代网络。方法 首先,使用部分卷积对大面积空洞进行渐进修复。然后采用 U-Net 网络作为主干对空洞区域进行编解码操作,同时嵌入知识一致注意力模块加强网络对有效特征的利用。接着通过加权合并方法来融合每次渐进式迭代生成的特征图,保护早期特征不被破坏。最后结合上下文特征传播损失提高网络匹配过程中的鲁棒性。结果 在微软实验室提供的2 个多视点 3D（three-dimension）视频序列以及 4 个 3D-HEVC（3D high efficiency video coding）序列上进行定量与定性评估实验,以峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似性（structural similarity,SSIM）作为指标。实验结果表明,本文算法在主观和客观上均优于已有方法。相比于性能第 2 的模型,在 Ballet、Breakdancers、Lovebird1 和Poznan_Street 数据集上,本文算法的 PSNR 提升了 1. 302 dB、1. 728 dB、0. 068 dB 和 0. 766 dB,SSIM 提升了 0. 007、0. 002、0. 002 和 0. 033;在 Newspaper 和 Kendo 数据集中,PSNR 提升了 0. 418 dB 和 0. 793 dB,SSIM 提升了 0. 011 和0. 007。同时进行消融实验验证了本文方法的有效性。结论 本文提出的渐进式迭代网络模型,解决了虚拟视点绘制空洞填充领域中传统算法过程烦琐和前景纹理渗透严重的问题,取得了极具竞争力的填充结果。     

多尺度特征融合的透明物体深度图像快速修复方法

透明物体是日常生活中常见的事物,具有独特的视觉特性,这些特性使得标准的视觉3D传感器较难对其进行准确的深度估计.在大多数情况下,视觉3D传感器捕获的深度信息表现为透明物体后面的背景的深度值或大面积的深度缺失.为了对深度图像中透明物体的深度缺失进行快速修复,提出一种基于语义分割和多尺度融合的透明物体深度图像快速修复的方法,使用轻量级实时语义分割预测出透明物体的遮罩,剔除深度场景图像中该部分的错误深度信息,对彩色图像和剔除错误信息后的深度图像进行多尺度的特征提取和特征融合,完成对透明物体的深度图像快速修复.本文在Clear Grasp数据集上算法进行了效果验证.该数据集包含了5万多组RGB-D图像.实验结果表明,文中方法对透明物体深度的修复在度量指标MAE, δ_1.05和δ_1.25上,分别取得了0.027, 72.98和98.04的结果,均优于现有方法,并且在效率上有较好的提升.     

基于深度神经网络的遥感图像彩色化方法

为了实现遥感图像彩色化,解决目前彩色化模型存在颜色不准确和颜色溢出等问题,提出一种端到端的深度神经网络模型.首先,通过构建多尺度残差感受域块提取丰富的高维特征;其次,利用U-Net、复杂残差结构、注意力机制和子像素向上卷积等结构构建一个彩色信息重建网络输出彩色化结果;最后,使用NWPU-RESISC45遥感图像数据集进行训练和验证.结果表明,与其他自动彩色化方法相比,所提方法的PSNR值平均提高6～10 dB,SSIM值增加0.05～0.11,实现了遥感图像彩色化.此外,该方法在RSSCN7和AID数据集上也取得了良好的彩色化效果.     

基于退化感知和序列残差的图像盲超分辨率重建

针对盲超分辨率重建中特征提取不准确且重建图像不够自然的问题,提出了一种基于退化感知和序列残差的图像盲超分辨率重建算法,设计了小残差组融合退化感知和序列残差相结合作为所提算法的主干网络,进一步构建了对称的增强型多尺度残差模块,并且在图像重建部分,将瓶颈注意力模块与像素重组上采样模块级联,强调图像的多维元素,最后进行了全局残差连接。实验表明,与当前代表性算法DASR相比,该算法在Set14×2上的PSNR和SSIM分别提高0.145 dB、0.001 4,在Set14×3/4上PSNR分别提高1.898 dB、0.252 dB,且在五个标准测试集上与几种当前流行的图像超分辨率算法相比取得了更好的性能。     

基于并行对抗与多条件融合的生成式高分辨率图像修复

现有的图像修复算法经常会有伪影、语义不准等问题出现,对于缺失较大、分辨率较高的图像,修复效果有限.为此,文中提出基于并行对抗与多条件融合的二阶图像修复网络.首先,利用改进的深度残差网络对缺失图像进行生成式像素填充,并利用第一阶对抗网络补全边缘.然后,提取填充图颜色特征,融合补全边缘图,将融合图作为第二阶对抗网络的条件标签.最后,通过带上下文注意力模块的第二阶网络得到修复结果.在多个数据集上的实验表明,文中算法可获得较逼真的修复效果.     

Transformer与多尺度注意力的自监督单目图像深度估计

针对现有自监督学习的单目图像深度估计在分辨率较大情况下存在边缘模糊、物体轮廓不清晰等问题，本文提出一种结合视觉Transformer的多尺度通道注意力融合单目图像深度估计网络.首先，设计编码器-解码器模型，将视觉Transformer结构作为编码器在多个尺度上提取特征.其次，设计残差通道注意力融合的解码器，优化提取到的多尺度特征并实现上下级特征融合以提高上下文信息的利用率.最后，在多个尺度下对单目图像进行深度估计.本文提出的算法在KITTI数据集上进行实验.实验结果表明，所提出算法的深度图像质量和物体轮廓信息均高于现有算法，其绝对相对误差、平方相对误差和均方根误差分别达到了0.119、0.857和4.571,在不同阈值下的准确度达到了0.959、0.995和0.999,验证了所提算法的正确性和有效性.     

一种基于生成对抗网络的图像修复算法

针对目前基于生成对抗网络(GAN)的图像修复算法存在修复效果的视觉连续性不佳、网络训练过程中模型崩溃等问题,提出一种基于双判别器的生成对抗网络的修复算法。该方法将WGAN-GP的损失函数引入全局判别器和局部判别器中,并结合改进的上下文内容损失来训练网络模型,修复破损区域。在CelebA数据集以峰值信噪比PSNR和结构相似性SSIM的标准下的实验结果证明,该算法提高了图像修复结果的质量和训练稳定性。     

一种改进的各向异性扩散深度图像增强算法

深度图像受其测距原理所限,存在边缘不匹配、无效像素、噪声等问题,提出一种基于改进的各向异性扩散算法的深度图像增强方法。首先,校正深度图像和彩色图像的位置关系,并根据时间连续性选择多帧图像,进行多帧均值滤波预处理;其次,通过在彩色图像中引入权重的思想,构建具有4-邻域形式的深度图像模型,利用彩色图像引导的深度图像进行各向异性扩散,填补孔洞;最后,使用改进的自适应中值滤波平滑图像噪声。实验结果表明,该方法能够有效修复原始深度图像中存在的由无效像素组成的黑色孔洞,在抑制噪声的同时,仍能保持深度图像中物体边缘的细节信息。     

熵率超像素分割一致性检验视差细化算法

针对传统分割一致性检验视差细化算法处理低纹理图片时优化效果较差的问题,提出一种基于熵率超像素分割的改进方法,使用基于熵率的超像素分割算法代替均值漂移(Mean-shift)分割算法.针对参考图像进行超像素分割处理;将每一个分割块进行统计分析,根据集中趋势值筛选可信值与不可信值;进行视差填充处理获得最终优化后的视差图.选...     

基于深度图像绘制技术的正反向映射技术的改进

针对基于双向深度图像绘制技术（Double-sided Depth-Image Based Rendering,Double-sided DIBR）中产生的空洞、重采样、重叠问题,为提高虚拟图像的合成质量,提出一种改进的正反向映射技术。该技术主要有四点贡献。（1）提出一种深度差值估计法。（2）在3D-warping过程中使用改进的基于Z-buffer的OPFD算法,有效解决重采样和重叠问题。（3）对深度虚拟图像运用改进的基于背景空洞填补算法消除空洞。（4）改进反向映射过程,通过判断投影后的图像和辅助彩色参考图像被遮挡信息背景的一致性,选择不同的空洞填补算法填补彩色虚拟图像中的空洞,从而达到更好的填补效果。实验结果表明,改进技术在降低算法复杂度的同时,主观图像质量与客观峰值信噪比（Peak Signal to Noise Ratio,PSNR）以及结构相似（Structural SIMilarity,SSIM）都有所提高。     

基于DIBR和图像修复的任意视点绘制

基于深度的图像绘制（DIBR）是高级视频应用的关键技术,为提高视点变换的图像质量,提出一种基于DIBR和图像修复的任意视点绘制方法。首先对深度图像进行形态学处理,以减少视点变换产生的空洞,平滑目标视点内部的物体轮廓;利用视点变换方程生成目标视点;对含有空洞的目标视点采用图像修复算法进行后处理,设计了含有深度项的代价函数,在深度的约束下进行纹理搜索,将最佳匹配块填补到空洞;在修复空洞的过程中采用亮度优先的策略以适应不同的色度采样格式。实验的主观效果对比和PSNR数据都显示本文算法比其他算法更为优越。     

基于不确定度评价的Kinect深度图预处理

针对应用在机器人三维(3D)场景感知测量中,Kinect深度图的联合双边滤波(JBF)存在降低原始场景深度信息精确度的制约性问题,提出一种新的预处理算法。首先,通过构建深度图的测量和采样模型,得到深度图的蒙特卡罗不确定度评价模型;其次,依据该模型计算得到深度值估计区间,实现噪声点与非噪声点的判定及滤除;最后,利用估计区间均值完成噪声点的修复。实验结果表明,该算法在噪声滤波的同时保证了非噪声的不变性;非噪声的不变性以及基于估计均值的噪声修复使原始深度梯度具有不变性;与联合彩色深度图的双边滤波相比,预处理结果图物体边缘轮廓清晰不变且其均方误差降低了15.25%~28.79%。因此,该预处理算法达到了提高三维场景深度信息精确度的目的。     

基于ToF相机的三维重建技术

针对利用ToF相机实现物体的重建提出一种新的三维重建算法,通过分析物体重建过程的特点,对KinectFusion的重建算法进行改进。点云匹配过程包括粗匹配和精匹配两个过程,最后进行全局优化,提高相机位姿估计的精度,从而得到更精确的三维重建结果。利用泊松重建算法重建物体表面,相比于TSDF算法,能够实现完整表面的重建。提出结合强度图对深度图进行多边滤波的算法以及一种新的补空洞法则,增强深度图像。多边滤波算法在PSNR和SSIM的评估中都优于双边滤波结果,提出的三维重建算法与KinectFusion三维重建结果对比,表面更完整,重建结果更优。     

3D遮挡模型引导的光场图像深度获取

目的 光场相机可以通过单次曝光同时从多个视角采样单个场景,在深度估计领域具有独特优势。消除遮挡的影响是光场深度估计的难点之一。现有方法基于2D场景模型检测各视角遮挡状态,但是遮挡取决于所采样场景的3D立体模型,仅利用2D模型无法精确检测,不精确的遮挡检测结果将降低后续深度估计精度。针对这一问题,提出了3D遮挡模型引导的光场图像深度获取方法。方法 向2D模型中的不同物体之间添加前后景关系和深度差信息,得到场景的立体模型,之后在立体模型中根据光线的传输路径推断所有视角的遮挡情况并记录在遮挡图（occlusion map）中。在遮挡图引导下,在遮挡和非遮挡区域分别使用不同成本量进行深度估计。在遮挡区域,通过遮挡图屏蔽被遮挡视角,基于剩余视角的成像一致性计算深度;在非遮挡区域,根据该区域深度连续特性设计了新型离焦网格匹配成本量,相比传统成本量,该成本量能够感知更广范围的色彩纹理,以此估计更平滑的深度图。为了进一步提升深度估计的精度,根据遮挡检测和深度估计的依赖关系设计了基于最大期望（exception maximization,EM）算法的联合优化框架,在该框架下,遮挡图和深度图通过互相引导的方式相继提升彼此精度。结果 实验结果表明,本文方法在大部分实验场景中,对于单遮挡、多遮挡和低对比度遮挡在遮挡检测和深度估计方面均能达到最优结果。均方误差（mean square error,MSE）对比次优结果平均降低约19.75%。结论 针对遮挡场景的深度估计,通过理论分析和实验验证,表明3D遮挡模型相比传统2D遮挡模型在遮挡检测方面具有一定优越性,本文方法更适用于复杂遮挡场景的深度估计。     

模糊C-均值聚类引导的Kinect深度图像修复算法

针对Kinect传感器所采集的深度图像中存在大面积空洞的问题,提出了一种模糊C-均值聚类引导的深度图像修复算法。该算法将同步获取的彩色图像和深度图像作为输入;利用模糊C-均值聚类算法对彩色图像进行聚类,聚类结果作为引导图像;然后对每个深度图像中的大面积空洞区域,利用改进的快速行进算法,从空洞边缘向空洞内部逐层修复空洞区域;最后,利用改进的双边滤波算法去除图像中的散粒噪声。实验表明该算法能有效修复Kinect深度图像中的空洞,修复后的图像在平滑度和边缘强度上优于传统算法。     

基于目标特征的植株深度图像修复

针对植株深度图像的像素错误和缺失、常见的滤波方法无法准确修复植株深度图 像的问题,提出一种基于目标特征的植株深度图像修复方法。首先基于颜色和空间信息的图像 分割算法对植株彩色图像进行目标分割,再检索每个目标的外轮廓,并对外轮廓进行多边形拟 合;其次,基于目标区域搜索深度图像中具有正确深度值的像素作为目标区域采样点,并对叶 片区域的图像进行归一化;最后,利用空间拟合法计算各目标区域的方程,修复区域内小面积 错误和缺失的深度值,同时采用支持向量机和空间变换运算对大面积错误和缺失深度值的叶片 区域进行修复。实验结果表明,该方法能够准确地修复植株深度图像中错误、缺失的深度数据, 且能够有效地保护目标区域的边缘信息。     

基于投票决策的实时遮挡处理技术

针对当前基于深度信息的虚实遮挡处理技术面临的实时性差和精度低的问题,提出一种基于局部区域深度估计和基于patch相似性噪声点投票融合的实时虚实遮挡处理算法.该算法将真实场景视频序列作为输入,首先利用局部区域深度估计算法通过稀疏重建估算出稀疏关键点的深度信息,对稀疏深度施加目标区域的约束限制深度向周围像素的传播,从而快速...