单幅植物叶片图像的3维重建

目的 植物叶片形态复杂,在虚拟场景中很难真实表现。为了从信息量有限的单幅图像中恢复植物叶片的3维形状,本文基于从明暗恢复形状（shape from shading,SFS）的方法,利用亮度统计规律和植物形态特征恢复叶片的3维形状。方法 在SFS的基础上,设计基于图像骨架的距离场偏置加强表面细节;针对SFS对恢复宏观几何形状的不足,提出根据图像亮度统计分布选取控制点控制表面宏观形状变化,并利用叶片中轴的距离场约束恢复宏观几何形状,每种方法对于表面宏观几何形状恢复的权重基于恢复的反射图和输入图像间的相似度设定;将表面细节添加到宏观几何形状上得到目标对象的3维形状。结果 选取植物叶片图像进行实验,并与其他方法进行比较,实验结果表明本文方法增强了表面细节显示,并有明显的宏观几何形状变化。同时为了验证本文方法对其他物体表面细节恢复的适用性,分别对硬币和恐龙恢复表面细节,实验结果表明提出的增强表面细节的方法同样适用于其他物体。结论 针对单幅植物叶片图像的3维重建,在SFS的基础上提出了根据骨架特征加强表面细节,根据图像亮度统计分布和叶片中轴距离场约束共同恢复表面宏观几何形状的算法,实验结果验证了本文方法的可行性。     

不同池化模型的卷积神经网络学习性能研究

目的 基于卷积神经网络的深度学习算法在图像处理领域正引起广泛关注。为了进一步提高卷积神经网络特征提取的准确度,加快参数收敛速度,优化网络学习性能,通过对比不同的池化模型对学习性能的影响提出一种动态自适应的改进池化算法。方法 构建卷积神经网络模型,使用不同的池化模型对网络进行训练,并检验在不同迭代次数下的学习结果。在现有算法准确率不高和收敛速度较慢的情况下,通过使用不同的池化模型对网络进行训练,从而构建一种新的动态自适应池化模型,并研究在不同迭代次数下其对识别准确率和收敛速度的影响。结果 通过对比实验发现,使用动态自适应池化算法的卷积神经网络学习性能最优,在手写数字集上的收敛速度最高可以提升18.55%,而模型对图像的误识率最多可以降低20%。结论 动态自适应池化算法不但使卷积神经网络对特征的提取更加精确,而且很大程度地提高了收敛速度和模型准确率,从而达到优化网络学习性能的目的。这种模型可以进一步拓展到其他与卷积神经网络相关的深度学习算法。     

梯度约束SFS的月面地形重构

目的 解决月面着陆器在下降过程中可能得不到足够的匹配点进行着陆区地形恢复的问题。方法 基于特征边缘线梯度比例约束的明暗恢复形状（shape from shading）算法。首先以Lommel-Seeliger模型模拟月表反射情况,建立辐照度方程;然后以地形特征边缘提取结果为基础,经过最小二乘拟合与表面光滑模型约束后,演化得到剩余影像点的梯度比例因子,实现对辐照度方程的正则化约束。结果 经过测试得到模拟影像的平均相对恢复精度可以达到-0.199,真实影像月面可以达到0.051和0.022。结论 本文算法能够有效地进行3维地形恢复,且恢复精度优于经典SFS算法中对实际地形恢复效果最好的Tsai算法。     

自适应增强卷积神经网络图像识别

目的 为了进一步提高卷积神经网络的收敛性能和识别精度,增强泛化能力,提出一种自适应增强卷积神经网络图像识别算法。方法 构建自适应增强模型,分析卷积神经网络分类识别过程中误差产生的原因和误差反馈模式,针对分类误差进行有目的地训练,实现分类特征基于迭代次数和识别结果的自适应增强以及卷积神经网络权值的优化调整。自适应增强卷积神经网络与多种算法在收敛速度和识别精度等性能上进行对比,并在多种数据集上检测自适应卷积神经网络的泛化能力。结果 通过对比实验可知,自适应增强卷积神经网络算法可以在很大程度上优化收敛效果,提高收敛速度和识别精度,收敛时在手写数字数据集上的误识率可降低20.93%,在手写字母和高光谱图像数据集上的误识率可降低11.82%和15.12%;与不同卷积神经网络优化算法对比,误识率比动态自适应池化算法和双重优化算法最多可降低58.29%和43.50%;基于不同梯度算法的优化,误识率最多可降低33.11%;与不同的图像识别算法对比,识别率也有较大程度提高。结论 实验结果表明,自适应增强卷积神经网络算法可以实现分类特征的自适应增强,对收敛性能和识别精度有较大的提高,对多种数据集有较强的泛化能力。这种自适应增强模型可以进一步推广到其他与卷积神经网络相关的深度学习算法中。     

基于SFS方法的三维重构及精度分析

从明暗恢复形状(SFS)是计算机视觉中三维重构问题的研究热点和难点之一,目前已有算法存在两个问题:1)选择的反射模型不符合物体表面的反射特性;2)引入的约束条件和求解过程过于复杂,求解速度慢,效率低。对SFS算法进行了详细分析,引入了朗伯特光照反射模型,对物体表面做球形假设,然后对图像做近似微分运算以求出高度函数,实现了利用单幅灰度图像恢复物体表面三维形状并仿真的数据处理方法,同时对传统线性化SFS算法和所提算法进行了实验验证,对两种模型的重构精度和算法的执行效率进行了比较和分析。实验仿真结果表明,在保证一定精度的前提下,所提算法的执行效率比传统算法高。     

基于径向基函数网络的SFS算法研究

分析了现有从明暗恢复形状(SFS)的几种方法普遍存在对恢复的形状的连续性和光滑性的缺点，提出了一种基于径向基函数网络模型进行从明暗恢复形状的新算法。该算法先采用网络构造一个曲面方程，再利用反射函数作为约束条件，通过调整权因子和径向基函数中心和宽度对网络进行自学习，得到一个满意的曲面方程。理论和实验证明，该算法在恢复形状的准确性和曲面的光滑性，连续性上有较大改进。     

图像序列的增量式运动结构恢复

目的 传统增量式运动结构恢复算法中,初始图像对选择鲁棒性差,增量求解过程效率较低,捆绑调整策略存在计算冗余,模型修正后仍存在较大误差。为解决上述问题,以基于图像序列的3维重建为基础,提出一种新的增量式运动结构恢复算法（SFM-Y）。方法 首先,采用改进的自适应异常值过滤方法增强初始图像对选择的鲁棒性,得到用于初始重建的初始图像对;其次,通过增量迭代重建丰富点云模型,采用改进的EPNP（efficient perspective-n-point）解算方法提高增量添加过程的计算效率和精确度;最后,采用优化的捆绑调整策略进行模型修正,解决模型漂移问题,修正重投影误差。结果 实验选取不同数据规模的数据集,在本文方法及传统方法间进行测试对比,以便更加全面地分析算法性能。实验结果表明,SFM-Y算法相比传统的增量式运动结构恢复算法,在计算效率和结果质量方面均有所提高,根据性能分析对比的结果所示,本文方法较传统方法在计算效率和重建精度上约有10%的提升。结论 提出的增量式运动结构恢复算法能够高效准确地实现基于图像序列的3维重建优于传统方法,计算效率较高,初始重建鲁棒性强,生成模型质量较好。     

对偶算法在紧框架域TV-L1去模糊模型中的应用

目的 建立准确的数学模型并获得有效的求解算法是图像恢复面临的“两难”问题,非光滑型能量泛函有利于准确描述图像的特征,但很难获得有效的求解算法。提出一种拟合项和正则项都是非光滑型能量泛函正则化模型,并推导出有效的交替迭代算法。方法 首先,对系统和椒盐噪声模糊的图像,在紧框架域,用L₁范数描述拟合项,用加权有界变差函数半范数描述正则项。其次,通过引入辅助变量,将图像恢复正则化模型转化为增广拉格朗日模型。再次,利用变量分裂技术,将转化模型分解为两个子问题。最后,利用Fenchel变换和不动点迭代原理,将子问题分别转化为对偶迭代子问题和松弛迭代子问题,并证明迭代子问题的收敛性。结果 针对图像恢复模型的非光滑性,提出一种交替迭代算法。仿真实验表明,相对传统算法,本文算法能有效地恢复系统和椒盐噪声模糊的图像,提高峰值信噪比大约0.51分贝。结论 该正则化模型能有效地恢复图像的边缘,取得较高的峰值信噪比和结构相似测度,具有较快的收敛速度,适用于恢复椒盐噪声模糊的图像。     

多通道卷积的图像超分辨率方法

目的 超分辨率技术在实际生活中具有较为广泛的应用。经典的基于卷积神经网络的超分辨率（SRCNN）方法存在重建图像纹理结构模糊以及网络模型训练收敛过慢等问题。针对这两个问题,在SRCNN的基础上,提出一种多通道卷积的图像超分辨率（MCSR）算法。方法 通过增加残差链接,选择MSRA初始化方法对网络权值进行初始化,加快模型收敛;引入多通道映射提取更加丰富的特征,使用多层3×3等小卷积核代替单层9×9等大卷积核,更加有效地利用特征,增强模型的超分辨率重构效果。结果 MCSR迭代4×10⁶次即可收敛,在Set5与Set14数据集上边长放大3倍后的平均峰值信噪比分别是32.84 dB和29.28 dB,与SRCNN相比提升显著。结论 MCSR收敛速度更快,并且可以生成轮廓清晰的高分辨率图像,超分辨率效果更加优秀。     

深度残差学习下的光源颜色估计

目的 颜色恒常性通常指人类在任意光源条件下正确感知物体颜色的自适应能力,是实现识别、分割、3维视觉等高层任务的重要前提。对图像进行光源颜色估计是实现颜色恒常性计算的主要途径之一,现有光源颜色估计方法往往因局部场景的歧义颜色导致估计误差较大。为此,提出一种基于深度残差学习的光源颜色估计方法。方法 将输入图像均匀分块,根据局部图像块的光源颜色估计整幅图像的全局光源颜色。算法包括光源颜色估计和图像块选择两个残差网络：光源颜色估计网络通过较深的网络层次和残差结构提高光源颜色估计的准确性;图像块选择网络按照光源颜色估计误差对图像块进行分类,根据分类结果去除图像中误差较大的图像块,进一步提高全局光源颜色估计精度。此外,对输入图像进行对数色度预处理,可以降低图像亮度对光源颜色估计的影响,提高计算效率。结果 在NUS-8和重处理的ColorChecker数据集上的实验结果表明,本文方法的估计精度和稳健性较好;此外,在相同条件下,对数色度图像比原始图像的估计误差低10% 15%,图像块选择网络能够进一步使光源颜色估计网络的误差降低约5%。结论 在两组单光源数据集上的实验表明,本文方法的总体设计合理有效,算法精度和稳健性好,可应用于需要进行色彩校正的图像处理和计算机视觉等领域。     

一种快速精确的人脸三维形状重构新方法

针对传统 SFS(Shap from Shading)的不足 ,提出了一种新的基于 BP神经网络的明暗恢复形状的方法 ,该方法是基于兰伯特 (L am bertian)反射模型的改进算法 ,利用了 BP神经网络强的非线性映射能力 ,将 L ambertian表面反射模型与光滑表面模型相结合 ,然后再利用一些已知条件 ,构成 SFS问题的正则化模型 ;变换不同的照明条件 ,将模型平移或旋转获得多幅图象 ,以增加约束条件 ;计算出误差补偿参数去修正邻域内的三维误差 .由于考虑了邻域的平均值 ,使算法的稳定性和精确性都得到了加强 .实例表明 ,该算法较传统的算法更快和更精确     

Restoring warped document images through 3D shape modeling

Scanning a document page from a thick bound volume often results in two kinds of distortions in the scanned image, i.e., shade along the "spine" of the book and warping in the shade area. In this paper, we propose an efficient restoration method based on the discovery of the 3D shape of a book surface from the shading information in a scanned document image. From a technical point of view, this shape from shading (SFS) problem in real-world environments is characterized by 1) a proximal and moving light source, 2) Lambertian reflection, 3) nonuniform albedo distribution, and 4) document skew. Taking all these factors into account, we first build practical models (consisting of a 3D geometric model and a 3D optical model) for the practical scanning conditions to reconstruct the 3D shape of the book surface. We next restore the scanned document image using this shape based on deshading and dewarping models. Finally, we evaluate the restoration results by comparing our estimated surface shape with the real shape as well as the OCR performance on original and restored document images. The results show that the geometric and photometric distortions are mostly removed and the OCR results are improved markedly.     

基于改进的神经元网络的图像恢复与重建新算法

本文简单介绍了最早的图像恢复的神经网络方法,Lambertian反射模型虽可用于图像的恢复与重建,但它有很大的局限性。为此,本文给出了一种基于改进的神经元网络的新型反射模型,用于三维图像的恢复与重建,此新法不需知道光源方向,经实验证明,具有计算快捷且图像识别精度高的特点。     

基于小波神经网络的图像重构训练算法研究与实现

针对传统的图像重构算法的不足，提出一种基于小波神经网络的图像重建快速学习算法，运用小波神经网络对图像重构进行了仿真研究，实验表明，对于不同的误差模型，小波神经网络采用不同的基函数可以很好地对非线性系统进行逼近，收敛速度快，近似精度高，而且网络规模也较小，计算量少，对计算机视觉和图像处理具有良好的应用价值。     

基于特征线梯度约束SFS的月面地形重构方法

针对月面着陆器在下降过程中可能得不到足够的匹配点进行着陆区地形恢复的问题,提出了基于特征边缘线梯度比例约束的明暗恢复形状(shape from shading)算法。以Lommel-Seeliger反射模型模拟月球表面反射情况,建立辐照度方程。以地形特征边缘提取结果为基础,经过最小二乘拟合后,求解临近点的梯度比例因子,并通过表面光滑模型约束,演化得到剩余影像点的梯度比例因子,实现了对辐照度方程的量化约束,使得SFS问题正则化。采用模拟影像和真实月面影像对所提出的算法进行了测试分析,实验结果表明,所提出的算法能够有效的进行三维地形恢复,且恢复精度优于经典SFS算法中对实际地形恢复效果最好的Tsai算法。     

Fusing multiview and photometric stereo for 3D reconstruction under uncalibrated illumination

We propose a method to obtain a complete and accurate 3D model from multiview images captured under a variety of unknown illuminations. Based on recent results showing that for Lambertian objects, general illumination can be approximated well using low-order spherical harmonics, we develop a robust alternating approach to recover surface normals. Surface normals are initialized using a multi-illumination multiview stereo algorithm, then refined using a robust alternating optimization method based on the l(1) metric. Erroneous normal estimates are detected using a shape prior. Finally, the computed normals are used to improve the preliminary 3D model. The reconstruction system achieves watertight and robust 3D reconstruction while neither requiring manual interactions nor imposing any constraints on the illumination. Experimental results on both real world and synthetic data show that the technique can acquire accurate 3D models for Lambertian surfaces, and even tolerates small violations of the Lambertian assumption.     

基于Phong模型的明暗恢复形状的新算法

针对传统的混合表面形状恢复算法存在较大误差的问题,提出一种透视投影下从单幅图像混合表面明暗信息恢复形状的新算法。采用Phong反射模型来描述物体表面反射特性,假设光源处于相机的光心处,建立透视投影下的图像辐照度方程。然后由辐照度方程构造包含物体深度信息的Hamilton Jacobi偏微分方程,引入局部高阶LLF通量分裂格式和五阶WENO格式逼近微分方程的粘性解,最终得到物体表面三维形状。实验结果表明,与传统算法相比,新算法的恢复高度的最大误差和平均误差均显著降低。     

Neural computation approach for developing a 3D shapereconstruction model

The shape from shading problem refers to the well-known fact that most real images usually contain specular components and are affected by unknown reflectivity. In this paper, these limitations are addressed and a new neural-based 3D shape reconstruction model is proposed. The idea behind this approach is to optimize a proper reflectance model by learning the parameters of the proposed neural reflectance model. In order to do this, new neural-based reflectance models are presented. The feedforward neural network (FNN) model is able to generalize the diffuse term, while the RBF model is able to generalize the specular term. A hybrid structure of FNN-based and RBF-based models is also presented because most real surfaces are usually neither Lambertian models nor ideally specular models. Experimental results, including synthetic and real images, are presented to demonstrate the performance of our approach given different specular effects, unknown illuminate conditions, and different noise environments.