基于中间层监督卷积神经网络的图像超分辨率重建

目的 基于学习的图像超分辨率重建方法已成为近年来图像超分辨率重建研究的热点。针对基于卷积神经网络的图像超分辨率重建（SRCNN）方法网络层少、感受野小、泛化能力差等缺陷,提出了基于中间层监督卷积神经网络的图像超分辨率重建方法,以进一步提高图像重建的质量。方法 设计了具有中间层监督的卷积神经网络结构,该网络共有16层卷积层,其中第7层为中间监督层;定义了监督层误差函数和重建误差函数,用于改善深层卷积神经网络梯度消失现象。训练网络时包括图像预处理、特征提取和图像重建3个步骤,采用不同尺度因子（2、3、4）模糊的低分辨率图像交叉训练网络,以适应对不同模糊程度的图像重建;使用卷积操作提取图像特征时将参数pad设置为1,提高了对图像和特征图的边缘信息利用;利用残差学习完成高分辨率图像重建。结果 在Set5和Set14数据集上进行了实验,并和双三次插值、A+、SelfEx和SRCNN等方法的结果进行比较。在主观视觉评价方面,本文方法重建图像的清晰度和边缘锐度更好。客观评价方面,本文方法的峰值信噪比（PSNR）平均分别提高了2.26 dB、0.28 dB、0.28 dB和0.15 dB,使用训练好的网络模型重建图像耗用的时间不及SRCNN方法的一半。结论 实验结果表明,本文方法获得了更好的主观视觉评价和客观量化评价,提升了图像超分辨率重建质量,泛化能力好,而且图像重建过程耗时更短,可用于自然场景图像的超分辨率重建。     

一种基于独立分量分析的模糊图像盲分离算法

利用独立分量分析（ICA）的不完整自然梯度算法对因混合而引起的多幅模糊灰度图像进行盲分离,并针对算法中的非线性函数与源信号概率分布密切相关,而源信号的分布却是未知的先验信息的问题,利用算法输出信号的峰度对非线性激活函数进行自适应选择,提出了一种改进的自适应不完整自然梯度算法,并将其应用于模糊图像的盲分离,分析了不同混合矩阵对本文算法恢复原始灰度图像的影响及算法性能。仿真结果证明了本文算法与经典的FastICA算法相比,计算耗时更少、性能指标明显优越。     

基于Gabor小波和CNN的图像失真类型判定算法

针对图像失真分类问题,提出了一种基于Gabor小波和卷积神经网络（convolutional neural network,CNN）的失真类型判定算法。该算法先利用Gabor小波的良好特性对图像进行特征粗提取,再通过改进的CNN进一步提取关键特征。算法步骤包括：首先对图像进行预处理（包括标签设定、样本均衡和样本扩充）;然后对预处理后的图像进行八方向的Gabor小波变换,并将不同方向的子带叠加构成输入样本;最后通过自行设计的CNN和Softmax分类器对样本进行训练,训练过程中采用随机梯度下降和反向误差传播的方法对卷积核参数进行优化得到最终模型。对训练好的模型进行失真类型判定实验,在LIVE标准图像库上分类正确率达95.62%,表明本算法具有较高的准确性和鲁棒性。     

基于深度代价敏感CNN的年龄估计算法

针对年龄估计中样本数量不平衡及不同类间发生误分类时付出代价不同的问题,将代价敏感性嵌入深度学习框架中,提出基于深度代价敏感CNN的年龄估计算法.首先为每个年龄类别分别建立损失函数,解决训练样本的不平衡问题.然后,定义代价向量以反映不同类之间发生误分类而付出的代价差异性,构造逆交叉熵误差函数.最后,融合上述方法,为卷积神经网络(CNN)构造一个损失函数,使CNN在训练阶段学习针对年龄估计的鲁棒人脸表征.在不同种族的年龄估计标准图像集上的实验验证文中算法的有效性.     

自适应增强卷积神经网络图像识别

目的 为了进一步提高卷积神经网络的收敛性能和识别精度,增强泛化能力,提出一种自适应增强卷积神经网络图像识别算法。方法 构建自适应增强模型,分析卷积神经网络分类识别过程中误差产生的原因和误差反馈模式,针对分类误差进行有目的地训练,实现分类特征基于迭代次数和识别结果的自适应增强以及卷积神经网络权值的优化调整。自适应增强卷积神经网络与多种算法在收敛速度和识别精度等性能上进行对比,并在多种数据集上检测自适应卷积神经网络的泛化能力。结果 通过对比实验可知,自适应增强卷积神经网络算法可以在很大程度上优化收敛效果,提高收敛速度和识别精度,收敛时在手写数字数据集上的误识率可降低20.93%,在手写字母和高光谱图像数据集上的误识率可降低11.82%和15.12%;与不同卷积神经网络优化算法对比,误识率比动态自适应池化算法和双重优化算法最多可降低58.29%和43.50%;基于不同梯度算法的优化,误识率最多可降低33.11%;与不同的图像识别算法对比,识别率也有较大程度提高。结论 实验结果表明,自适应增强卷积神经网络算法可以实现分类特征的自适应增强,对收敛性能和识别精度有较大的提高,对多种数据集有较强的泛化能力。这种自适应增强模型可以进一步推广到其他与卷积神经网络相关的深度学习算法中。     

林业运动模糊图像复原的融合正则化方法

林业机器人在林业环境中进行作业时,很容易因为滑动、地面障碍物的碰撞等原因发生小幅的无规律运动导致机器人相机采集的图像发生运动模糊,对后续图像信息提取造成很大的影响。针对这一问题,提出了林业运动模糊图像复原的融合正则化方法。先建立包含[L1/L2]范数正则项的代价函数,求解运动模糊核。再通过图像梯度先验正则项及稀疏正则项构建代价函数,对清晰图像求解。引入的[L1/L2]范数正则项及图像梯度先验正则项对稀疏表示正则项容易产生块效应的问题进行了弥补,因而获得了令人满意的效果。对人工合成的运动模糊图像和自然条件下真实运动模糊图像进行的实验验证了该算法的有效性。     

Variable augmented neural network for decolorization and multi-exposure fusion

This paper shows how to convert a color image to grayscale using convolutional neural network (CNN), that preserves visual contrast via gradient domain modeling. We propose to explore the auxiliary variable principle to make the input and output variable dimensions to be the same, and use L1-norm error of the image gradients as the loss function criterion. The similarity measure calculates the summation of the gradient correlation between each channel of the color image and the transformed grayscale image. The final gray mapping result is then obtained by reconstruction from a globally initial grayscale image and locally derived gradient images. A weighted objective is proposed to balance the robustness and visual appearance of color images. Furthermore, by revealing the relation between color-to-gray and multi-exposure fusion, the network is applied to multi-exposure fusion. Both quantitative and qualitative evaluations on decolorization and multi-exposure fusion consistently demonstrate the potential of the proposed method against existing state-of-the-art algorithms.     

基于Radon变换的运动模糊图像恢复

提出了一种快速自然运动模糊图像恢复算法,采用一种新的基于Radon变换算法来确定模糊核函数;在确定模糊核函数后,对于模糊图像的恢复采用了一种改进的基于l1范数和l2范数混合保真项的变分图像恢复算法。实验结果表明,与Fergus的算法和Levinss的算法比较,所提算法对于一类线性运动占主要因素的强噪声模糊图像的恢复具有更快的速度和良好的恢复效果。     

Robust global and local fuzzy energy based active contour for image segmentation

Though various image segmentation techniques have been developed, it is still a very challenging task to design a robust and efficient algorithm to segment (noisy, blurred or even discontinuous edged) images having high intensity inhomogeneity or non-homogeneity. In this article, a robust fuzzy energy based active contour, using both global and local information, is proposed to detect objects in a given image based on curve evolution. The local energy is generated by considering both local spatial and gray level/color information. The proposed model can better deal with images having high intensity inhomogeneity or non-homogeneity, noise and blurred boundary or discontinuous edges by incorporating local energy term in the proposed active contour energy function. The global energy term is used to avoid unsatisfactory results due to bad initialization. In this article, instead of solving the Euler–Lagrange equation, a level set based optimization is used for the convergence. We show a realization of the proposed method and demonstrate its performance (both qualitatively and quantitatively) with respect to state-of-the-art techniques on several images having such kind of artifacts. Analysis of results concludes that the proposed method can detect objects from given images in a better way than the existing ones.     

基于改进密集连接型网络的光场深度估计

针对传统的光场深度估计算法精度低、计算慢的问题,提出了一种改进DenseNet的多输入流密集连接型卷积神经网络进行光场深度估计的方法。该方法采用的密集连接的结构,减少了模型的计算量。对输入图片进行预处理,转化为极平面图EPI Volume(Epipolar Plane Image)结构,采用随机灰度化等数据增强方法克服训练数据不足,通过神经网络将EPI特征转化为深度信息。在HCI 4D光场数据集上的对比实验结果表明,该方法在均方误差和不良像素率上都取得了良好结果,并且在执行时间上大幅领先于传统算法。     

基于卷积与稀疏编码的半监督学习方法

卷积神经网络(CNN)在半监督学习中取得了良好的成绩,其在训练阶段既利用有标记样本,也利用无标记样本帮助规范化学习模型。为进一步加强半监督模型的特征学习能力,提高其在图像分类时的性能表现,本文提出一种联合深度半监督卷积神经网络和字典学习的端到端半监督学习方法,称为Semi-supervised Learning based on Sparse Coding and Convolution(SSSConv);该算法框架旨在学习到鉴别性更强的图像特征表示。SSSConv首先利用CNN提取特征,并对所提取特征进行正交投影变换,下一步通过学习其稀疏编码的低维嵌入以得到图像的特征表示,最后据此进行分类。整个模型框架可进行端到端的半监督学习训练,CNN提取特征部分和稀疏编码字典学习部分具有统一的损失函数,目标一致。本文利用共轭梯度下降算法、链式法则和反向传播等算法对目标函数的参数进行优化,将稀疏编码的相关参数约束于流形上,CNN参数既可定义在欧氏空间,也可以进一步定义在正交空间中。基于半监督分类任务的实验结果验证了所提出SSSConv框架的有效性,与现有方法相比具有较强的竞争力。     

结合GAN的轻量级模糊车牌识别算法

目的 模糊车牌识别是车牌识别领域的难题,针对模糊车牌图像收集困难、车牌识别算法模型太大、不适用于移动或嵌入式设备等不足,本文提出了一种轻量级的模糊车牌识别方法,使用深度卷积生成对抗网络生成模糊车牌图像,用于解决现实场景中模糊车牌难以收集的问题,在提升算法识别准确性的同时提升了部署泛化能力。方法 该算法主要包含两部分,即基于优化卷积生成对抗网络的模糊车牌图像生成和基于深度可分离卷积网络与双向长短时记忆（long short-term memory,LSTM）的轻量级车牌识别。首先,使用Wasserstein距离优化卷积生成对抗网络的损失函数,提高生成车牌图像的多样性和稳定性;其次,在卷积循环神经网络的基础上,结合深度可分离卷积设计了一个轻量级的车牌识别模型,深度可分离卷积网络在减少识别算法计算量的同时,能对训练样本进行有效的特征学习,将特征图转换为特征序列后输入到双向LSTM网络中,进行序列学习与标注。结果 实验表明,增加生成对抗网络生成的车牌图像,能有效提高本文算法、传统车牌识别和基于深度学习的车牌识别方法的识别率,为进一步提高各类算法的识别率提供了一种可行方案。结合深度可分离卷积的轻量级车牌识别模型,识别率与基于标准循环卷积神经网络（convolutional recurrent neural network,CRNN）的车牌识别方法经本文生成图像提高后的识别率相当,但在模型的大小和识别速度上都优于标准的CRNN模型,本文算法的模型大小为45 MB,识别速度为12.5帧/s,标准CRNN模型大小是82 MB,识别速度只有7帧/s。结论 使用生成对抗网络生成图像,可有效解决模糊车牌图像样本不足的问题;结合深度可分离卷积的轻量级车牌识别模型,具有良好的识别准确性和较好的部署泛化能力。     

基于生成对抗网络的文本图像联合超分辨率与去模糊方法

针对现有的超分辨率方法难以从模糊的低分辨率图像中重建出清晰的高分辨率图像的问题,提出了一种基于生成式对抗网络（GAN）的文本图像联合超分辨率与去模糊方法。首先,本方法聚焦于严重模糊的低分辨率文本图像,由上采样模块和去模糊模块两部分组成生成器网络;然后,通过上采样模块对输入图像上采样,生成模糊的超分辨率图像;进一步利用去模糊模块重建出清晰的超分辨率图像;最后,为了更好地恢复文本图像,引入了一个联合训练损失,包含超分辨率像素损失与去模糊像素损失、语义层的特征匹配损失以及对抗损失。在合成图像和真实图像上的大量实验结果表明,与现有的先进算法——单类GAN （SCGAN）相比,峰值信噪比（PSNR）、结构相似度（SSIM）和光学字符识别（OCR）精度分别提高了1.52 dB、0.011 5和13.2个百分点。所提方法能更好地处理真实场景下的退化文本图像,同时计算成本较低。     

深度卷积神经网络的X射线焊缝缺陷研究

针对X射线焊缝的缺陷识别难度较高且难以分类这一问题,在典型CUDA-CONVNET卷积神经网络(CNN)的基础上,改进并设计了一种深度CNN结构.以图像预处理作为基础,在保证最大限度提取原始图像的焊缝特征的前提下,对CNN的层次架构及参数设定开展了研究;通过与支持向量机(SVM)识别算法对比,进一步评估提出的深度学习方式,研究结果表明:改进后的深度CNN结构及其算法对于大样本的图像特征表达与识别能力有一定的优势,运算样本与错误率成反比,网络结构具有较高的图像分类识别正确率.     

一种计算图象形态梯度的多尺度算法

分水岭变换是一种非常适用于图象分割的形态算子,然而,基于分水岭变换的图象分割方法,其性能在很大程度上依赖于用来计算待分割图象梯度的算法。为了高效地进行分水岭变换,提出了一种计算图象形态梯度的多尺度算法,从而对阶跃边缘和“模糊”边缘进行了有效的处理,此外,还提出了一种去除因噪声或量化误差造成的局部“谷底”的算法,实验结果表明,图象采用本文算法处理后,再进行分水岭变换,即使不进行区域合并,也能产生有意义的分割,因而极大地减轻了计算负担。     

Land Cover Classification for Different Spatial Resolution Images from CNN

Based on convolutional neural networks and five different spatial resolution remote sensing images, the land use/land cover classification study was carried out on a small area in the eastern part of Xining City, aiming at exploring the differences of image classification by CNN with different spatial resolutions and CNN’s ability to extract different features. In order to improve the selection efficiency of the samples, a window sliding method was introduced to assist the samples selection. The research shows that the overall classification accuracy of the five different spatial resolution images is above 89%, the Kappa coefficient is above 0.86. The result further shows that within the resolution scale the higher the resolution, the performance of the CNN classification results for the details is better, and can maintain high classification accuracy, indicating that CNN is more suitable for high spatial resolution images; at the same time, the image spatial resolution is too high, the ground objects exhibit high intra-class variability and low inter-class variability, the classification accuracy tends to decrease. In comparison, CNN has the best classification effect on SPOT 6 images in this study, and window sliding is an effective sample-assisted selection method. This research has certain reference significance for similar research in the future.     

基于CNN的不同空间分辨率影像土地覆被分类研究

基于卷积神经网络（Convolutional Neural Networks, CNN）和5种不同空间分辨率的遥感影像,对西宁市东部一区域开展土地覆被分类研究,旨在探索CNN在不同空间分辨率下进行影像分类的差异性和对不同地物的提取能力。为提高样本的选择效率,引入了窗口滑动方法进行辅助选样。研究表明5种不同空间分辨率影像的总体分类精度均达89%以上,Kappa系数达0.86以上,分类精度较高。在所涉及的分辨率尺度范围内,空间分辨率越高,CNN分类结果越精细,并能保持较高的分类精度,表明CNN更适合高空间分辨率影像分类;但同时影像空间分辨率越高,地物表现出较高的类内变异性和低类间差异性,分类精度有降低的趋势。相比较而言,SPOT 6影像的分类精度最高,同时窗口滑动是一种有效的样本辅助选择方法。研究对今后同类工作具有一定的借鉴意义。     

Surface defect detection of voltage-dependent resistors using convolutional neural networks

Surface defect detection is an important way to improve the production quality of voltage-dependent resistors (VDRs). To improve the accuracy and efficiency of VDR surface quality detection, an end-to-end surface quality detection method based on deep convolutional neural networks (CNNs) was proposed. The method includes four stages: data preparation, convolution neural network design, CNN training, and testing. First, images of VDRs were acquired from three perspectives, i.e., the front, back, and side, and then training, validation and testing sets were obtained. Second, the proposed CNN models for VDR surface defect detection were constructed. Third, during the training stage, the images with class labels from the established training sets were input to the proposed network for training and validation. Finally, in the testing stage, test images from a total of 408 samples of two VDR models were used to test the trained network. The sensitivity, specificity, accuracy, precision and F measure of the proposed algorithm were compared with those of state-of-the-art methods, and the experimental results showed that the proposed method has a high recognition speed and accuracy and meets the requirements of online real-time detection.

     

一种基于全部和局部平滑光流的分步人脸重建算法

提出一种基于全部和局部（combined local-global approach, CLG）平滑光流的分步人脸重构算法。首先利用原始CLG得到图像初始匹配值; 再以反投影残差、光流梯度、人脸光流范围进行约束, 找出初始匹配中不可信匹配区域; 最后对不可信图像区域提取纹理并再次计算光流值。实验表明, 该人脸重建算法的重建精度与鲁棒性比原始CLG算法高, 能够得到光顺的人脸三维数据。     

基于轻量级网络的人脸检测及嵌入式实现

尽管基于卷积神经网络(CNN)的人脸检测器在精度上已经有了很大提升,但所需的计算量和模型复杂度越来越高,如何在计算能力有限的嵌入式设备上应用人脸检测模型是一个很大的挑战.针对320×240分辨率输入图像的人脸检测在嵌入式系统上的应用问题,提出了一种基于轻量级网络的低分辨率人脸检测算法.该算法使用注意力机制、结合了Dis...