Image super resolution by dilated dense progressive network

Image super-resolution (SR) is an interesting topic in computer vision. However, it remains challenging to achieve high-resolution image from the corresponding low-resolution version due to inherent variability, high dimensionality, and small ground targets images. In this paper, a new model based on dilated convolutional neural network is proposed to improve the image resolution. Recently, deep learning methods have led to significant improvements and completely outpace other models. However, these methods have not fully exploited all the features of the original low-resolution image, because of complex imaging conditions and the degradation process. To address this issue, we proposed an effective model based on dilated dense network operations to accelerate deep networks for image SR, which support the exponential growth of the receptive field parallel by increasing the filter size. In particular, residual network and skip connections are used for deep recovery. The experimental evaluations on several datasets prove the efficiency and stability of the proposed model. The proposed model not only achieves state-of-the-art performance but also has more efficient computation.     

Image super-resolution based on two-level residual learning CNN

In recent years, CNN has been used for single image super-resolution (SR) with its success of in the field of computer vision. However, in the recovery process, there are always some high-frequency components that cant be recovered from low-resolution images to high-resolution ones by using existing CNN-based methods. In this paper, we propose an image super-resolution method based on CNN, which uses a two-level residual learning network to learn residual components, i.e., high-frequency components. We use the Super-Resolution Convolutional Neural Network (SRCNN) as the network structure in each level so that our proposed method can achieve the high-resolution images with high-frequency components that cant be obtained by the existing methods. In addition, we analyze the proposed method with considering three kinds of residual learning networks, which are different in the structure and superimposed layers of the residual learning network. In the experiments, we investigate the performance of the proposed method with various residual learning networks and the effect of image super-resolution to image captioning task.

     

基于对偶字典学习的图像超分辨技术研究

提出一种基于对偶字典学习的图像超分辨方法,通过稀疏重建的方法得到重建的图像,对偶字典通过稀疏表示将低分辨图像和高分辨图像联系起来.在稀疏表示过程中,低分辨图像在低分辨字典上的稀疏表示能够很好地提高对应的高分辨图像在高分辨字典上的稀疏表示效果.将字典的学习建模为包含l1范数优化问题的双层最优化问题,采用隐微分法计算随机梯度下降的期望梯度.仿真实验结果表明,该方法能够达到和联合字典学习方法相同的速度和质量,同时,在实际应用中可以通过神经网络模型学习方法提高算法的速度.与现有的算法比较,表明了该算法的有效性.     

基于向量量化的图像超分辨率方法

受分形编码思想启发,提出了一种新的基于向量量化的图像超分辨率方法。该方法使用学习算法来获取单幅输入图像中的高频信息和低频信息之间的对应关系,并利用此关系对输入图像的一个倍频程的空间频率内添加图像细节以获得高分辨率图像。该方法克服了传统插值方法中因过度平滑导致图像模糊和纹理保持较差的缺点,能够重现出传统插值方法不能复原出的一些高频图像细节。实验结果显示该算法在客观和主观上都比传统插值方法有更好的评价。     

基于残差密集网络层次信息的图像标题生成

当前图像标题生成任务的主流方法是基于深层神经网络的方法,尤其是基于自注意力机制模型的方法。然而,传统的深层神经网络层次之间是线性堆叠的,这使得低层网络捕获的信息无法在高层网络中体现,从而没有得到充分的利用。提出基于残差密集网络的方法获取层次语义信息来生成高质量的图像标题。首先,为了能够充分利用网络的层次信息,以及提取深层网络中的各个层的局部特征,提出LayerRDense在层与层之间进行残差密集连接。其次,提出SubRDense,在Decoder端的每层网络中的子层中运用残差密集网络,以更好地融合图像特征和图像的描述信息。在MSCOCO 2014数据集上的实验结果表明,所提出的LayerRDense和SubRDense网络均能进一步提高图像标题生成的性能。     

基于自适应规整化方法的图像超分辨率重建

以Gauss-Gibbs随机场模型为图像的先验概率模型,运用自适应规整化的最大后验概率(MAP)方法进行图像超分辨率重建.通过对先验概率分布参数的估计,对图像超分辨率重建求解进行自适应规整化,从而提高重建图像的质量.实验结果表明,该算法能较好地再现图像的各种边缘信息,重建的高分辨率图像在峰值信噪比和视觉效果方面都得到明显提高.     

基于残差神经网络的图像超分辨率改进算法

为更有效地提升图像的超分辨率（SR）效果,提出了一种多阶段级联残差卷积神经网络模型。首先,该模型采用了两阶段超分辨率图像重建方法先重建2倍超分辨率图像,再重建4倍超分辨率图像;其次,第一阶段与第二阶段皆使用残差层和跳层结构预测出高分辨率空间的纹理信息,由反卷积层分别重建出2倍与4倍大小的超分辨率图像;最后,以两阶段的结果分别构建多任务损失函数,利用第一阶段的损失指导第二阶段的损失,从而提高网络的训练速度,加强网络学习中的监督指导。实验结果表明,与bilinear算法、bicubic算法、基于卷积神经网络的图像超分辨率（SRCNN）算法和加速的超分辨率卷积神经网络（FSRCNN）算法相比,所提模型能更好地重建出图像的细节和纹理,避免了经过迭代之后造成的图像过度平滑,获得更高的峰值信噪比（PSNR）和平均结构相似度（MSSIM）。     

基于加权随机森林的图像超分辨率算法研究

针对目前图像超分辨率重建效果欠佳的问题,提出一种基于加权随机森林的图像超分辨率重建算法.利用随机森林对图像块的特征进行聚类,并引入岭回归模型建立每类叶子结点中高、低分辨率图像块的映射关系,重建时根据测试低分辨率图像块所属的类别以及在每类叶子结点中的K近邻近似拟合误差,进行加权预测获得高分辨率图像块.将图像的非局部自相似性与迭代反投影算法相结合对预测的高分辨率图像进行后处理以提高重建质量.实验结果表明,所提出算法可以有效提高峰值信噪比,具有较好的可视效果.     

基于残差网络的蛋白质超二级结构图像分类

为解决SVM、Bayes、RNN(recurrent neural network)等传统算法在蛋白质结构分类任务中精度低的问题,提出一种基于残差网络的蛋白质超二级结构图像分类方法.将PDB(protein data bank)和SCOP(structural classification of pro-teins)数据库中的4类蛋白质超二级结构3D模型转化为14角度拍摄的2D图像,针对每类图像,通过残差网络单元进行深度特征提取和优化,利用神经网络模型训练,将验证精度最高的模型保存下来并进行测试.实验结果表明,分类精度达到了90.2％,验证了模型的可行性和算法的有效性.     

超分辨率图像配准方法研究

介绍了空间域和频率域图像配准原理,在总结已有成果的基础上,对几种典型的算法进行了分析和比较,最后给出了超分辨率图像配准方法的发展方向.     

利用残差密集网络的运动模糊复原方法

针对图像生成过程中由于物体运动或相机抖动产生的运动模糊问题,提出了利用残差密集网络的运动模糊图像复原方法。设计对抗网络结构,以残差密集网络为生成器,通过长短连接实现不同层次特征的融合,生成复原图像,以深度卷积网络为判别器,判断图像真伪,在生成器和判别器的对抗中提高网络性能;采用对抗损失和内容损失结合的损失函数,提高网络的复原效果;以端到端的方式,省略模糊核的估计过程,输入模糊图像直接获取复原图像。实验结果表明,该方法能够取得较好的复原效果。     

基于稠密残差网络的图像超分辨率重建算法

图像超分辨率重建作为一种廉价方便的图像增强手段,在视频监控、医学成像、卫星遥感等领域有着重要的研究意义.为此结合深度学习在图像重建的性能优势,提出了一种基于增强稠密残差网络(ERDN)的图像超分辨率重建模型.首先使用多卷积核的稠密残差神经网络模块,提取图像的细节信息;然后通过跳跃连接和特征复用模块对多层图像信息进行筛选...     

基于细胞神经网络的图像阈值化方法*

图像阈值化是一种经典、简单而又非常有效的图像分割方法,并已得到了广泛的研究。在分析灰度图像直方图分布的基础上提出了一种基于细胞神经网络（CNN）结合直方图分析的图像阈值化方法,并给出了阈值化CNN所需阈值的自动搜索算法。实验结果表明,相对于其他两种经典的阈值化方法,该方法的阈值化分割结果较好。     

基于Gabor小波和CNN的图像失真类型判定算法

针对图像失真分类问题,提出了一种基于Gabor小波和卷积神经网络（convolutional neural network,CNN）的失真类型判定算法。该算法先利用Gabor小波的良好特性对图像进行特征粗提取,再通过改进的CNN进一步提取关键特征。算法步骤包括：首先对图像进行预处理（包括标签设定、样本均衡和样本扩充）;然后对预处理后的图像进行八方向的Gabor小波变换,并将不同方向的子带叠加构成输入样本;最后通过自行设计的CNN和Softmax分类器对样本进行训练,训练过程中采用随机梯度下降和反向误差传播的方法对卷积核参数进行优化得到最终模型。对训练好的模型进行失真类型判定实验,在LIVE标准图像库上分类正确率达95.62%,表明本算法具有较高的准确性和鲁棒性。     

Towards an accurate radar waveform recognition algorithm based on dense CNN

Existing algorithms for radar waveform classification currently exhibit the lower recognition accuracy, especially at the lower signal to noise ratio (SNR) environment. To remedy these flaws, this paper proposes an accurate automatic modulation classification algorithm based on dense convolutional neural networks (AAMC-DCNN). The algorithm owns the competitive advantages of strengthening the feature reuse and extracting the detailed feature, for improving the recognition performance of radar waveform at the lower SNR. First, the dense convolutional neural networks (CNN) are designed, which connects each layer to every other layer in a feed-forward pattern. In the latter, 8 types of signals are converted into time-frequency images by choi-williams distribution (CWD), and the large training and testing datasets are fabricated. Then, the transfer learning and Adam optimization are introduced. Finally, the experimental analyses are carried out to evaluate the recognition performance. It is worth mentioning that the classification accuracy can be up to 93.4% when the SNR is ?8 dB, and even reach to 100% at 0 dB, which demonstrates the superior performance over others. The present work provides a sound experimental basis for further studying automatic modulation classification for the sake of future field application in electronic warfare systems.

     

基于并行小规模卷积神经网络的图像质量评价

图像质量客观评价广泛应用在图像处理任务中,参考深度学习技术的研究成果,提出了一种基于并行小规模卷积神经网络的无参考图像质量评估算法。卷积操作和并行的多尺度输入能学习到丰富和细微的图像失真特征,首先利用高斯图像金字塔获取不同尺度的失真图像做为4路小规模单层卷积神经网络的输入,经过卷积和池化处理后,输出4路特征矢量,把学习到的特征矢量融合后,通过全连接回归映射为图像质量预测分数。参数优化分2个阶段完成,提高了模型精度。实验测试结果表明,设计的网络模型简单有效,提出的算法性能高于当前主流算法,具有很好的稳定性和较强的泛化能力。      

Motion block based video super resolution

This paper presents a new video super resolution technique, based on the motion and static areas of the low resolution video frames. In order to separate the motion and static blocks, a block motion estimation method is performed between a reference and its neighboring frames. Among the motion blocks, the occluded blocks are identified using an adaptive threshold applied on each block individually. Structure-adaptive normalized convolution (SANC) reconstruction method is used to generate the high resolution static and motion blocks where discrete wavelet transform (DWT) based interpolation is used to produce the high resolution occluded blocks. The static and motion blocks are combined into a high resolution frame. Finally, a sharpening process is performed on the high resolution frame in order to generate the super resolved high resolution output frame. The experimental results show that the proposed technique provides significantly better qualitative visual results as well as quantitative higher PSNR than the state of the art video super resolution algorithms.     

基于结构张量的视频超分辨率算法

针对传统正则化超分辨率（SR）重建模型中,正则化参数选择过大会使重建结果模糊,导致边缘和纹理等细节丢失,选择过小模型去噪能力又不足的问题,提出一种基于结构张量的双正则化参数的视频超分辨率重建算法。首先,利用局部结构张量对图像进行平滑区域和边缘的检测;然后,利用差异曲率对全变分（TV）进行先验信息加权;最后,对平滑区域和边缘采用不同的正则化参数进行超分辨率重建。实验数据显示提出的算法将峰值信噪比（PSNR）提高了0.033～0.11 dB,具有较好的重建效果。实验结果表明：该算法能够有效地提升低分辨率（LR）视频帧重建效果,可应用于低分辨率视频增强、车牌识别和视频监控中感兴趣目标增强等方面。     

基于CNN特征加权和区域整合的图像检索

相比传统特征,卷积神经网络提取的特征对图像具有更强的描述能力,其卷积层比全连接层更适合用来检索图像。然而卷积特征是高维特征,若直接用来匹配图像会消耗大量的时间和内存。提出了一种新的改善和整合卷积特征,形成单维特征向量,再将其用于图像匹配的方法。首先,提取最后一个卷积层的三维特征,再对该卷积特征重新加权,突显图像的边缘信息和位置信息;其次,用滑动窗口进行处理,形成多个区域特征向量,再相加整合成全局特征向量;最后,用余弦距离衡量查询图和测试图的相似性得出检索的初始排名,并且用拓展查询方法进行重排得出最终的平均精度均值mAP。分别在Paris6k和Oxford5k数据库以及用100k张图扩展的Paris106k和Oxford105k数据库上进行测试。相对于CroW方法在Paris数据库上获得的mAP性能指标,本文方法提升了约3个百分点;在Oxford数据库上提升了约1个百分点。实验结果表明,新方法提取的全局特征能够更好地描述图像。     

残差密集相对平均CGAN的脑部图像配准

目的 针对图像合成配准算法中鲁棒性差及合成图像特征信息不足导致配准精度不高的问题,提出了基于残差密集相对平均条件生成对抗网络（residual dense-relativistic average conditional generative adversarial network,RD-RaCGAN）的多模态脑部图像配准方法。方法 相对平均生成对抗网络中的相对平均鉴别器能够增强模型稳定性,条件生成对抗网络加入条件变量能提高生成数据质量,结合两种网络特点,利用残差密集块充分提取深层网络特征的能力,构建RD-RaCGAN合成模型。然后,待配准的参考CT（computed tomography）和浮动MR（magnetic resonance）图像通过已训练好的RD-RaCGAN合成模型双向合成对应的参考MR和浮动CT图像。采用区域自适应配准算法,从参考CT和浮动CT图像中选取骨骼信息的关键点,从浮动MR和参考MR图像中选取软组织信息的关键点,通过提取的关键点指导形变场的估计。从浮动CT图像到参考CT图像估计一个形变场。类似地,从浮动MR图像到参考MR图像估计一个形变场。另外,采用分层对称的思想进一步优化两个形变场,当两个形变场之间的差异达到最小时,将两个形变场融合得到最终的形变场,并将形变场作用于浮动图像完成配准。结果 实验结果表明,与其他6种图像合成方法相比,本文模型合成的目标图像在视觉效果和客观评价指标上均优于其他方法。对比Powell优化的MI（mutual information）法、ANTs-SyN（advanced normalization toolbox-symmetric normalization）、D.Demons（diffeomorphic demons）、Cue-Aware Net（cue-aware deep regression network）和I-SI（intensity and spatial information）的图像配准方法,归一化互信息分别提高了43.71%、12.87%、10.59%、0.47%、5.59%,均方根误差均值分别下降了39.80%、38.67%、15.68%、4.38%、2.61%。结论 本文提出的多模态脑部图像配准方法具有很强的鲁棒性,能够稳定、准确地完成图像配准任务。