彩色图像去雾清晰化研究

为了解决雾霾天气的影响下成像设备采集的图像容易出现的降质及色彩失真问题, 并从有雾图像中增强其细节信息, 提高原图像的对比度和清晰度. 将彩色图像RGB通道分别做相应的图像增强算法处理, 全局直方图均衡化把整体的灰度直方图进行均匀分布的处理, 小波变换算法对彩色图像进行多层次分解, 多尺度Retinex算法通过高斯函数做卷积运算对图像做多尺度变换. 实验结果表明, 全局直方图均衡化、小波变换算法和多尺度Retinex算法都能增强雾天图像的景物信息, 有对应于各自的优势和不足. 相比较这3种算法而言, 多尺度Retinex算法得到的去雾图像亮度增强、细节信息突出、失真度小, 能更好地进行去雾增强.     

基于深度学习的遥感图像去雾算法

针对遥感图像由于雾霾的存在导致图像清晰度下降的问题,提出了一种基于深度学习的图像去雾算法.首先将原有大气散射模型进行变形得到一个端到端的去雾模型,再将多个未知参数统一在一个参数中,运用多尺度卷积神经网络对未知参数进行估计,最后将参数估计值代入去雾模型中得到无雾图像.针对无参考图像数据集,先运用现有数据集对网络进行初步训练,再加入自建数据集对网络进行二次训练.实验结果表明,与相关去雾算法进行对比,该算法在视觉效果和客观指标上都有不同程度的提高,有效提升了遥感图像在雾霾天气状况下的清晰度.     

MSIMCNN: Multi-scale inception module convolutional neural network for multi-focus image fusion

The aim of image fusion is to obtain a clear image by combining useful information coming from multiple images. However, the fused image usually has the problem of artifacts and unclear boundary. To address these problems, a deep convolutional neural network based framework for multi-focus image fusion is proposed in this paper, called multi-scale inception module convolutional neural network (MSIMCNN). MSIMCNN converts the entire image into a binary mask to estimate the focus characteristics, and obtains the clear boundary between focus and defocus. First of all, a pair of focus images and the corresponding feature images detected by the Laplace operator are inputted into the network. The Laplace operator can detect the edge and gradient of focus in the image, which can help us accurately reconstruct the focused area in the focus map and distinguish the focus and defocus boundaries. Then, in the feature extraction stage, different scales of convolution kernels are designed to extract the rich and complementary features at different scales of the source images. At the same time, the inception module is added to increase the width of the network and reduce the parameters, which can extract more focus features required for image reconstruction and reduce the complexity. Finally, the focus map of the source image pair can be obtained in the feature reconstruction stage. In this stage, an efficient method is proposed to make the focus mask, which is used for the calculation of the loss function and the generation of the training set. The experimental results on different data sets confirm the superiority and effectiveness of MSIMCNN compared with other methods.

     

多尺度密集网络在红外和可见光图像融合应用

为了进一步提升红外和可见光图像的融合效果,提出了一种基于多尺度卷积算子和密集连接网络的图像融合模型.该模型首先使用多尺度卷积算子计算图像的直接多尺度特征,然后使用密集连接网络计算图像的间接多尺度特征.为了得到图像像素信息在不同尺度下的融合权重,通过叠加的方式将各个尺度密集连接网络的输出进行融合,并使用活动图方法计算两类图像的融合权重,最后根据权重计算结果得到融合图像,实验在THO数据集和CMA数据集获得较好的识别率.     

基于泰勒展开式与曲率逆向驱动的图像超分辨算法

针对传统的插值算法和基于模型的超分辨算法通常会导致图像对比度和清晰度下降等问题,提出了一种基于泰勒展开式与曲率逆向驱动图像超分辨算法。该算法首先采用泰勒公式估计图像灰度值的变化趋势,然后利用等照度线的曲率细化图像边缘特征,并将梯度作为约束条件抑制图像边缘的锯齿与振铃效应。大量实验表明,所提算法在清晰度和信息保留度上比传统算法更具有优势,算法处理结果更符合人眼视觉效果,在泰勒展开式的基础上进行逆向扩散也使该算法的运行效率明显高于传统迭代算法。     

基于局部加权拟合算法的无人机遥感影像多尺度检测技术

目前提出的无人机遥感影像多尺度检测技术平均图像灰度较差,导致检测结果清晰度较低;为了解决上述问题,基于局部加权拟合算法研究了一种新的无人机遥感影像多尺度检测技术,选用最小二乘法进行多次循环计算,确定周围区域重复率,通过抽稀处理提高数据精度;根据高斯金字塔得到n阶的影像序列,利用高斯金字塔和差分尺度划分完成遥感影像的特征提取;引入加权拟合算法,构建有效影像数据集,确定影像网络模型,从而完成合并,实现影像数据的检测;实验结果表明,基于局部加权拟合算法的无人机遥感影像多尺度检测技术能够有效提高平均图像清晰度,增强检测结果的清晰度。     

基于多尺度自商图和改进积分投影法的人眼定位

针对传统的投影方法在人眼定位时易受光照干扰以及难以获得精准的人眼中心点的问题,提出一种基于多尺度自商图和改进的积分投影法的人眼定位算法.首先利用多尺度自商图消除人脸图像的光照影响;然后分析眼睛在水平方向上灰度分布的特点,采用两个行梯度算子对积分投影法进行了改进,以提升眼睛区域特征并初步定位人眼区域;接着采用Sobel算子对人眼区域进行滤波得到人眼滤波图,并对人眼滤波图的垂直积分投影曲线进行高斯函数拟合,根据拟合结果分割出左眼窗口和右眼窗口;最后,计算左眼窗口和右眼窗口的尺寸,获取左眼窗口和右眼窗口的中心点,即为人眼中心点.在YaleB人脸数据库和JAFFE人脸数据库上测试表明,本文方法对复杂光照、人脸边缘以及人脸表情适应性强,可以获得较为精准的人眼中心点.     

多尺度双通道卷积神经网络下的刺绣模拟

目的 针对现有刺绣模拟算法中针线感不强、针线轨迹方向单一等问题,提出了一种基于多尺度双通道卷积神经网络的刺绣模拟算法。方法 1）搭建多尺度双通道网络,选取一幅刺绣艺术作品作为风格图像,将MSCOCO（microsoft common objects in context）数据集作为训练集,输入网络得到VGG（visual geometry group）网络损失和拉普拉斯损失;2）将总损失值传回到网络,通过梯度下降法更新网络参数,并且重复更新参数直到指定的训练次数完成网络训练;3）选取一幅目标图像作为刺绣模拟的内容图像,输入训练完成的网络,获得具有刺绣艺术风格的结果图像;4）使用掩模图像将得到的结果图像与绣布图像进行图像融合,即完成目标图像的刺绣模拟。结果 本文算法能产生明显的针线感和多方向的针线轨迹,增强了刺绣模拟绘制艺术作品的表现力。结论 本文将输入图像经过多尺度双通道卷积神经网络进行前向传播,并使用VGG19、VGG16和拉普拉斯模块作为损失网络进行刺绣模拟。实验结果表明,与现有卷积神经网络风格模拟算法对比,本文提出的网络能够学习到刺绣艺术风格图像的针线特征,得到的图像贴近真实刺绣艺术作品。     

一种山区图像边缘信息的分水岭变换提取方法

为了能够抑制引起过分割的根本原因-噪声和细密纹理,提出了一种改进的提取山区图的山脊线、山谷线的边缘信息的分水岭算法,该算法着重于解决传统分水岭的过分割问题;该算法首先对梯度图进行一种改进的多尺度梯度算子处理,以减小图像噪声对分水岭的过度分割的影响;然后利用基于标记符控制的最小强制技术去除由噪声和不必要的图像细节形成的谷底,使修正后的梯度图像只对应包含区域极大值的标记图像,改进后的方法能准确地提取出所需要的关键边缘信息.     

基于生成式对抗网络的道路交通模糊图像增强

为了提高道路交通模糊图像增强的质量,进一步促进道路交通管理,针对道路交通场景下的运动模糊图像增强问题,提出了一种基于生成式对抗网络的多尺度多路径学习的模型。首先,选用具有多尺度卷积核的神经网络,对输入的图像进行更细致地特征值提取;其次,将局部残差学习和全局残差学习相结合,采用多路径多权重共享的递归学习,并利用判别网络和生成网络间的对抗训练优化网络参数;最后,实现端到端直接生成图像。实验结果表明:提出的模型可以有效地增强道路交通场景下的运动模糊图像,生成的图像细节更加丰富,具有较好的图像视觉效果。     

基于多尺度时域3D卷积的视频超分辨率重建

视频超分辨率是一项很有实用价值的工作.针对超高清产业中高分辨率资源较为匮乏的问题,为了有效利用视频序列帧间丰富的时间相关性信息及空间信息,提出一种基于多尺度时域3D卷积的视频超分辨率重建算法.该算法将输入的低分辨率视频序列帧分别通过不同时间尺度的3D卷积进行时空特征提取,3D卷积能够同时对空间与时间建模,相较于2D卷积...     

基于卷积盲降噪的混合式核磁共振成像

为了解决图像压缩感知重建研究领域中通过有效的图像先验信息重构与原图相似性高且保留细节消除伪影的高质量图像的问题, 针对不足采样的K空间数据, 在经典的CNN算法CBDNet算法的基础上, 通过融合深度学习先验信息及传统图像恢复各自优势的方法, 研究了基于深度神经网络去噪先验和BM3D块压缩感知算法的混合式重构算法. 该算法采用交互式方法训练多尺度残差网络抑制噪声水平, 借优化选择的方式将深度学习与传统块匹配多尺度结合以提取图像不同尺度的特征数据从而实现抑制伪影、快速重建高质量MRI. 实结果表明深度学习结合BM3D在MR图像重构领域能够有效降低伪影保留细节信息, 加强重构效果. 与此同时, 通过采用GPU的加速运算, 算法的计算复杂度较使用单一算法并未增加很多. 可见基于卷积盲降噪的混合式核磁共振成像效果更佳.     

多通道区域建议的多尺度X光安检图像检测

针对安检X光图像检测中的违禁品尺度差异问题,对Faster RCNN网络进行改进,提出一种基于多通道区域建议网络（muiti-channel region proposal network,MCRPN）。考虑到不同层卷积特征在视觉语义上的互补性,进行多层特征提取,融合VGG16高层较丰富的语义特征和低层较浅的边缘特征;修改多通道RPN中的锚框参数,将生成的多尺度候选目标区域分别映射到对应的特征图上,构建多尺度违禁品检测网络;在多通道上引入膨胀卷积,设计一种多分支膨胀卷积模块（dilated convolutions module,DCM）,增大感受野,增强不同尺度的特征。将改进的算法在自制数据集SIXray_OD上进行实验,检测的平均精度达到84.69%,测性能较原网络提高了6.28%。实验结果表明,改进算法的识别精度有一定提高。     

基于多尺度残差网络的压缩感知重构算法

目前压缩感知系统利用少量测量值使用迭代优化算法重构图像.在重构过程中,迭代重构算法需要进行复杂的迭代运算和较长的重构时间.本文提出了多尺度残差网络结构,利用测量值通过网络重构出图像.网络中引入多尺度扩张卷积层用来提取图像中不同尺度的特征,利用这些特征信息重构高质量图像.最后,将网络的输出与测量值进行优化,使得重构图像在测量矩阵上的投影与测量值更加接近.实验结果表明,本文算法在重构质量和重构时间上均有明显优势.     

Multi-scale weighted gradient-based fusion for multi-focus images

Anisotropic blur and mis-registration frequently happen in multi-focus images due to object or camera motion. These factors severely degrade the fusion quality of multi-focus images. In this paper, we present a novel multi-scale weighted gradient-based fusion method to solve this problem. This method is based on a multi-scale structure-based focus measure that reflects the sharpness of edge and corner structures at multiple scales. This focus measure is derived based on an image structure saliency and introduced to determine the gradient weights in the proposed gradient-based fusion method for multi-focus images with a novel multi-scale approach. In particular, we focus on a two-scale scheme, i.e., a large scale and a small scale, to effectively solve the fusion problems raised by anisotropic blur and mis-registration. The large-scale structure-based focus measure is used first to attenuate the impacts of anisotropic blur and mis-registration on the focused region detection, and then the gradient weights near the boundaries of the focused regions are carefully determined by applying the small-scale focus measure. Experimental results clearly demonstrate that the proposed method outperforms the conventional fusion methods in the presence of anisotropic blur and mis-registration.     

基于颜色衰减的自适应去雾算法

雾霾使室外拍摄的图像、视频画质退化严重,给室外安防和交通监控等系统的正常运行带来困难。去雾算法旨在恢复图像质量,增强图像对比度和清晰度。本文提出了一种结合大气散射模型与颜色衰减先验的去雾复原模型,并以新增可见边比为评价标准,给出了模型参数的自适应求取方法,并采用引导滤波对透射率进行优化,从而较好地恢复出无雾图像。对有雾图像分别采用本文方法和三种现有去雾算法进行对比实验,从实验结果看,基于颜色衰减的自适应去雾算法可使图像清晰度、对比度得到较大的提高,与其他算法相比,在实时性和清晰度方面有一定优势。     

Multi-focal image fusion using degree of focus and fuzzy logic

The continuous advancement in the field of imaging sensor necessitates the development of an efficient image fusion technique. The multi-focal image fusion extracts the in-focus information from the source images to construct a single composite image with increased depth-of-field. Traditionally, the information in multi-focal images is divided into two categories: in-focus and out-of-focus data. Instead of using a binary focus map, in this work we calculate the degree of focus for each source image using fuzzy logic. The fused image is then generated based on the weighted sum of this information. An initial focus tri-state map is built for each input image by using spatial frequency and a proposed focus measure named as alternate sum modified Laplacian. For the cases where these measures indicate different source images to contain focused pixel or have equal strength, another focus measure based on sum of gradient is employed to calculate the degree of focus in a fuzzy inference system. Finally, the fused image is computed from the weights determined by the degree of focus map of each image. The proposed algorithm is designed to fuse two source images, whereas fusion of multiple input images can be performed by fusing a source image with the fusion output of the previous input group. The comparison of the proposed method with several transform and pixel domain based techniques are conducted in terms of both subjective visual assessment and objective quantitative evaluation. Experimental results demonstrate that our method can be competitive with or even outperforms the methods in comparison.     

雾天条件下的多尺度Retinex图像增强算法

在雾天条件下拍摄图像时,由于受到大气散射作用的影响,图像的颜色和对比度会出现退化现象。为了提高雾天图像的质量,提出一种改进的多尺度Retine雾天图像增强算法。首先采用幂次变换压缩图像动态范围;然后采用非线性变换对图像的高光区域进行抑制;最后采用反锐化掩模滤波消除图像模糊,增强雾天图像细节信息,并采用多幅雾天图像对算法性能进行仿真测试。仿真结果表明,改进多尺度Rctinc的雾天图像增强算法较好地解决了传统Retine算法存在的不足,加快了雾天图像增强的运行速度,使得雾天图像更加清晰化,获得了更优的视觉效果。     

基于可变形卷积的手绘图像检索

手绘图像仅包含简单线条轮廓, 与色彩、细节信息丰富的自然图像有着截然不同的特点. 然而目前的神经网络大多针对自然图像设计, 不能适应手绘图像稀疏性的特性. 针对此问题, 本文提出一种基于可变形卷积的手绘检索方法. 首先通过Berkerly边缘检测算法将自然图转化为边缘图, 消除域差异. 然后将卷积神经网络中的部分标准卷积替换为可变形卷积, 使网络能够充分关注手绘图轮廓信息. 最后分别将手绘图与边缘图输入网络并提取全连接层特征作为特征描述子进行检索. 在基准数据集Flickr15k上的实验结果表明, 本文方法与现有方法相比能够有效提高手绘图像检索精度.     

长时序高光谱图像清晰度影响因素分析

目的 清晰度是评价对地观测成像仪影像数据质量的典型指标之一,可以反映成像仪对地物边缘变化的敏锐程度。已有的对地观测成像仪在轨测试及图像质量评价方法研究中,往往关注遥感影像清晰度是否达标,或监测其变化趋势,未对清晰度变化影响因素进行深入探讨。针对这一问题,本文主要对长时间序列的成像仪成像清晰度的变化以及影响因素进行探讨。方法 以天宫一号高光谱成像仪短波红外谱段0级数据作为研究对象,首先利用改进的基于边缘检测的清晰度算法计算出影像的清晰度,其次将各影像数据对应的成像仪工程参数进行筛选,然后利用Apriori算法对长时间序列高光谱影像的清晰度与成像时刻的工程参数进行关联规则挖掘,利用最小支持度阈值和最小置信度阈值筛选出强关联规则,并附加提升度和余弦对强关联规则进行验证,最后结合3维散点图对影响清晰度的主要因素进行定量分析。结果 经大量测试数据表明,天宫一号高光谱成像仪短波红外谱段影像清晰度较好,影响清晰度的主要因素有太阳高度角、拍摄积分时间以及平台稳定性(包括俯仰角、偏航角和滚动角的稳定性)。太阳高度角与图像清晰度呈正相关关系,即当太阳高度角大于65°时,影像清晰度较高,当太阳高度角小于30°时,影像清晰度较低;平台稳定性与图像清晰度呈正相关关系,即当太阳高度角大于30°且小于65°时,平台稳定性高倾向于得到清晰度较高的图像,平台稳定性低倾向于得到清晰度较低的图像;拍摄积分时间与图像清晰度呈负相关关系。结论 基于关联规则挖掘的长时序高光谱图像清晰度影响因素分析方法是一种有效的分析方法,可以挖掘出与影像清晰度强关联的工程参数。后续可扩大工程参数范围,利用此分析方法进一步研究遥感图像其他指标与工程参数的关联关系。