基于多尺度特征增强卷积神经网络遥感目标检测算法

随着技术的不断发展,遥感技术被广泛应用于地图绘制、资源勘探以及灾害预警等领域。遥感目标检测是进行遥感图像解译的关键步骤。传统的目标检测算法在对遥感目标进行检测的过程中存在目标漏检、检测精度低以及无法解决小目标检测等问题。提出一种基于多尺度特征增强卷积神经网络(MSFE-CNNs)的遥感目标检测算法,通过对不同卷积层特征进行增强和融合,使得模型具有更快的训练速度和更高的检测精度。所提算法结合特征提取模块、特征增强模块、自注意力机制和金字塔特征注意力机制。特征提取模块对输入的海量遥感数据进行特征提取,获取不同类别目标的多尺度特征;特征增强模块用于增强不同卷积层特征相关性,强化模型的学习能力和特征之间的非线性关系;自注意力机制和金字塔特征注意力机制主要解决传统卷积神经网络无法获取小尺度目标特征的问题。为了验证所提算法的有效性,在DOTA数据集上进行不同方法对比,实验结果表明所提算法在检测精度和训练速度上均优于现有基于深度学习的目标检测算法。     

基于多尺度和注意力模型的红外与可见光图像融合

针对红外与可见光图像在融合后容易出现伪影,小目标轮廓不清晰等问题,提出一种基于多尺度特征与注意力模型相结合的红外与可见光图像融合算法。通过5次下采样提取源图像不同尺度的特征图,再将同一尺度的红外与可见光特征图输入到基于注意力模型的融合层,获得增强的融合特征图。最后把小尺度的融合特征图进行5次上采样,再与上采样后同一尺度的特征图相加,直到与源图像尺度一致,实现对特征图的多尺度融合。实验对比不同融合框架下融合图像的熵、标准差、互信息量、边缘保持度、小波特征互信息、视觉信息保真度以及融合效率,本文方法在多数指标上优于对比算法,且融合图像目标细节明显轮廓清晰。     

基于增强多尺度特征网络的图像去模糊

现有的多尺度多阶段图像去模糊方法存在多尺度图像特征提取利用不充分和阶段加深导致特征信息丢失的问题。针对上述问题,提出了一种基于增强多尺度特征网络的图像去模糊方法。首先,提出一个多尺度残差特征提取模块,在两个分支中使用不同大小的卷积核扩大感受野,充分提取不同分辨率大小图像的特征信息。其次,提出跨阶段注意力模块,过滤和传递图像的关键特征。最后,设计类似于跳跃连接的跨阶段特征融合模块,弥补特征损失,同时融合来自不同大小输入图像的特征信息,丰富空间特征信息,以更好地处理纹理细节。在GoPro和HIDE数据集上的实验结果表明,所提方法能够很好地重建图像。     

基于注意力门残差网络的遥感影像道路提取

针对遥感影像道路提取出现的无关噪声多,道路不连续问题,本文通过改进U-Net提出了基于注意力门残差网络的道路提取算法。首先,编码器部分引入残差块传递原始特征,在保证网络深度的同时,使梯度能够有效传递;其次,在连接层使用多尺度空洞卷积特征提取模块,来充分挖掘图像中的多尺度特征信息;最后,用注意力门将浅层网络信息和反卷积信息融合实现解码,以抑制浅层噪声特征。使用的数据集包括Massachusetts Roads Dataset数据集和CVPR DeepGlobe 2018道路提取挑战赛数据集。实验结果表明,该算法可以有效提升道路分割的效果。     

融入残差注意力机制的DeepLabV3+图像拼接篡改取证网络

针对现有图像拼接检测网络模型存在边缘信息关注度不够、像素级精准定位效果不够好等问题,提出一种融入残差注意力机制的DeepLabV3+图像拼接篡改取证方法,该方法利用编-解码结构实现像素级图像的拼接篡改定位。在编码阶段,将高效注意力模块融入ResNet101的残差模块中,通过残差模块的堆叠以减小不重要的特征比重,凸显拼接篡改痕迹;其次,利用带有空洞卷积的空间金字塔池化模块进行多尺度特征提取,将得到的特征图进行拼接后通过空间和通道注意力机制进行语义信息建模。在解码阶段,通过融合多尺度的浅层和深层图像特征提升图像的拼接伪造区域的定位精度。实验结果表明,在CASIA 1.0、COLUMBIA和CARVALHO数据集上的拼接篡改定位精度分别达到了0.761、0.742和0.745,所提方法的图像拼接伪造区域定位性能优于一些现有的方法,同时该方法对JPEG压缩也具有更好的鲁棒性。     

基于双注意力机制的雾天图像清晰化算法研究

针对传统去雾算法容易依赖先验知识以及恢复出来的清晰图像会产生颜色失真等问题,本文提出一种基于双注意力机制的雾天图像清晰化算法。首先将雾图输入编码器,经过下采样后得到特征图像;特征提取模块将多个特征提取基本块联结在一起,每个基本块由局部残差学习和特征注意模块组成,提高图像质量以及图像特征信息的利用率,增加网络训练的稳定性;然后通过通道注意力与多尺度空间注意力并行的结构处理特征图像,使得网络更加关注细节特征,提取更多关键信息,同时提高网络效率;最后将融合后的特征图像输入解码器中,经过多级映射,得到与输入大小匹配的雾密度图。实验结果表明,不论是对合成雾天图像或者真实雾天图像,本文算法能够高效地进行去雾处理,得到更自然的清晰图像。     

多尺度特征融合的壁画多光谱图像颜料3D-CNN分类方法

颜料的分类识别是古代壁画进行保护修复的基础,多光谱成像方法能够无损快速地获取壁画颜料的光谱图像数据并进行分析。传统利用卷积神经网络进行特征提取的算法中连续的卷积和池化操作会丢失壁画多光谱图像的部分特征信息,使得图像细节无法重建,导致分类图像边界不平滑。针对该问题,提出了一种基于多尺度特征融合的三维空洞卷积残差神经网络对壁画多光谱图像进行颜料分类。首先,在卷积核中引入空洞结构提高卷积核的感受野来提取不同尺度信息,避免池化操作所导致的部分特征丢失;其次,使用特征融合的方法融合不同尺度的特征图,增加多尺度特征的结构层次;最后,引入残差学习模块避免网络层数加深导致的梯度消失问题,重建完整的边缘信息。实验结果表明,所提方法在模拟壁画多光谱图像数据集上的总体精度和平均精度分别达到了98.87%和96.89%,与各对照组相比,不仅具有更好的分类精度,而且得到了边界更清晰的分类图像。     

基于残差密集连接与注意力融合的人群计数算法

现有人群计数算法采用多列融合结构来解决单一图像的多尺度问题,但该处理方法不能有效利用低层特征信息,从而导致最终人群计数结果不准确。针对这一缺陷,文中提出一种基于残差密集连接与注意力融合的人群计数算法。该算法的前端利用改进VGG16网络提取低级特征信息。算法后端主分支基于残差密集连接结构,利用残差网络和密集网络结合方式捕获层与层间的特征信息,可高效捕获多尺度信息。侧分支通过引入注意力机制,生成对应尺度注意力图,有效区分特征图的背景和前景,降低了背景噪声的影响。采用3个主流公开数据集对该算法进行验证。实验结果表明,该算法计数有效且计数准确率优于其他算法。     

基于多尺度特征选择性融合的遥感图像检测算法北大核心CSCD

遥感图像的检测在监察自然环境、军事、国土安全等方面具有极其广阔的应用前景,而遥感图像具有背景复杂、目标面积小、特征提取困难等缺点,进行检测时容易产生小目标漏检问题。本文提出一种基于多尺度特征选择性融合的遥感图像检测算法。所提算法采用改进的Resnet50作为主干网络,将Resnet50第一个卷积替换成动态卷积,并将其ConvBlock模块中的卷积替换成金字塔卷积,提高特征提取能力。同时,为了避免遗漏底层信息,在动态卷积层后加入所提有效空间通道注意力机制模块。最后,选取基于上下文信息的不同尺度特征进行融合,提高了模型对目标物体的定位能力。实验结果表明,本文算法在保证速度的同时提高了对遥感图像的检测精度,在遥感图像公开数据集RSOD和NWPUVHR-10上平均精度均值(mean average precision,mAP)分别达到91.88%和90.23%,检测速度达到33 FPS。     

数字图像模糊滤波盲取证算法

数字图像模糊滤波操作常用于美化润饰“伪造”图像.针对常用的均值滤波、空域高斯低通滤波与中值滤波,提出了一种能同时检测上述3种操作的盲取证算法.首先将高频残差作为特征提取域,然后分别基于二值局部模式LBP和自回归模型提取特征,最后使用支持向量机构造模糊滤波检测器.实验结果表明,所提算法能有效地检测模糊滤波操作,对抗JPEG压缩的鲁棒性能较好.     

Saliency detection in the compressed domain for adaptive image retargeting

Saliency detection plays important roles in many image processing applications, such as regions of interest extraction and image resizing. Existing saliency detection models are built in the uncompressed domain. Since most images over Internet are typically stored in the compressed domain such as joint photographic experts group (JPEG), we propose a novel saliency detection model in the compressed domain in this paper. The intensity, color, and texture features of the image are extracted from discrete cosine transform (DCT) coefficients in the JPEG bit-stream. Saliency value of each DCT block is obtained based on the Hausdorff distance calculation and feature map fusion. Based on the proposed saliency detection model, we further design an adaptive image retargeting algorithm in the compressed domain. The proposed image retargeting algorithm utilizes multioperator operation comprised of the block-based seam carving and the image scaling to resize images. A new definition of texture homogeneity is given to determine the amount of removal block-based seams. Thanks to the directly derived accurate saliency information from the compressed domain, the proposed image retargeting algorithm effectively preserves the visually important regions for images, efficiently removes the less crucial regions, and therefore significantly outperforms the relevant state-of-the-art algorithms, as demonstrated with the in-depth analysis in the extensive experiments.     

基于双引导滤波的红外和可见光图像融合算法

图像融合是将多幅图像中有用或互补信息整合成一幅图像的过程。本文提出了一种基于引导滤波多尺度分解的红外和可见光图像融合算法。在传统的引导滤波图像融合算法的基础之上,利用双引导滤波器代替均值滤波器将源图像分解为小尺度纹理细节、大尺度边缘和基础图像;直接利用纹理细节及边缘层图像构建显著性映射图,用其代替额外的特征提取操作,可很好地突出源图像显著性信息的同时大大降低算法复杂度;利用显著性映射图、Sigmoid函数构造权重图,将源图像中具有视觉意义的信息注入到融合图像中;利用色彩模型转换融合方式,可更好保留图像的色彩信息。定性和定量实验结果证明,相比于传统的基于引导滤波的图像融合算法,本文算法的融合效果得到进一步提升。     

一种轻量化的水下目标检测算法SG-Det

基于深度学习的目标检测算法在水下进行检测主要存在两个困难：水下设备的存储和计算能力有限;水下图像模糊且小生物聚集。这种局限性要求水下目标检测算法要做到轻量且高效,因此现有的目标检测算法不能完全满足水下目标检测的需求。为此本文在SSD(single shot MultiBox detector)的网络框架上进行改进,设计了一种轻量化的一阶段检测模型SG-Det。一方面,借鉴GhostNet的思想,对ShuffleNetV2网络进行了重构,提出一种新的轻量化特征提取网络SGnet。此网络进一步减少了模型参数量,使模型大小更适合部署在水下设备。另一方面,网络主要是利用6个不同尺度的特征图检测不同大小的生物,为此设计了一种引入双分支注意力机制的跨尺度特征融合模块(cross-scale feature fusion module, AFF)。模块首先引入注意力机制对输入的特征在全局通道和局部通道两方面进行加权,突出有用信息,从而减少背景等无关信息的干扰。然后选取非线性化程度更高的第4层分别增强前3层的语义信息,以较小的代价使前3层在识别小物体方面有更好的表现。模型在中国水下机器人大赛提供的水下...     

改进的卷积神经网络红外图像超分辨率算法

基于卷积神经网络的图像超分辨率算法可以分为图像尺寸放大和图像细节恢复/增强两个步骤,在细节恢复过程中,卷积层直接从输入图像中学习特征并将该特征作为下一个卷积层的输入数据。为了加强输入图像和卷积层各通道图像的特征表达能力,提出了一种新的卷积神经网络算法,该算法对输入图像和通道图像进行选择性灰度变换而增强特征表达的能力。实验结果表明,在公共红外图像数据集和实验室采集的红外图像数据集上,所提方法的超分辨率重建效果均优于当前的几种典型算法,能够恢复的细节信息更多。     

基于Word Embedding的遥感影像检测分割

遥感影像检测分割技术通常需提取影像特征并通过深度学习算法挖掘影像的深层特征来实现.然而传统特征（如颜色特征、纹理特征、空间关系特征等）不能充分描述影像语义信息,而单一结构或串联算法无法充分挖掘影像的深层特征和上下文语义信息.针对上述问题,本文通过词嵌入将空间关系特征映射成实数密集向量,与颜色、纹理特征的结合.其次,本文构建基于注意力机制下图卷积网络和独立循环神经网络的遥感影像检测分割并联算法（Attention Graph Convolution Networks and Independently Recurrent Neural Network,ATGIR）.该算法首先通过注意力机制对结合后的特征进行概率权重分配;然后利用图卷积网络（GCNs）算法对高权重的特征进一步挖掘并生成方向标签,同时使用独立循环神经网络（IndRNN）算法挖掘影像特征中的上下文信息,最后用Sigmoid分类器完成影像检测分割任务.以胡杨林遥感影像检测分割任务为例,我们验证了提出的特征提取方法和ATGIR算法能有效提升胡杨林检测分割任务的性能.     

多尺度特征融合的膨胀卷积残差网络高分一号影像道路提取

针对全卷积神经网络多次下采样操作导致的道路边缘细节信息损失和道路提取不准确的问题,本文提出了多尺度特征融合的膨胀卷积残差网络高分一号影像道路提取方法。首先,通过目视解译的方法制作大量的道路提取标签数据;其次,在残差网络ResNet-101的各个残差块中引入膨胀卷积和多尺度特征感知模块,扩大特征点的感受野,避免特征图分辨率减小和道路边缘细节特征的损失;然后,通过叠加融合和上采样操作将各个尺寸的道路特征图进行融合,得到原始分辨率大小的特征图;最后,将特征图输入Sigmoid分类器中进行分类。实验结果表明:本文方法的提取精度优于经典全卷积神经网络模型,准确率达到了98%以上,有效保留了道路的完整性及其边缘的细节信息。     

A novel deep learning framework for double JPEG compression detection of small size blocks

Double JPEG compression detection plays a vital role in multimedia forensics, to find out whether a JPEG image is authentic or manipulated. However, it still remains to be a challenging task in the case when the quality factor of the first compression is much higher than that of the second compression, as well as in the case when the targeted image blocks are quite small. In this work, we present a novel end-to-end deep learning framework taking raw DCT coefficients as input to distinguish between single and double compressed images, which performs superior in the above two cases. Our proposed framework can be divided into two stages. In the first stage, we adopt an auxiliary DCT layer with sixty-four 8 × 8 DCT kernels. Using a specific layer to extract DCT coefficients instead of extracting them directly from JPEG bitstream allows our proposed framework to work even if the double compressed images are stored in spatial domain, e.g. in PGM, TIFF or other bitmap formats. The second stage is a deep neural network with multiple convolutional blocks to extract more effective features. We have conducted extensive experiments on three different image datasets. The experimental results demonstrate the superiority of our framework when compared with other state-of-the-art double JPEG compression detection methods either hand-crafted or learned using deep networks in the literature, especially in the two cases mentioned above. Furthermore, our proposed framework can detect triple and even multiple JPEG compressed images, which is scarce in the literature as far as we know.     

基于提取双选紧密特征的RGB-D显著性检测网络

针对现有算法对不同来源特征之间的交互选择关注度欠缺以及对跨模态特征提取不充分的问题,提出了一种基于提取双选紧密特征的RGB-D显著性检测网络。首先,为了筛选出能够同时增强RGB图像显著区域和深度图像显著区域的特征,引入双向选择模块(bi-directional selection module, BSM);为了解决跨模态特征提取不充分,导致算法计算冗余且精度低的问题,引入紧密提取模块(dense extraction module, DEM);最后,通过特征聚合模块(feature aggregation module, FAM)对密集特征进行级联融合,并将循环残差优化模块(recurrent residual refinement aggregation module, RAM)配合深度监督实现粗显著图的持续优化,最终得到精确的显著图。在4个广泛使用的数据集上进行的综合实验表明,本文提出的算法在4个关键指标方面优于7种现有方法。