语义分割网络重建单视图遥感影像数字表面模型

该文提出了一种仅依靠激光探测与测量数据,实现单视图遥感影像数字表面模型(DSM)重建的新方法.该方法基于深度学习技术设计了一种编码-解码结构的语义分割网络,该网络采用多尺度残差融合的编码块与解码(MRFED)块从输入图像中提取语义信息,进而逐像素预测高度值;采用特征图跳跃级联的策略保留输入图像的细节特征和结构信息.该文...     

基于非对称监督深度离散哈希的图像检索

哈希广泛应用于图像检索任务。针对现有深度监督哈希方法的局限性,该文提出了一种新的非对称监督深度离散哈希(ASDDH)方法来保持不同类别之间的语义结构,同时生成二进制码。首先利用深度网络提取图像特征,根据图像的语义标签来揭示每对图像之间的相似性。为了增强二进制码之间的相似性,并保证多标签语义保持,该文设计了一种非对称哈希方法,并利用多标签二进制码映射,使哈希码具有多标签语义信息。此外,引入二进制码的位平衡性对每个位进行平衡,鼓励所有训练样本中的–1和+1的数目近似。在两个常用数据集上的实验结果表明,该方法在图像检索方面的性能优于其他方法。     

基于多级残差融合的复杂纹理光场图像深度估计

光场的深度信息可以通过深度学习的光场深度估计算法计算,在图像视差、光场图像边缘以及光场图像的复杂纹理区域,获取高精度深度值仍然具有一定局限性。本文提出了一种用于光场图像深度估计的多级残差融合网络,通过组合残差模块提取多层次的残差特征,在保持网络深度的同时提升了网络对特征的表征能力。利用多级残差融合模块对多层次的残差特征进行融合,以获得包含浅层纹理信息和深层语义信息的融合特征。利用本文方法对HCI4D光场数据集进行处理,图像深度估计的均方误差指标达到1.471,不良像素率指标达到4.208,该实验结果表明本文方法在处理具有复杂遮挡的光场图像区域方面具有良好的处理效果。     

基于深度卷积神经网络和二进制哈希学习的图像检索方法

随着图像数据的迅猛增长,当前主流的图像检索方法采用的视觉特征编码步骤固定,缺少学习能力,导致其图像表达能力不强,而且视觉特征维数较高,严重制约了其图像检索性能。针对这些问题,该文提出一种基于深度卷积神径网络学习二进制哈希编码的方法,用于大规模的图像检索。该文的基本思想是在深度学习框架中增加一个哈希层,同时学习图像特征和哈希函数,且哈希函数满足独立性和量化误差最小的约束。首先,利用卷积神经网络强大的学习能力挖掘训练图像的内在隐含关系,提取图像深层特征,增强图像特征的区分性和表达能力。然后,将图像特征输入到哈希层,学习哈希函数使得哈希层输出的二进制哈希码分类误差和量化误差最小,且满足独立性约束。最后,给定输入图像通过该框架的哈希层得到相应的哈希码,从而可以在低维汉明空间中完成对大规模图像数据的有效检索。在3个常用数据集上的实验结果表明,利用所提方法得到哈希码,其图像检索性能优于当前主流方法。     

基于多尺度融合和投影匹配约束的跨模态哈希方法

大多数基于深度学习的跨模态哈希方法直接通过神经网络学习不同模态数据的统一哈希码。这些方法忽略了单模态数据不同尺度包含不同语义信息这一影响数据特征表示的因素以及低维特征在弥合模态鸿沟上的重要性。基于上述问题,提出一种基于多尺度融合和投影匹配约束的跨模态哈希方法（MFPMC）。通过设计图像多尺度融合网络和文本多尺度融合网络来获取不同模态数据的低维特征,引入低维特征投影匹配约束和对抗训练来保证低维特征在模态间分布的一致性,同时用包含丰富语义信息的低维特征作为哈希函数的输入,进一步构建模态内哈希码损失、模态间哈希码损失、量化损失、标签嵌入损失来约束哈希函数及哈希码的学习,以此保证生成具有判别性的离散二进制哈希码。在MIRFlickr-25K和NUS-WIDE两个基准的跨模态检索数据集上的实验表明：所提方法比现有的几种哈希方法具有更好的检索性能。     

语义分割网络重建单视图遥感影像数字表面模型

该文提出了一种仅依靠激光探测与测量数据,实现单视图遥感影像数字表面模型(DSM)重建的新方法。该方法基于深度学习技术设计了一种编码-解码结构的语义分割网络,该网络采用多尺度残差融合的编码块与解码(MRFED)块从输入图像中提取语义信息,进而逐像素预测高度值;采用特征图跳跃级联的策略保留输入图像的细节特征和结构信息。该文采用了一个包含DSM数据的遥感影像公开数据集训练与测试模型,实验结果表明：DSM重建结果与真值的平均绝对误差(MAE)为2.1e-02,均方根误差(RMSE)为3.8e-02,结构相似性(SSIM)为92.89%,均优于经典的深度学习语义分割网络。实验证实该方法能够有效实现单视图遥感影像的DSM重建,具有较高的精度,以及较强的地物分布结构重建能力。     

基于稀疏自编码的无监督哈希算法

最近邻搜索在大规模图像检索中变得越来越重要。在最近邻搜索中,许多哈希方法因为快速查询和低内存被提出。然而,现有方法在哈希函数构造过程中对数据稀疏结构研究的不足,本文提出了一种无监督的稀疏自编码的图像哈希方法。基于稀疏自编码的图像哈希方法将稀疏构造过程引入哈希函数的学习过程中,即通过利用稀疏自编码器的KL距离对哈希码进行稀疏约束以增强局部保持映射过程中的判别性,同时利用L2范数来哈希编码的量化误差。实验中用两个公共图像检索数据集CIFAR-10和YouTube Faces验证了本文算法相比其他无监督哈希算法的优越性。     

基于特征融合的轻量级新残差人脸识别方法

针对现有轻量级模型在嵌入式设备的人脸识别应用中存在识别精度难以提升的问题,提出一种融合人脸对齐关键特征点信息的轻量级新残差网络模型（Lightweight New Residual Network, LNRN）. LNRN利用深度残差网络结构能够解决网络退化且避免干扰因素影响的优势,结合人脸对齐环节产生的关键特征点信息,对深度残差网络结构进行简化和合理设计,实现对关键特征信息和全局信息的提取.为避免特征提取过程中丢失重要特征信息,该模型在新残差网络中加入结合空间和通道的注意力机制进行辅助.在公开的四个标准人脸数据集上的仿真实验表明,该模型识别速度在接近主流轻量级人脸识别方法的同时,平均识别精度比MobiFace提高了0.6%.     

深度学习和迭代量化在图像检索中的应用研究

基于内容的图像检索的关键在于对图像进行特征提取和对特征进行多比特量化编码 。近年来,基于内容的图像检索使用低级可视化特征对图像进行描述,存在“语义鸿沟”问题;其次,传统量化编码使用随机生成的投影矩阵,该矩阵与特征数据无关,因此不能保证量化的精确度。针对目前存在的这些问题,本文结合深度学习思想与迭代量化思想,提出基于卷积神经网络VGG16和迭代量化(Iterative Quantization, ITQ)的图像检索方法。使用在公开数据集上预训练VGG16网络模型,提取基于深度学习的图像特征;使用ITQ方法对哈希哈函数进行训练,不断逼近特征与设定比特数的哈希码之间的量化误差最小值,实现量化误差的最小化;最后使用获得的哈希码进行图像检索。本文使用查全率、查准率和平均精度均值作为检索效果的评价指标,在Caltech256图像库上进行测试。实验结果表明,本文提出的算法在检索优于其他主流图像检索算法。      

基于改进哈希算法的图像检索方法

当前主流图像检索技术所采用的传统视觉特征编码缺少足够的学习能力,影响学习得到的特征表达能力。此外,由于视觉特征维数高,会消耗大量的内存,因此降低了图像检索的性能。文中基于深度卷积神经网络与改进的哈希算法,提出并设计了一种端到端训练方式的图像检索方法。该方法将卷积神经网络提取的高层特征和哈希函数相结合,学习到具有足够表达能力的哈希特征,从而在低维汉明空间中完成对图像数据的大规模检索。在两个常用数据集上的实验结果表明,所提出的哈希图像检索方法的检索性能优于当前的一些主流方法。     

基于卷积神经网络和监督核哈希的图像检索方法

当前主流的图像检索方法采用的视觉特征,缺乏自主学习能力,导致其图像表达能力不强,此外,传统的特征索引方法检索效率较低,难以适用于大规模图像数据.针对这些问题,本文提出了一种基于卷积神经网络和监督核哈希的图像检索方法.首先,利用卷积神经网络的学习能力挖掘训练图像内容的内在隐含关系,提取图像深层特征,增强特征的视觉表达能力和区分性;然后,利用监督核哈希方法对高维图像深层特征进行监督学习,并将高维特征映射到低维汉明空间中,生成紧致的哈希码;最后,在低维汉明空间中完成对大规模图像数据的有效检索.在ImageNet-1000和Caltech-256数据集上的实验结果表明,本文方法能够有效地增强图像特征的表达能力,提高图像检索效率,优于当前主流方法.     

基于Tchebichef矩与颜色矢量角度的鲁棒图像哈希算法

为了改善哈希算法对旋转等内容修改的鲁棒性,设计了径向Tchebichef矩耦合颜色矢量角度的鲁棒图像哈希算法。引入2D离散小波变换(DWT),对图像的颜色矢量角度实施分解,获取对应的4个子带,将其低频系数作为结构特征。采用径向Tchebichef矩计算预处理图像的Tchebichef矩,提取全局特征。通过组合这2种特征,以形成中间哈希序列。设计加密函数,对中间哈希完成加密,得到目标哈希序列。计算初始目标与待识别图像的哈希序列之间的l2范数距离,并将其与预设阈值作比较,完成图像内容的真伪判别。测试数据表明：相对于已有的哈希算法而言,所提算法具备更高的鲁棒性,可以对旋转、颜色与缩放等内容修改做出准确识别。     

融入残差注意力机制的DeepLabV3+图像拼接篡改取证网络

针对现有图像拼接检测网络模型存在边缘信息关注度不够、像素级精准定位效果不够好等问题,提出一种融入残差注意力机制的DeepLabV3+图像拼接篡改取证方法,该方法利用编-解码结构实现像素级图像的拼接篡改定位。在编码阶段,将高效注意力模块融入ResNet101的残差模块中,通过残差模块的堆叠以减小不重要的特征比重,凸显拼接篡改痕迹;其次,利用带有空洞卷积的空间金字塔池化模块进行多尺度特征提取,将得到的特征图进行拼接后通过空间和通道注意力机制进行语义信息建模。在解码阶段,通过融合多尺度的浅层和深层图像特征提升图像的拼接伪造区域的定位精度。实验结果表明,在CASIA 1.0、COLUMBIA和CARVALHO数据集上的拼接篡改定位精度分别达到了0.761、0.742和0.745,所提方法的图像拼接伪造区域定位性能优于一些现有的方法,同时该方法对JPEG压缩也具有更好的鲁棒性。     

基于自注意力深度网络的图像超分辨率重建方法

针对现有图像超分辨重建方法难以充分重建图像的细节信息且易出现重建的图像缺乏层次的问题,提出一种基于自注意力深度网络的图像超分辨重建方法。以深度神经网络为基础,通过提取低分辨率图像特征,建立低分辨率图像特征到高分辨率图像特征的非线性映射,重建高分辨率图像。在进行非线性映射时,引入自注意力机制,获取图像中全部像素间的依赖关系,利用图像的全局特征指导图像重建,增强图像层次。在训练深度神经网络时,使用图像像素级损失和感知损失作为损失函数,以强化网络对图像细节信息的重建能力。在3类数据集上的对比测试结果表明,所提方法能够提升图像超分辨重建结果的细节信息,且重建图像的视觉效果更好。     

Hyperspectral image super-resolution combining with deep learning and spectral unmixing

In recent years, hyperspectral image super-resolution has attracted the attention of many researchers and has become a hot topic in the field of computer vision. However, it is difficult to obtain high-resolution images due to imaging hardware devices. At present, many existing hyperspectral image super-resolution methods have not achieved good results. In this paper, we propose a hyperspectral image super-resolution method combining with deep residual convolutional neural network (DRCNN) and spectral unmixing. Firstly, the spatial resolution of the image is enhanced by learning a priori knowledge of natural images. The DRCNN reconstructs high spatial resolution hyperspectral images by concatenating multiple residual blocks, each containing two convolutional layers. Secondly, the spectral features of low-resolution and high-resolution hyperspectral images are linked by spectral unmixing. This approach aims to obtain the endmember matrix and the abundance matrix. The final reconstruction result is obtained by multiplying the endmember matrix and the abundance matrix. In addition, in order to improve the visual effect of the reconstructed image, the total variation regularity is used to impose constraints on the abundance matrix to enhance the relationship between the pixels. The experimental results of remote sensing data based on ground facts show that the proposed method has good performance and preserves spatial information and spectral information without the need for auxiliary images.     

基于深度卷积神经网络和多核学习的遥感图像分类方法

为解决传统遥感图像分类方法特征提取过程复杂、特征表现力不强等问题,该文提出一种基于深度卷积神经网络和多核学习的高分辨率遥感图像分类方法。首先基于深度卷积神经网络对遥感图像数据集进行训练,学习得到两个全连接层的输出将作为遥感图像的两种高层特征;然后采用多核学习理论训练适合这两种高层特征的核函数,并将它们映射到高维空间,实现两种高层特征在高维空间的自适应融合;最后在多核融合特征的基础上,设计一种基于多核学习-支持向量机的遥感图像分类器,对遥感图像进行精确分类。实验结果表明,与目前已有的基于深度学习的遥感图像分类方法相比,该算法在分类准确率、误分类率和Kappa系数等性能指标上均有所提升,在实验测试集上3个指标分别达到了96.43%, 3.57%和96.25%,取得了令人满意的结果。     

基于红外与可见光图像的目标检测算法

针对现有基于可见光的目标检测算法存在的不足,提出了一种红外和可见光图像融合的目标检测方法。该方法将深度可分离卷积与残差结构相结合,构建并列的高效率特征提取网络,分别提取红外和可见光图像目标信息;同时,引入自适应特征融合模块以自主学习的方式融合两支路对应尺度的特征,使两类图像信息互补;最后,利用特征金字塔结构将深层特征逐层与浅层融合,提升网络对不同尺度目标的检测精度。实验结果表明,所提网络能够充分融合红外和可见光图像中的有效信息,并在保障精度与效率的前提下实现目标识别与定位;同时,在实际变电站设备检测场景中,该网络也体现出较好的鲁棒性和泛化能力,可以高效完成检测任务。     

融入注意力机制的深度学习动作识别

针对现有的深度学习方法在人体动作识别中易出现过拟合、易受到干扰信息影响、特征表达能力不足的问题,提出了一种融入注意力机制的深度学习动作识别方法.该方法在数据预处理中提出了视频数据增强算法,降低了模型过拟合的风险,然后在视频帧采样过程中对现有的采样算法进行了改进,有效抑制了干扰信息的影响,并在特征提取部分提出了融入注意力的残差网络,提高了模型的特征提取能力;之后,利用长短时记忆(Long Short-Term Memory,LSTM)网络解决了空间特征的时序关联问题;最后,通过Softmax完成了相应动作的分类.实验结果表明,在UCF YouTube、KTH和HMDB-51数据集上,所提方法的识别率分别为96.72％、98.06％和64.81％.