结合细粒度特征与深度卷积网络的手绘图检索

目的 传统的手绘图像检索方法主要集中在检索相同类别的图像，忽略了手绘图像的细粒度特征。对此，提出了一种新的结合细粒度特征与深度卷积网络的手绘图像检索方法，既注重通过深度跨域实现整体匹配，也实现细粒度细节匹配。方法 首先构建多通道混合卷积神经网络，对手绘图像和自然图像分别进行不同的处理；其次通过在网络中加入注意力模型来获取细粒度特征；最后将粗细特征融合，进行相似性度量，得到检索结果。结果 在不同的数据库上进行实验，与传统的尺度不变特征（SIFT）、方向梯度直方图（HOG）和深度手绘模型Deep SaN（sketch-a-net）、Deep 3DS（sketch）、Deep TSN（triplet sketch net）等5种基准方法进行比较，选取了Top-1和Top-10，在鞋子数据集上，本文方法Top-1正确率提升了12%，在椅子数据集上，本文方法Top-1正确率提升了11%，Top-10提升了3%，与传统的手绘检索方法相比，本文方法得到了更高的准确率。在实验中，本文方法通过手绘图像能在第1幅检索出绝大多数的目标图像，达到了实例级别手绘检索的目的。结论 提出了一种新的手绘图像检索方法，为手绘图像和自然图像的跨域检索提供了一种新思路，进行实例级别的手绘检索，与原有的方法相比，检索精度得到明显提升，证明了本文方法的可行性。     

包含跨域建模和深度融合网络的手绘草图检索

在手绘草图检索（sketch-based image retrieval,简称SBIR）领域,引入一种手绘草图的新型检索模型.手绘草图与自然图片之间存在巨大的差异性,这是因为,与自然图片相比,手绘草图展现出高度抽象的视觉表达,用现有的方法对手绘草图进行特征提取,其产生的特征描述子对于手绘草图的内容无法进行有效地拟合;对于相同的物体,不同的人群用手绘草图描述方式和表达也存在巨大的差距,这就使得手绘草图-自然图片的匹配更加困难;同时,将手绘草图与自然图片映射到相同视觉域的工作,也是一项具有困难的任务.所以,手绘草图检索技术是公认的比较有挑战性的任务.提出一种将手绘草图与自然图片在多个层次上映射到同一视觉域的策略来解决跨域的问题.同时,引入多层深度融合卷积神经网络（multi-layer deep fusion convolutional neural network）的框架来训练并获得手绘草图和自然彩色图片的多层特征表达.在Flickr15k图像数据库进行检索实验,实验结果显示,多层深度融合卷积网络学习到的特征的检索精度超过了现有的手工特征以及由自然图片或者手绘草图训练出来的卷积神经网络（convolutional neural network,简称CNN）的特征.     

双重对偶生成对抗网络的跨年龄素描—照片转换

目的 跨年龄素描-照片转换旨在根据面部素描图像合成同一人物不同年龄阶段的面部照片图像。该任务在公共安全和数字娱乐等领域具有广泛的应用价值,然而由于配对样本难以收集和人脸老化机制复杂等原因,目前研究较少。针对此情况,提出一种基于双重对偶生成对抗网络（double dual generative adversarial networks,D-DualGANs）的跨年龄素描-照片转换方法。方法 该网络通过设置4个生成器和4个判别器,以对抗训练的方式,分别学习素描到照片、源年龄组到目标年龄组的正向及反向映射。使素描图像与照片图像的生成过程相结合,老化图像与退龄图像的生成过程相结合,分别实现图像风格属性和年龄属性上的对偶。并增加重构身份损失和完全重构损失以约束图像生成。最终使输入的来自不同年龄组的素描图像和照片图像,分别转换成对方年龄组下的照片和素描。结果 为香港中文大学面部素描数据集（Chinese University of Hong Kong（CUHK）face sketch database,CUFS）和香港中文大学面部素描人脸识别技术数据集（CUHK face sketch face recognition technology database,CUFSF）的图像制作对应的年龄标签,并依据标签将图像分成3个年龄组,共训练6个D-DualGANs模型以实现3个年龄组图像之间的两两转换。同非端到端的方法相比,本文方法生成图像的变形和噪声更小,且年龄平均绝对误差（mean absolute error,MAE）更低,与原图像相似度的投票对比表明1130素描与3150照片的转换效果最好。结论 双重对偶生成对抗网络可以同时转换输入图像的年龄和风格属性,且生成的图像有效保留了原图像的身份特征,有效解决了图像跨风格且跨年龄的转换问题。     

DeepSketch 3

Freehand sketches are a simple and powerful tool for communication. They are easily recognized across cultures and suitable for various applications. In this paper, we use deep convolutional neural networks (ConvNets), state-of-the-art in the field of sketch recognition, to address several applications of automatic sketch processing: complete and partial sketch recognition, sketch retrieval using query-by-example (QbE), and sketch-based image retrieval (SBIR) i.e the retrieval of images using a QbE paradigm but where the query is a sketch. We first focus on improving sketch recognition. For this purpose we compare different ConvNet architectures, training paradigms and data fusion schemes. This enabled us to outperform previous state-of-the-art in two large scale benchmarks for sketch classification. We achieved a mean average accuracy of 79.18% for the TU-Berlin sketch benchmark and 93.02% for the sketchy database. For partial sketch recognition, we were able to produce a system that achieves a mean average accuracy of 52.58% with only 40% of the strokes. We then conduct a comprehensive study of ConvNets features to enhance sketch retrieval and image retrieval, using a kNN similarity search paradigm in the ConvNet feature space. For the sketch retrieval tasks, we compare the performance obtained with features extracted from various depths (ConvNet layers) using one of the best performing model from the previous work. For the sketch-based image retrieval (SBIR), a sketch query is used to retrieve images of objects that belong to the same category, or even with a shape and pose close to the sketch query. The main challenge in the field of SBIR is to obtain efficient cross-domain features for sketch-image similarity measure. For this, besides comparing features extracted from different depth, we additionally compare different training approaches (some novel) for the ConvNets applied to sketches and images. Eventually, our best SBIR system achieves state-of-the-art results on the sketchy database (close to 40% recall at k = 1).

     

跨域图像检索综述

受成像载体、成像光谱和成像条件等的影响,跨域图像在不同领域的应用日益增多,跨域图像检索已成为了许多领域研究的热点和前言。然而图像的跨域检索面临着图像视觉偏差的问题,通过传统同域图像检索的方法无法有效地得到结果。通过文献调研,系统梳理了近年来跨域图像检索领域的代表性方法。对跨域图像检索任务作出了简要说明并指出了关键问题;根据图像域的不同转换阶段,将跨域图像检索方法分为两类：基于特征空间迁移和基于图像域迁移的跨域图像检索方法,并对两类方法进行了系统总结和分析;整理了跨域图像检索在不同领域的数据集,对比了各类方法的性能;总结了现有跨域检索方法并对未来的研究方向进行了展望。     

航空序列图像的特征模型提取及追踪

针对航空序列图像中模型没有任何先验知识且图像中的景物在不断刷新的情况，首先将图像分割成独立的区域，利用改进的Canny算子提取分割区域所包含的边缘，同时提出了区域特征比较因子，在此基础上给出了有效的特征模型提取和追踪方法，并分析了如何通过特征模型在航空序列图像中的移动来估计无人飞行器的飞行轨迹。通过对实际拍摄到的航空序列图像进行分析，表明本文的方法是有效的，对由航空序列图像的分析来估计无人飞行器的飞行轨迹提供了良好的基础。     

基于可变形卷积的手绘图像检索

手绘图像仅包含简单线条轮廓, 与色彩、细节信息丰富的自然图像有着截然不同的特点. 然而目前的神经网络大多针对自然图像设计, 不能适应手绘图像稀疏性的特性. 针对此问题, 本文提出一种基于可变形卷积的手绘检索方法. 首先通过Berkerly边缘检测算法将自然图转化为边缘图, 消除域差异. 然后将卷积神经网络中的部分标准卷积替换为可变形卷积, 使网络能够充分关注手绘图轮廓信息. 最后分别将手绘图与边缘图输入网络并提取全连接层特征作为特征描述子进行检索. 在基准数据集Flickr15k上的实验结果表明, 本文方法与现有方法相比能够有效提高手绘图像检索精度.     

Geometric discriminative features for aerial image retrieval in social media

The aerial image recognition is an important problem in multimedia information retrieval in social media. In this paper, we propose a new approach by integrating aerial image’s local features into a discriminative one which reflects both the geometric property and the color distribution of aerial image. Firstly, each aerial image is segmented into several regions in terms of their color intensities. And region connected graph (RCG), the links between the spatial neighboring regions, is presented to encode the spatial context of aerial images. Secondly, we mine frequent structures in the RCGs corresponding to training aerial images collected from social media. And a set of refined structures are selected among the frequent ones towards being more discriminative and less redundant. Finally, given a new aerial image, its sub-RCGs corresponding to all the refined structures are extracted and quantized into a discriminative feature for aerial image recognition. The experimental results validate the proposed method by providing a more accurate recognition result of the aerial images on different datasets from different social medias.     

基于设计草图的零配件检索算法

在机械制造智能化进程中不可避免地产生了海量零配件模型信息,给数据的高效检索带来了巨大的挑战。考虑到设计草图具备用户友好且轻量级的特性,方法通过构造深度跨域表征模型进行基于设计草图的机械零配件模型检索。针对草图和三维模型的跨模态信息关联问题,提出特征联合学习方法,旨在控制检索对象类内及类间差异的过程中,使特征描述符习得单一域特征的同时融合跨域信息,建立跨模态数据在共嵌空间下的一致性关联表征。最后,利用哈希编码构建索引表实现海量数据的快速检索。在零部件数据上的实验结果表明,所提出的基于设计草图的零配件检索方法在同期方法中既能实现最准确的检索结果,也具备较高的检索效率。方法在提升跨模态零配件信息检索准确性的同时提高了数据管理效率,从而间接提升了产品设计的效率和便捷性,相关系统已经在部分企业落地应用且获得良好反馈。     

应用神经网络进行卫星遥感图像的热异常信息提取

概要介绍了影响地表温度的几个主要因素,在此基础上提出了对TM卫星图像进行热异常信息提取的基本方法和步骤,其中又着重分析了神经网络在建立热异常信息提取的数学模型方面的应用。针对神经网络的该种应用特点,应用了样本集批处理和加入衰减的动量因子两种BP神经网络的改进办法,使神经网络对于训练样本集的学习能力得到了明显提高。把应用神经网络进行热异常信息提取后的TM卫星图像与基于航空遥感获得的图像进行比较表明,这里提出的热异常信息提取方法可以应用于煤层自燃的探测,而且在成本和检测周期等方面均有很大的优势。     

基于再模糊理论的航拍图像质量检测方法

无人机在进行航拍任务时,会因为机身抖动、地物环境等原因导致采集的图像模糊,对后续提取图像信息造成影响。针对这一问题,提出了一种基于再模糊理论的无参考图像质量检测方法,用来区分清晰和模糊图像。对原始图像进行缩放、灰度化等预处理后附加一定程度的高斯模糊,得到再模糊图像,再分别对两张图像使用拉普拉斯算子提取边缘,得到两张图像的边缘差异图像。通过计算所得的边缘差异图像的标准差与经验得出的划分清晰和模糊图像的阈值相比,判断该图像是否为模糊图像。对人工合成的模糊图像和无人机实拍图像进行实验。实验结果表明,该算法具有较高的模糊图像检测率,表现优于其他图像质量检测方法,且单张图片的检测计算速度很快。     

基于对抗学习的医学图像分割领域自适应研究

为了解决跨领域医学图像分析中不匹配的问题,提出了一种基于对抗学习的无监督领域自适应框架（UAL-DAF）。具体而言,该框架通过外观转移模块（ATM）和结合条件生成对抗网络的语义转移模块（STM）分别缩小了跨领域医学图像外观和语义层次的差异。最后,在具有挑战性的医学图像分割实验中,结果显著优于已有方法。因此,该框架能够提取领域自适应知识的外观和语义层次信息,实现领域知识的协同融合。     

基于跨模态自蒸馏的零样本草图检索

零样本草图检索将未见类的草图作为查询样本,用于检索未见类的图像。因此,这个任务同时面临两个挑战：草图和图像之间的模态差异以及可见类和未见类的不一致性。过去的方法通过将草图和图像投射到一个公共空间来消除模态差异,还通过利用语义嵌入（如词向量和词相似度）来弥合可见类和未见类的语义不一致。在本文中,我们提出了跨模态自蒸馏方法,从知识蒸馏的角度研究可泛化的特征,无需语义嵌入参与训练。具体而言,我们首先通过传统的知识蒸馏将预训练的图像识别网络的知识迁移到学生网络。然后,通过草图和图像的跨模态相关性,跨模态自蒸馏将上述知识间接地迁移到草图模态的识别上,提升草图特征的判别性和泛化性。为了进一步提升知识在草图模态内的集成和传播,我们进一步地提出草图自蒸馏。通过为数据学习辨别性的且泛化的特征,学生网络消除了模态差异和语义不一致性。我们在三个基准数据集,即Sketchy、TU-Berlin和QuickDraw,进行了广泛的实验,证明了我们提出的跨模态自蒸馏方法与当前方法相比较的优越性。     

航空遥感图像深度学习目标检测技术研究进展

航空遥感图像目标检测旨在定位和识别遥感图像中感兴趣的目标,是航空遥感图像智能解译的关键技术,在情报侦察、灾害救援和资源勘探等领域具有重要应用价值。然而由于航空遥感图像具有尺寸大、目标小且密集、目标呈任意角度分布、目标易被遮挡、目标类别不均衡以及背景复杂等诸多特点,航空遥感图像目标检测目前仍然是极具挑战的任务。基于深度卷积神经网络的航空遥感图像目标检测方法因具有精度高、处理速度快等优点,受到了越来越多的关注。为推进基于深度学习的航空遥感图像目标检测技术的发展,本文对当前主流遥感图像目标检测方法,特别是2020—2022年提出的检测方法,进行了系统梳理和总结。首先梳理了基于深度学习目标检测方法的研究发展演化过程,然后对基于卷积神经网络和基于Transformer目标检测方法中的代表性算法进行分析总结,再后针对不同遥感图象应用场景的改进方法思路进行归纳,分析了典型算法的思路和特点,介绍了现有的公开航空遥感图像目标检测数据集,给出了典型算法的实验比较结果,最后给出现阶段航空遥感图像目标检测研究中所存在的问题,并对未来研究及发展趋势进行了展望。     

基于分窗口相关的遥感图象配准方法

多源遥感数据的融合和综合应用必须实行严格的配准,若将通过选取控制点的传统方法,用于成象特性差异较大的图象间配准就存在较大的误差,为解决该问题,研究发展了一种基于分窗口相关的图象配准方法,即采用移动窗灰度相关的方法对图象上的每一点进行搜索,来寻找最大相关位置,以达到精确配准的目的。通过将该方法应用于不同时相的TM图象、SAR图象、不同成象方式和不同分辨率的AVIRIS图象和航片间配准的实验表明,该方法能够有效地实现复杂图象间的精确配准,配准误差已达到子象素级水平。     

Local radiometric correction of digital aerial photographs for multi source forest inventory

Digitized colour infrared images are a potential information source for multi-source forest inventory applications and particularly for estimating the forest characteristics of relatively small areas. The main problem in computer-aided image analysis of aerial photographs is the presence of bidirectional reflectance, which causes the spectral values of the image pixels to depend on their location in the image. Because of this, and the lack of operational methods for radiometric correction, the full potential of aerial photographs has not been utilised. This paper presents a local radiometric correction method that can be used for reducing the effect of bidirectional reflectance. The method employs satellite images that are less affected by the bidirectional reflectance for the local adjustment of the registered pixel values of aerial photographs. Because of the different spatial resolution of the aerial and satellite imagery, the local correction coefficients are computed for units that are larger than a single aerial photo pixel. In this way, the general level of brightness of the correction units can be determined on the basis of the satellite imagery while retaining the finer spatial resolution of the original aerial photo. The main advantage of the suggested method is that it does not require complex mathematical models for simulating the effect of bidirectional reflectance, neither does it require a priori knowledge of the actual forest attributes in the inventory area, but relies only on the image data.     

Integrating region growing and edge detection

A method that combines region growing and edge detection for image segmentation is presented. The authors start with a split-and merge algorithm wherein the parameters have been set up so that an over-segmented image results. Region boundaries are then eliminated or modified on the basis of criteria that integrate contrast with boundary smoothness, variation of the image gradient along the boundary, and a criterion that penalizes for the presence of artifacts reflecting the data structure used during segmentation (quadtree in this case). The algorithms were implemented in the C language on a Sun 3/160 workstation running under the Unix operating system. Simple tool images and aerial photographs were used to test the algorithms. The impression of human observers is that the method is very successful on the tool images and less so on the aerial photograph images. It is thought that the success in the tool images is because the objects shown occupy areas of many pixels, making it is easy to select parameters to separate signal information from noise