基于流形学习的彩色遥感图像分维数估算

目的 纹理特征提取一直是遥感图像分析领域研究的热点和难点。现有的纹理特征提取方法主要集中于研究单波段灰色遥感图像,如何提取多波段彩色遥感图像的纹理特征,是多光谱遥感的研究前沿。方法 提出了一种基于流形学习的彩色遥感图像分维数估算方法。该方法利用局部线性嵌入方法,对由颜色属性所组成的5-D欧氏超曲面进行维数简约处理;再将维数简约处理后的颜色属性用于分维数估算。结果 利用Landsat-7遥感卫星数据和GeoEye-1遥感卫星数据进行实验,结果表明,同Peleg法和Sarkar法等其他分维数估算方法相比,本文方法具有较小的拟合误差。其中,其他4种对比方法所获拟合误差E平均值分别是本文方法所获得拟合误差E平均值的26.2倍、5倍、26.3倍、5倍。此外,本文方法不仅可提供具有较好分类特性的分维数,而且还能提供相对于其他4种对比方法更加稳健的分维数。结论 在针对中低分辨率的真彩遥感图像和假彩遥感图像以及高分辨率彩色合成遥感图像方面,本文方法能够利用不同地物所具有颜色属性信息,提取出各类型地物所对应的纹理信息,有效地改善了分维数对不同地物的区分能力。这对后续研究各区域中不同类型地物的分布情况及针对不同类型地物分布特点而制定区域规划及开发具有积极意义。     

融合波段特征的多光谱遥感影像感知哈希认证算法

目的 多光谱遥感影像的完整性、真实性等安全问题逐步受到人们的关注,但是,传统认证技术更多地关注数据载体的认证,其不能满足多光谱遥感影像的认证需求。针对多光谱遥感影像的数据特点,提出一种融合波段感知特征的多光谱遥感影像感知哈希认证算法。方法 首先,采用隐形格网划分将多光谱影像的各个波段划分成不同的区域;然后,采用离散小波变换对各波段相同地理位置的格网单元进行分解,并分别采用不同的融合规则对小波变换后的不同分量进行融合;最后,通过Canny算子与奇异值分解提取融合结果的感知特征,再对提取的感知特征进行归一化,最终生成影像的感知哈希序列。多光谱影像的认证过程通过精确匹配感知哈希序列来实现。结果 本文算法采用Landsat TM影像和高分二号卫星的融合影像数据为实验对象,从摘要性、可区分行、鲁棒性、算法运行效率以及安全性等方面进行测试与分析。结果表明,该算法只需要32字节的认证信息就能够实现多光谱遥感影像的认证,摘要性有了较大提高,且算法运行效率提高约1倍;同时,该算法可以有效检测影像的恶意篡改,并对无损压缩和LSB水印嵌入保持近乎100%的鲁棒性。结论 本文算法克服了现有技术在摘要性、算法运行效率等方面不足,而且有较好的可区分性、鲁棒性,能够用于多光谱遥感影像的完整性认证,尤其适合对摘要性要求较高的环境。     

基于水动力学、分数阶微分及Steger算法的线状目标提取

目的 线状目标的检测具有非常广泛的应用领域,如车道线、道路及裂缝的检测等,而裂缝是其中最难检测的线状目标。为避免直接提取线状目标时图像分割难的问题,以裂缝和车道线为例,提出了一种新的跟踪线状目标中线的算法。方法 对图像进行高斯平滑,用一种新的分数阶微分模板增强图像中的模糊及微细线状目标;基于Steger算法提出一种提取线状目标中心线特征点的算法,避免了提取整体目标的困难;根据水动力学思想将裂隙看成溪流,通过最大熵阈值处理后,先进行特征点的连接,再基于线段之间的距离及夹角进行线段之间的连接（溪流之间的融合）。结果 对300幅裂缝图像及4种类别的其他线状目标图像进行试验,并与距离变换、最大熵阈值法+细线化Otsu阈值分割+细线化、谷底边界检测等类似算法进行比较分析,本文算法检测出的线状目标的连续性好、漏检（大间隙少）和误检（毛刺及多余线段少）率均较低。结论 本文算法能够在复杂的线状目标图像中准确快速地提取目标的中心线,一定程度上改善了复杂线状目标图像分割难的问题。     

图注意力网络的场景图到图像生成模型

目的 目前文本到图像的生成模型仅在具有单个对象的图像数据集上表现良好，当一幅图像涉及多个对象和关系时，生成的图像就会变得混乱。已有的解决方案是将文本描述转换为更能表示图像中场景关系的场景图结构，然后利用场景图生成图像，但是现有的场景图到图像的生成模型最终生成的图像不够清晰，对象细节不足。为此，提出一种基于图注意力网络的场景图到图像的生成模型，生成更高质量的图像。方法 模型由提取场景图特征的图注意力网络、合成场景布局的对象布局网络、将场景布局转换为生成图像的级联细化网络以及提高生成图像质量的鉴别器网络组成。图注意力网络将得到的具有更强表达能力的输出对象特征向量传递给改进的对象布局网络，合成更接近真实标签的场景布局。同时，提出使用特征匹配的方式计算图像损失，使得最终生成图像与真实图像在语义上更加相似。结果 通过在包含多个对象的COCO-Stuff图像数据集中训练模型生成64×64像素的图像，本文模型可以生成包含多个对象和关系的复杂场景图像，且生成图像的Inception Score为7.8左右，与原有的场景图到图像生成模型相比提高了0.5。结论 本文提出的基于图注意力网络的场景图到图像生成模型不仅可以生成包含多个对象和关系的复杂场景图像，而且生成图像质量更高，细节更清晰。     

The joint use of IHS transform and redundant wavelet decomposition for fusing multispectral and panchromatic images

Intensity hue saturation (IHS) and wavelet decomposition are two distinct fusion methods used for enhancing the spatial resolution of multispectral images by exploiting a high-resolution panchromatic image. In this paper, a combination of the IHS transform and redundant wavelet decomposition is proposed as a general method for fusing multisensor images. The principle consists of transforming low-resolution multispectral images into IHS independent components. The low-resolution intensity component is fused with the high-resolution panchromatic image in the redundant wavelet domain through an appropriate model. Subsequently, the high-resolution intensity produced is substituted to the low-resolution intensity. High spatial resolution multispectral images are then obtained through an inverse IHS transformation. SPOT images are used to illustrate the superiority of this approach over the IHS fuser in terms of preservation of spectral properties.     

遥感图像中油罐目标精确定位与参数提取

目的 浮动顶油罐是遥感图像中具有圆形特征的典型人造目标,其高精度定位与参数提取问题是一类代表性的应用问题,针对该问题,传统的基于圆形特征的变换域提取方法鲁棒性差,参数选择需要不断手动调整;基于深度学习的方法利用对已有标注图像的训练求解网络参数,提高了自动化程度,但对于圆形目标而言,覆盖圆周需要较大的感受野,这对应较大的网络结构,随之带来细节信息缺失或参数量、运算量增大的问题。本文针对油罐的定位与参数提取问题,将传统特征提取与深度学习结合,提出了一种计算量小、精度高的方法。方法 基于快速径向对称变换（fast radial symmetry transform,FRST）后的变换域数据及原始数据构建了卷积神经网络（convolutional neural networks,CNN）,给出了训练过程及参数选择,有效地将圆形特征的先验引入深度学习过程,计算复杂度低,用较少层的网络实现了高精度的定位。结果 基于SkySat数据的实验表明,该方法比单纯基于深度学习的方法在相同网络量级上精度得到了有效提高,预测误差平均降低了17.42%,且随着网络深度的增加,精度仍有明显提高,在较浅层次网络中,预测误差平均降低了19.19%,在较深层次网络中,预测误差平均降低了15.66%。结论 本文针对油罐遥感图像定位与参数提取问题,提出了一种基于变换域特征结合深度学习的方法,有效降低了计算量,提升了精度和稳定性。本文方法适用于油罐等圆形或类圆形目标的精确定位和参数提取。     

目标提取与哈希机制的多标签图像检索

目的 哈希是大规模图像检索的有效方法。为提高检索精度,哈希码应保留语义信息。图像之间越相似,其哈希码也应越接近。现有方法首先提取描述图像整体的特征,然后生成哈希码。这种方法不能精确地描述图像包含的多个目标,限制了多标签图像检索的精度。为此提出一种基于卷积神经网络和目标提取的哈希生成方法。方法 首先提取图像中可能包含目标的一系列区域,然后用深度卷积神经网络提取每个区域的特征并进行融合,通过生成一组特征来刻画图像中的每个目标,最后再产生整幅图像的哈希码。采用Triplet Loss的训练方法,使得哈希码尽可能保留语义信息。结果 在VOC2012、Flickr25K和NUSWIDE数据集上进行多标签图像检索。在NDCG(normalized discounted cumulative gain)性能指标上,当返回图像数量为 1 000时,对于VOC2012,本文方法相对于DSRH(deep semantic ranking hashing)方法提高24个百分点,相对于ITQ-CCA(iterative quantization-canonical correlation analysis)方法能提高36个百分点;对于Flickr25,本文方法比DSRH方法能提高2个左右的百分点;对于NUSWIDE,本文方法相对于DSRH方法能提高4个左右的百分点。对于平均检索准确度,本文方法在NUSWIDE和Flickr25上能提高25个百分点。根据多项评价指标可以看出,本文方法能以更细粒度来精确地描述图像,显著提高了多标签图像检索的性能。结论 本文新的特征学习模型,对图像进行细粒度特征编码是一种可行的方法,能够有效提高数据集的检索性能。     

结合特征图切分的图像语义分割

目的 基于全卷积神经网络的图像语义分割研究已成为该领域的主流研究方向。然而,在该网络框架中由于特征图的多次下采样使得图像分辨率逐渐下降,致使小目标丢失,边缘粗糙,语义分割结果较差。为解决或缓解该问题,提出一种基于特征图切分的图像语义分割方法。方法 本文方法主要包含中间层特征图切分与相对应的特征提取两部分操作。特征图切分模块主要针对中间层特征图,将其切分成若干等份,同时将每一份上采样至原特征图大小,使每个切分区域的分辨率增大;然后,各个切分特征图通过参数共享的特征提取模块,该模块中的多尺度卷积与注意力机制,有效利用各切块的上下文信息与判别信息,使其更关注局部区域的小目标物体,提高小目标物体的判别力。进一步,再将提取的特征与网络原输出相融合,从而能够更高效地进行中间层特征复用,对小目标识别定位、分割边缘精细化以及网络语义判别力有明显改善。结果 在两个城市道路数据集CamVid以及GATECH上进行验证实验,论证本文方法的有效性。在CamVid数据集上平均交并比达到66.3%,在GATECH上平均交并比达到52.6%。结论 基于特征图切分的图像分割方法,更好地利用了图像的空间区域分布信息,增强了网络对于不同空间位置的语义类别判定能力以及小目标物体的关注度,提供更有效的上下文信息和全局信息,提高了网络对于小目标物体的判别能力,改善了网络整体分割性能。     

Vineyard identification in an oak woodland landscape with airborne digital camera imagery

Using airborne multispectral digital camera imagery, we compared a number of feature combination techniques in image classification to distinguish vineyard from non-vineyard land-cover types in northern California. Image processing techniques were applied to raw images to generate feature images including grey level co-occurrence based texture measures, low pass and Laplacian filtering results, Gram-Schmidt orthogonalization, principal components, and normalized difference vegetation index (NDVI). We used the maximum likelihood classifier for image classification. Accuracy assessment is performed using digitized boundaries of the vineyard blocks. The most successful classification as determined by t-tests of the Kappa coefficients was achieved based on the use of a texture image of homogeneity obtained from the near infrared image band, NDVI and brightness generated through orthogonalization analysis. This method averaged an overall accuracy of 81 per cent for six frames of images tested. With post-classification morphological processing (clumping and sieving) the overall accuracy was significantly increased to 87 per cent (with a confidence level of 0.99).     

Log-Gabor小波和分数阶多项式KPCA的火焰图像状态识别

目的 为了进一步提高锅炉燃烧火焰图像状态识别的性能,提出了一种基于Log-Gabor小波和分数阶多项式核主成分分析(KPCA)的火焰图像状态识别方法。方法 首先利用Log-Gabor滤波器组对火焰图像进行滤波,提取滤波后图像的均值和标准差,并构成纹理特征向量。然后使用分数阶KPCA方法对纹理特征向量进行降维,并将降维后的纹理特征向量输入支持向量机进行分类。结果 本文与基于Log-Gabor小波特征提取以及2种基于Gabor小波特征提取的方法相比,本文方法的分类识别正确率更高,分类精度为76%。同时,第1主分量方差比重与核函数参数d之间满足递增关系。本文方法能够准确地提取火焰图像纹理特征。结论 本文提出一种对锅炉燃烧火焰图像进行状态识别的方法,对提取的火焰图像纹理特征向量进行降维并进行分类,可以获得较高的分类精度。实验结果表明,本文方法分类精度较高,运行时间较短,具有良好的实时性。     

Automated extraction of welds from digitized radiographic images based on mlp neural networks

It is desired to automate inspection of welding flaws. Automated extraction of welds forms the first step in developing an automated weld inspection system. This article presents a multilayered perceptron (MLP) based procedure for extracting welds from digitized radiographic images. The procedure consists of three major components: feature extraction, MLP-based object classification, and postprocessing. For each object in the line image extracted from the whole image, four features are defined: the peak position (x1), the width (x2), the mean square error between the object and its Gaussian intensity plot (x3), and the peak intensity (x4). Fiftyone training samples were used to train MLP neural networks. The training of MLP classifiers is discussed. Trained MLP neural networks are subsequently used to test unlearned feature patterns and to identify whether the patterns are welds or not. Postprocessing is performed to remove noises (misclassified nonweld objects) and restore the continuity of weld line (discontinuity due to missed weld objects). Test results show that the procedure can successfully extract all welds (100%) from 25 radiographic images.     

利用色调—亮度彩色分量的可见光植被指数

目的 无人机遥感具有高时效、高分辨率、低成本、操作简单等优势。但由于无人机通常只携带可见光传感器,无法计算由可见光-近红外波段组合所构造的植被指数。为解决这一问题,提出一种归一化色调亮度植被指数NHLVI （normalized hue and lightness vegetation index）。方法 通过分析HSL （hue-saturation-lightness）彩色空间模型,构建一种基于色调亮度的植被指数,将该植被指数以及其他常用的可见光植被指数,如归一化绿红差值指数NGRDI （normalized green-red difference index）、过绿指数ExG （excess green）、超绿超红差分指数ExGR （excess green minus excess red）等,分别与野外实测光谱数据和无人机多光谱数据的NDVI （normalized difference vegetation index）进行相关性比较;利用受试者工作特征曲线ROC （receiver operating characteristic curve）的特点确定阈值,并进行植被信息提取与分析。结果 NHLVI与NDVI相关性高（R²=0.776 8）,而其他可见光植被指数中,NGRDI与NDVI相关性较高（R²=0.687 4）;ROC曲线下面积大小作为评价不同植被指数区分植被与非植被的指标,NHLVI指数在ROC曲线下面积为0.777,小于NDVI （0.815）,但大于NGRDI （0.681）,区分植被与非植被能力较强。为进一步验证其精度,利用阈值法提取植被,NHLVI提取植被信息的总体精度为82.25%,高于NGRDI （79.75%）,尤其在植被稀疏区,NHLVI的提取结果优于NGRDI。结论 提出的归一化色调亮度植被指数,提取植被精度较高,适用于无人机可见光影像植被信息提取,为无人机可见光影像的应用提供了新方法。     

改进NSCT和IHS变换相结合的遥感影像融合

目的 目的为了增强多光谱和全色影像融合质量,提出基于脉冲耦合神经网络（PCNN）的非下采样Contoulet变换（NSCT）和IHS变换相结合的融合方法。方法 先对多光谱图像进行IHS变换提取亮度I分量,采用主成分分析增强I分量得到新的I⁺分量;然后通过NSCT变换分别对I⁺分量和全色图像进行分解,并采用边缘梯度信息激励的PCNN得到融合图像的低频和高频分量;最后进行NSCT逆变换、IHS逆变换得到融合图像。结果 利用资源一号02C卫星数据进行实验,结果表明该算法在保留光谱信息的同时提高了图像空间分辨率,获得了较好的融合效果。结论 结合NSCT和IHS变换的融合方法在视觉效果和客观评价指标上都优于常用的图像融合方法。     

RGB-D语义分割：深度信息的选择使用

目的 在室内场景语义分割任务中,深度信息会在一定程度上提高分割精度。但是如何更有效地利用深度信息仍是一个开放性问题。当前方法大都引入全部深度信息,然而将全部深度信息和视觉特征组合在一起可能对模型产生干扰,原因是仅依靠视觉特征网络模型就能区分的不同物体,在引入深度信息后可能产生错误判断。此外,卷积核固有的几何结构限制了卷积神经网络的建模能力,可变形卷积(deformable convolution, DC)在一定程度上缓解了这个问题。但是可变形卷积中产生位置偏移的视觉特征空间深度信息相对不足,限制了进一步发展。基于上述问题,本文提出一种深度信息引导的特征提取(depth guided feature extraction, DFE)模块。方法 深度信息引导的特征提取模块包括深度信息引导的特征选择模块(depth guided feature selection, DFS)和深度信息嵌入的可变形卷积模块(depth embedded deformable convolution, DDC)。DFS可以筛选出关键的深度信息,自适应地调整深度信息引入视觉特征的比例,在网络模型需要时将深度信息嵌...     

Integration of panchromatic and SAR features into multispectral SPOT images using the ‘à trous’ wavelet decomposition

A method is described for integrating panchromatic (P) and synthetic aperture radar (SAR) features into multispectral (XS) images using conjointly the modified Brovey transform (MBT) and the ‘à trous’ wavelet decomposition (ATDW). The MBT is based on the local modulation of each multispectral image by the ratio of the new and initial intensity components to produce new multispectral images directly. The ATWD allows extraction of features from P and SAR images, which are combined through a feature selection rule to integrate into the initial intensity component. For evaluating the effect of each feature selection on new XS images, experimental results are conducted on SPOT (XS, P) and Radarsat (SAR) images using both visual inspection and many refined statistical measures.     

灰度级信息的目标边界精确周长估算

目的 针对图像目标边界不连续或具有模糊性导致的目标周长无法精确估算这一问题,结合边界跟踪,提出一种基于灰度级信息的目标边界精确周长估算方法。方法 该方法利用目标边界的灰度级信息,同时结合边界跟踪得到的内外边界来估计目标图像的边界周长,从而提高边界周长估计的精确性和鲁棒性。为了获得目标物体真实周长,实验采用人工合成图像。结果 实验应用所提方法和3种传统周长估算方法分别计算合成目标对象的周长,并与真实周长比较。为了验证所提方法的有效性和鲁棒性,实验中对目标对象的边界进行不同程度的加厚模糊化;并在边界加入噪声,使边界不连续。当边界变得复杂时,本文所提方法的优势得到极大体现。结论 实验结果表明,在边界模糊和边界不连续的情况下,本文所提的算法具有更好的适应性和稳定性。     

结合NSCT和压缩感知的红外与可见光图像融合

目的 红外成像传感器只敏感于目标场景的辐射,对热目标的探测性能较好,但其对场景的成像清晰度低;可见光图像只敏感于目标场景的反射,场景图像较为清晰,但目标不易被清晰观察.因而将两者图像进行融合,生成具有较好目标指示特性和可见光图像的清晰场景信息,有利于提高目标识别的准确性和降低高分辨图像传感器研究的技术难度.方法 结合非下采样contourlet变换 (NSCT)和压缩感知的优点,研究一种新的红外与可见光图像融合方法.首先对两源图像进行NSCT变换,得到一个低频子带和多个不同方向、尺度的高频子带.然后对两低频子带采用压缩感知理论获得测量向量,利用方差最大的方法对测量向量进行融合,再进行稀疏重建;高频子带采用区域能量最大的方法进行融合.最后利用NSCT逆变换获得融合图像.结果 为了验证本文方法的有效性,与其他几种方法相比较,并利用主观和客观的方法对融合结果进行评价.提出的新方法融合结果的熵、空间频率、方差明显优于其他几种方法,运行时间居中.主观上可以看出,融合结果在较好地显示目标的基础上,能够较为清晰地保留场景图像的信息.结论 实验结果表明,该方法具有较好的目标检测能力,并且方法简单,具有较强的适应性,可应用于航空、遥感图像、目标识别等诸多领域.     

基于对象关系特征的高分辨率光学卫星影像水上桥梁目标识别方法

利用卫星遥感技术对大中型桥梁进行识别定位,在民用上和军事上都具有很重要的意义。本研究提出了一套利用基元对象关系特征提取高分辨率卫星影像中水上桥梁的技术方法。首先利用多尺度分割算法对高分辨率卫星影像进行分割,利用水体指数或GLCM同质性纹理特征区分河水和陆地;其次,利用对象形状特征和相邻的关系特征提取桥梁潜在区;将河流片段和桥梁潜在区专题二值化,利用数学形态学算子实现河流水面的连续化;最后利用叠加分析的方法获得最终的桥梁目标。本方法充分利用了桥梁与河流相邻和相交的空间关系特征,利用QuickBird和IKONOS高分辨率卫星影像进行实验,证明所提出的方法可以高精度的实现大中型水上桥梁的识别定位。     

多级卷积特征金字塔的细粒度食物图片识别

目的 食物图片具有结构多变、背景干扰大、类间差异小、类内差异大等特点,比普通细粒度图片的识别难度更大。目前在食物图片识别领域,食物图片的识别与分类仍存在精度低、泛化性差等问题。为了提高食物图片的识别与分类精度,充分利用食物图片的全局与局部细节信息,本文提出了一个多级卷积特征金字塔的细粒度食物图片识别模型。方法 本文模型从整体到局部逐级提取特征,将干扰较大的背景信息丢弃,仅针对食物目标区域提取特征。模型主要由食物特征提取网络、注意力区域定位网络和特征融合网格3部分组成,并采用3级食物特征提取网络的级联结构来实现特征由全局到局部的转移。此外,针对食物图片尺度变化大的特点,本文模型在每级食物特征提取网络中加入了特征金字塔结构,提高了模型对目标大小的鲁棒性。结果 本文模型在目前主流公开的食物图片数据集Food-101、ChineseFoodNet和Food-172上进行实验,分别获得了91.4%、82.8%、90.3%的Top-1正确率,与现有方法相比提高了1%~8%。结论 本文提出了一种多级卷积神经网络食物图片识别模型,可以自动定位食物图片区分度较大的区域,融合食物图片的全局与局部特征,实现了食物图片的细粒度识别,有效提高了食物图片的识别精度。实验结果表明,该模型在目前主流食物图片数据集上取得了最好的结果。