跨域变分对抗自编码器

现有跨域图像生成算法通常要求用户提供成对数据,且生成能力有限,往往仅支持一对一的跨域图像生成.针对以上问题,提出了一种跨域变分对抗自编码器框架,在不提供任何成对数据的前提下,实现了跨域图像的一对多连续变换.假定来自不同域的图像共享相同的内容属性,且拥有独立的风格属性,则跨域图像一对多连续变换问题可转换为图像内容属性和风格属性的解耦、编码、拟合和跨域拼接.首先利用编码器解耦建立跨域数据的内容编码和风格编码;然后利用对抗操作和变分操作分别去拟合图像的内容编码和风格编码;最后通过拼接单域图像的内容编码和风格编码实现图像重构,通过交叉拼接不同域的内容编码和风格编码得到跨域图像的一对多连续变换.在标准数据集MNIST和SVHN上进行的有监督跨域图像生成结果同时满足真实性和多样性,且在分类准确率和域自适应性的定量评价中优于其他跨域图像生成算法;在人脸数据集NIR-VIS和草图数据集Edges-Shoes上实现了无监督跨域图像一对一生成,其可视化结果充分说明了生成图像的特征分布和源特征分布的一致性.以上实验全面验证了变分对抗自编码器框架的可行性和有效性.     

基于双对抗自编码器的跨模态检索

在自编码的学习过程中如何更好地保留原始特征及消除多模态数据分布的差异是一个重要的研究课题.因此,文中提出基于双对抗自编码器(DAA)的跨模态检索方法.使用全局对抗网络改进自编码器模态内重构过程,极小极大博弈的策略使模态内的原始特征和重构特征难以判别,更好地保留原始特征.隐含层对抗网络在生成模态不变表示的同时使模态间数据难以区分,有效减小多模态数据的分布差异.在Wikipedia、NUS-WIDE-10k数据集上的实验证明DAA的有效性.     

KCCA与SVM算法支撑下的遥感影像变化检测

针对多时相影像间存在非线性变化以及变化检测阈值难以确定问题,提出结合核典型相关分析和支持向量机的遥感影像变化检测算法。首先,运用核函数对多波段遥感影像非线性映射到高维特征空间进行多变量典型相关分析,去除影像间的相关性,并构造差异影像向量。然后,采用支持向量机方法提取差异影像变化区域与不变化区域。以Landsat-8遥感影像多光谱数据进行实验,结果表明,该方法可以很好提取多光谱影像的变化信息。最后,利用形态学算子对分类结果作处理,消除了"椒盐现象"的干扰,同时提高了变化检测精度。     

KCCA与SVM算法支撑下的遥感影像变化检测

针对多时相影像间存在非线性变化以及变化检测阈值难以确定问题,提出结合核典型相关分析和支持向量机的遥感影像变化检测算法。首先,运用核函数对多波段遥感影像非线性映射到高维特征空间进行多变量典型相关分析,去除影像间的相关性,并构造差异影像向量。然后,采用支持向量机方法提取差异影像变化区域与不变化区域。以Landsat-8遥感影像多光谱数据进行实验,结果表明,该方法可以很好提取多光谱影像的变化信息。最后,利用形态学算子对分类结果作处理,消除了“椒盐现象”的干扰,同时提高了变化检测精度。     

基于Siam-UNet++的高分辨率遥感影像建筑物变化检测

针对同—区域前后时序的高分辨率遥感影像背景复杂、变化类别多样、目标变化检测时存在漏检和边界识别粗糙问题,提出了一种基于Siam-UNet++深度神经网络的高分辨率遥感影像建筑物变化检测算法.该算法采用UNet++作为骨干提取网络,在其编码器部分应用Siam-diff(Siamese-difference)结构提取前后两时序图像的变化特征,并在解码阶段的上采样和横向跳跃路径连接之后引入注意力机制,突出建筑物变化的特征,抑制网络对其他类别特征的学习;同时使用多边输出融合(multiple side-output fusion,MSOF)策略加权融合不同语义层次的特征信息,提高了建筑物变化检测的精度;最后采取滑窗的方法对大尺度遥感影像进行预测,减少拼接过程中变化结果图产生的空洞图斑.在大型建筑物变化检测数据集上的实验结果表明,该算法有效提升了建筑物的变化检测效果.     

基于Transformer交叉注意力的文本生成图像技术

近年来,以生成对抗网络为基础的从文本生成图像方法的研究取得了一定的进展。文本生成图像技术的关键在于构建文本信息和视觉信息间的桥梁,促进网络模型生成与对应文本描述一致的逼真图像。目前,主流的方法是通过预训练文本编码器来完成对输入文本描述的编码,但这些方法在文本编码器中未考虑与对应图像的语义对齐问题,独立对输入文本进行编码,忽略了语言空间与图像空间之间的语义鸿沟问题。为解决这一问题,文中设计了一种基于交叉注意力编码器的对抗生成网络(CAE-GAN),该网络通过交叉注意力编码器,将文本信息与视觉信息进行翻译和对齐,以捕捉文本与图像信息之间的跨模态映射关系,从而提升生成图像的逼真度和与输入文本描述的匹配度。实验结果表明,在CUB和coco数据集上,与当前主流的方法DM-GAN模型相比,CAE-GAN模型的IS(Inception Score)分数分别提升了2.53%和1.54%,FID (Fréchet Inception Distance)分数分别降低了15.10%和5.54%,由此可知,CAE-GAN模型生成图像的细节更加完整、质量更高。     

基于深度学习算法的卫星影像变化监测

遥感影像的变化检测是遥感应用研究的热点之一,在城市变化、环境监测、土地利用以及基础地理数据库更新等领域中有着广泛的应用.变化检测是从不同时期的遥感数据中定量分析和确定地表变化的特征和过程,具体工作是对同一地区不同时相的两幅或多幅图像进行分析,检测出其中的变化部分与未变化部分.本文提出了基于堆栈降噪自动编码器网络的变化检测方法,将应用于SAR (Synthetic Aperture Radar,合成孔径雷达)卫星图像变化检测的深度学习算法改进,使之适用于高分光学卫星图像,然后在孪生网络的结构上进行改进,提出了基于分支卷积神经网络的变化检测方法,最后设计算法去除了阴影干扰和噪声等伪变化,并在高分二号卫星中宁夏地区的实际生产数据影像上进行了测试,取得了不错的效果.     

对抗学习遥感图像场景识别

目的 在高分辨率遥感图像场景识别问题中,经典的监督机器学习算法大多需要充足的标记样本训练模型,而获取遥感图像的标注费时费力。为解决遥感图像场景识别中标记样本缺乏且不同数据集无法共享标记样本问题,提出一种结合对抗学习与变分自动编码机的迁移学习网络。方法 利用变分自动编码机（variational auto-encoders,VAE）在源域数据集上进行训练,分别获得编码器和分类器网络参数,并用源域编码器网络参数初始化目标域编码器。采用对抗学习的思想,引入判别网络,交替训练并更新目标域编码器与判别网络参数,使目标域与源域编码器提取的特征尽量相似,从而实现遥感图像源域到目标域的特征迁移。结果 利用两个遥感场景识别数据集进行实验,验证特征迁移算法的有效性,同时尝试利用SUN397自然场景数据集与遥感场景间的迁移识别,采用相关性对齐以及均衡分布适应两种迁移学习方法作为对比。两组遥感场景数据集间的实验中,相比于仅利用源域样本训练的网络,经过迁移学习后的网络场景识别精度提升约10%,利用少量目标域标记样本后提升更为明显;与对照实验结果相比,利用少量目标域标记样本时提出方法的识别精度提升均在3%之上,仅利用源域标记样本时提出方法场景识别精度提升了10%~40%;利用自然场景数据集时,方法仍能在一定程度上提升场景识别精度。结论 本文提出的对抗迁移学习网络可以在目标域样本缺乏的条件下,充分利用其他数据集中的样本信息,实现不同场景图像数据集间的特征迁移及场景识别,有效提升遥感图像的场景识别精度。     

面向对象的土地覆被变化检测研究

运用面向对象的方法进行土地覆被变化检测,利用遥感数据光谱信息、纹理特征、拓扑关系,在多尺度分割获得对象的基础上,构建了变化矢量方法和向量相似性的检测方法,两种检测方法均成功检测出了所选取实验区的土地覆被变化信息。结果表明:对于同一区域同一时相的两期影像的面向对象变化检测,两种方法的总体精度都在80%以上,但变化矢量方法(CVA)精度要高于向量相似性方法。因此,在进行土地覆被变化检测时可以优先考虑变化矢量方法(CVA)。     

基于SIFT特征的异源遥感影像匹配方法研究

由于不同传感器、多时相、多分辨率、多波段的遥感图像的光谱特征、空间特征、纹理特征等存在较大差异,为影像匹配带来了困难。针对异源遥感影像成像机理的不同特点,从影像特征角度,引入尺度不变特征变换(Scale-Invariant-Feature-Transform,SIFT)方法,实现光学影像、SAR影像和多光谱影像间的匹配;针对SIFT单向匹配算法的不足,引入匹配约束,采用双向匹配策略对其优化,提高了匹配的可靠性。实验表明,该算法具有稳定、可靠、快速等特点,适用于存在光谱特征、空间特征、纹理特征等差异的异源遥感影像的高精度匹配。     

解纠缠表示学习在跨年龄人脸识别中的应用

跨年龄人脸识别因其在现实生活中的广泛应用而成为人脸识别领域的热门话题.针对跨年龄人脸识别精度较低的问题,引入解纠缠表示学习,提出了一个基于生成对抗网络的解纠缠表示学习(IPDRL)网络来实现人脸图像的识别.该网络由编码器、生成器和鉴别器构成.编码器在对特征中的年龄变化进行解纠缠的同时,对人脸图像的身份信息进行编码,提取只利于身份鉴别的特征,实现身份特征和年龄特征的解纠缠;生成器根据输入的年龄特征生成对应的身份保持的年龄图像;鉴别器通过对抗学习和多任务学习实现年龄和身份的类分布预测.通过将解纠缠表示学习、对抗学习和多任务学习相结合的方法,很好地保留了人脸图像的身份信息,并使跨年龄人脸图像识别的精度得到了提高.     

基于协同聚类和权重注意力稀疏自编码网络的变化检测方法

遥感变化检测对于监督和管理土地资源利用具有重要作用.针对监督变化检测需要人为干预训练样本的劣势、不平衡数据问题以及基于像素变化检测中的“椒盐”现象,提出基于协同聚类和权重注意力稀疏自编码网络的变化检测方法.方法采用模糊c均值和K-means对差异图协同聚类得到训练和待分类数据,同时在样本中考虑灰度共生矩阵特征,并利用合成少数过采样方法扩充变化样本以解决样本不平衡问题.通过逐层权重注意力模块加强网络对正权重的学习和削弱负权重的影响,自编码分类性能得到提升,其分类结果在差异图超像素分割边界的映射空间中根据约束条件剔除“椒盐”噪声生成变化检测图.所提出方法在变化检测中实现漏检测与误检测平衡,达到了提高变化检测精度的同时减少人为干预的目的.     

基于主题模型的高分辨率遥感影像变化检测

提出一种基于主题模型的高分辨率遥感影像变化检测方法。将前后两期遥感影像对应的像素点对作为基本单位,提取其邻域亮度相关度、均值、标准差以及邻域回归直线的斜率、截距等低层次特征,在此基础上映射得到像素点对的高层次视觉单词特征,并通过潜在狄利克雷分配模型进行分析,挖掘其潜在的主题信息,即变化与不变,从而实现变化检测。实验结果表明,该方法能够有效检测高分辨率遥感影像的变化。     

基于改进ASPP的域适应地物分类算法

遥感摄影图像由于具有地域多样性特点（不同的地理位置、地形、天气条件），在跨域语义分割任务上容易出现目标的错漏分问题。为了进一步解决跨域分割的问题，根据先进的Scale-aware＿da算法提出了一个具有尺度意识的对抗学习框架。对Scale-aware＿da算法进行改良，提出了一种生成对抗网络并改进空洞卷积空间金字塔池化模块（ASPP）的域适应土地覆盖分类算法。该算法在不同特征层使用阶梯级递减的多尺度ASPP；将不同特征层所得信息进行融合，较好地保留了各类目标信息；基于生成对抗网络原理，对于源域和目标域的域间差异问题，提出了三鉴别器网络，包括特征鉴别器、尺度鉴别器和跨域鉴别器。在ISPRS Vaihingen与ISPRS Potsdam互为源域与目标域的情况下，做域自适应实验，实验结果表明，文中算法与Scale-aware＿da算法的平均交并比（MIoU）指标相比，在Potsdam—Vaihingen域适应中提升了0.93%，在Vaihingen—Potsdam域适应中提升了1.23%。     

融合全模态自编码器和生成对抗机制的跨模态检索

针对现有基于生成对抗网络的跨模态检索方法不能充分挖掘模态间不变性的问题,提出一种融合全模态自编码器和生成对抗机制的跨模态检索方法.引入2个并行的全模态自编码器,将不同模态的样本嵌入公共空间,每个全模态自编码器不仅重构出自身模态的特征表示,而且还重构出跨模态的特征表示.设计了一个分类器,预测公共空间中嵌入特征的类别,学习并保留样本中的语义判别性.设计了3个判别器,分别判断输入其中的特征所属的模态类别,它们协同工作,充分挖掘模态间的不变性.以平均精度均值为指标评价跨模态检索的精确度,在Pascal Sen-tence,Wikipedia和NUS-WIDE-10k这3个公开数据集上进行实验,实验结果表明,与10个包括传统方法和深度学习方法在内的跨模态检索的主流方法进行对比,所提方法在3个数据集上的平均精度均值分别至少提高了4.8％,1.4％和1.1％,证明了所提方法的有效性.     

一种基于对抗学习的仿真遥感图像生成方法

遥感图像数据标注耗时、成本高且需要专家知识，使得有标签的遥感数据难于获得，因此亟需生成有标签遥感数据的有效方法。由计算机视觉领域用于风格迁移的循环一致生成对抗网络出发，提出了一种基于深度学习，利用循环一致生成对抗网络生成新数据集的仿真遥感图像转换方法。将源数据与生成数据视为源域与目标域，遥感图像转换可视为仿真遥感数据集的风格迁移。生成的数据集可进一步用于分类、语义分割和域适应等适用于遥感图像的常见任务。实验结果表明该方法可有效生成风格迁移的仿真遥感数据。     

改进U-Net网络的高分辨率遥感影像变化检测算法

针对高分辨率遥感影像变化检测中出现的伪变化较多、检测边界模糊、小目标漏检等问题，提出一种孪生结构的Siam-FAUnet变化检测模型。该模型可以实现端到端的变化检测任务。首先，利用改进的VGG16作为编码器提取双时相的影像特征；其次，通过空洞空间金字塔池化模块获取图像多尺度上下文信息；然后，使用流对齐模块将编码器中的低层特征融合至解码器，以此来获取影像的变化区域。实验采用公开的CDD和STAKI数据集进行训练和测试。结果表明，相对于其他主流的深度学习变化检测方法，Siam-FAUnet变化检测模型在准确率、精确率、召回率和F1分值上均有提升，表明该模型具有良好的检测性能。     

基于条件对抗域泛化的人脸活体检测方法

针对现存的跨场景人脸活体检测模型泛化性能差、类间重叠等问题,提出了一种基于条件对抗域泛化的人脸活体检测方法。首先,该方法使用嵌入注意力机制的U-Net网络和ResNet-18编码器提取多个源域的特征,然后将提取的特征送入辅助分类器,并将特征编码器的输出和分类器预测的结果通过多线性映射的方法进行融合,再输入到域判别器中进行对抗训练,以实现特征和类层面对齐多个源域。其次,为了减少预测不准确的难迁移样本对域泛化造成的影响,采用了熵函数来控制样本的优先级,以提高域泛化的性能。此外,通过添加人脸深度图以进一步抓取活体与假体的区别特征,通过非对称三元组损失约束作为辅助监督,进一步提高类内紧凑性和类间区分性。在公开活体检测数据集上的对比实验验证了所提方法的有效性。     

基于无人机倾斜摄影技术的多源遥感影像变化检测并行系统设计

为使无人机遥感图像的影像残差值得到有效控制,提升多源遥感影像变化特征的检测精度水平,设计基于无人机倾斜摄影技术的多源遥感影像变化检测并行系统。在C/S框架体系中,设置并行运作电路、像素点检测主机、HBase存储结构与遥感影像显示器,完成对多源遥感影像变化检测并行系统的硬件设计。根据联合平差指标的数值水平,计算密集度指标,联合已知影像数据,求解无人机倾斜摄影过程中的纹理映射条件,实现对多源遥感影像的建模处理。按照影像特征提取结果,完善影像检测金字塔的构型模式,将无人机数字影像与并行检测节点匹配起来,再结合各级硬件应用结构,完成基于无人机倾斜摄影技术的多源遥感影像变化检测并行系统设计。实验结果表明,设计的系统在无人机倾斜摄影技术的作用下,遥感图像在x轴、y轴、z轴方向上的影像残差指标均出现明显下降的数值变化状态,能够有效提升多源遥感影像变化特征的检测精度。     

多时相遥感影像变化检测系统设计与实现

针对遥感卫星影像数据量大,计算时间长等特点,在高性能集群并行处理环境下,研究了长时间序列遥感卫星影像变化信息快速提取技术,设计并实现了一体化变化检测工艺流程及系统框架,为多时相遥感卫星影像变化检测提供了高精度、快速的方法与平台。以广东某地区为试验数据,研究表明,与传统变化检测方法相比,进一步提高了变化信息提取精度,并可以获得良好的并行加速比,并行效率高,能够满足大规模遥感数据的变化检测。