一种基于对抗学习的仿真遥感图像生成方法

遥感图像数据标注耗时、成本高且需要专家知识，使得有标签的遥感数据难于获得，因此亟需生成有标签遥感数据的有效方法。由计算机视觉领域用于风格迁移的循环一致生成对抗网络出发，提出了一种基于深度学习，利用循环一致生成对抗网络生成新数据集的仿真遥感图像转换方法。将源数据与生成数据视为源域与目标域，遥感图像转换可视为仿真遥感数据集的风格迁移。生成的数据集可进一步用于分类、语义分割和域适应等适用于遥感图像的常见任务。实验结果表明该方法可有效生成风格迁移的仿真遥感数据。     

对抗学习遥感图像场景识别

目的 在高分辨率遥感图像场景识别问题中,经典的监督机器学习算法大多需要充足的标记样本训练模型,而获取遥感图像的标注费时费力。为解决遥感图像场景识别中标记样本缺乏且不同数据集无法共享标记样本问题,提出一种结合对抗学习与变分自动编码机的迁移学习网络。方法 利用变分自动编码机（variational auto-encoders,VAE）在源域数据集上进行训练,分别获得编码器和分类器网络参数,并用源域编码器网络参数初始化目标域编码器。采用对抗学习的思想,引入判别网络,交替训练并更新目标域编码器与判别网络参数,使目标域与源域编码器提取的特征尽量相似,从而实现遥感图像源域到目标域的特征迁移。结果 利用两个遥感场景识别数据集进行实验,验证特征迁移算法的有效性,同时尝试利用SUN397自然场景数据集与遥感场景间的迁移识别,采用相关性对齐以及均衡分布适应两种迁移学习方法作为对比。两组遥感场景数据集间的实验中,相比于仅利用源域样本训练的网络,经过迁移学习后的网络场景识别精度提升约10%,利用少量目标域标记样本后提升更为明显;与对照实验结果相比,利用少量目标域标记样本时提出方法的识别精度提升均在3%之上,仅利用源域标记样本时提出方法场景识别精度提升了10%~40%;利用自然场景数据集时,方法仍能在一定程度上提升场景识别精度。结论 本文提出的对抗迁移学习网络可以在目标域样本缺乏的条件下,充分利用其他数据集中的样本信息,实现不同场景图像数据集间的特征迁移及场景识别,有效提升遥感图像的场景识别精度。     

多属性无监督人脸风格翻译

针对现有人脸图像翻译模型不能实现多个视觉属性之间的翻译及翻译后的人脸图像不清晰自然的问题,提出了基于人脸识别方法的人脸多属性图像翻译模型.模型主要由内容和风格编码器、AdaIN解码器以及人脸识别模块构成.首先,两个编码器提取内容和风格图像的潜在编码,然后将编码送入到AdaIN层中仿射变换,最后解码器还原翻译后的图像.该方法设计并训练了一个准确率90.282%的人脸识别模型并提出了一种联合人脸属性损失函数,增强了模型对风格人脸的属性的关注程度,解决了模型不能准确提取到人脸的属性信息以及摒弃了无关信息,使得模型能够生成清晰的、多属性的,多样的人脸翻译图像.该方法在公开的数据集CelebA-HQ实验并在定量和定性指标上都高于基线方法,在不同的人脸朝向时也表现出良好的鲁棒性.模型生成的图像还能应用于人脸图像生成领域,解决数据集匮乏等问题.     

基于序列对抗域适应的智能裁剪算法

智能裁剪任务一直受到缺乏训练数据的困扰,目前还局限于公开数据集中.因为实际应用场景与训练场景之间存在域迁移,文中提出基于序列对抗域适应的智能裁剪算法.首先,通过实验证实裁剪数据集GAICD和CPC之间存在域迁移问题.然后,构造由美学评分模块和对抗域适应模块组成的算法.美学评分模块用于预测图像的美学评分,并辅助提取面向裁剪任务的不变特征.对抗域适应模块实现基于对抗的域适应学习.不同裁剪数据集之间的域迁移实验及室内/室外场景之间的域迁移实验均验证文中算法的有效性.     

面向多种天气场景下目标检测的多域动态平均教师模型

现有的基于深度学习的目标检测模型中,由于复杂天气使得现有方法的精度大幅降低.因此为了有效地消除不同天气场景带来的域差异问题,提出一种多域动态平均教师模型.首先引入多域平均教师模块,为多个不同天气场景下目标域数据生成伪标签;然后引入基于学生网络的风格迁移模块,解决多域任务中学生网络对不同目标域泛化能力差的问题,可有效地减小源域与不同目标域之间的差异,提升学生网络对不同目标域的泛化能力;最后提出基于教师网络的动态过滤伪标签模块,根据教师网络对不同目标域的学习效果动态地调整过滤伪标签的阈值,提升每个目标域伪标签质量.在FoggyCityscapes&RainCityscapes和Dusk-rain&Night-rain数据集上的实验结果表明,所提模型分别获得了40.3%和31.4%的精度,在雨天、雾天和夜晚等多种复杂天气场景下都优于对比方法.     

选择性传输与铰链对抗的多图像域人脸属性迁移

在基于生成对抗网络的人脸属性迁移过程中,存在图像域表达形式单一、图像域迁移细节失真的问题。提出一种结合选择性传输单元与铰链对抗损失的多图像域人脸属性迁移方法。在生成器中,利用自适应实例归一化融合图像的内容信息与图像域控制器生成的样式信息,增加图像域表达方式的多样性,同时通过选择性传输单元将下采样提取的内容特征根据相对属性标签选择性地传输到上采样,形成融合特征以增强图像的细节信息。在判别器中,通过增加双尺度判别,协同鉴定人脸图像的真伪及类别,从而提高判定的准确度。在此基础上,设计融合相对鉴别和铰链损失的对抗损失函数,增强真伪图像域之间的联系。在CelebA数据集上的实验结果表明,与StarGAN、STGAN等主流的多图像域人脸属性迁移方法相比,该方法能够建立更准确的多图像域映射关系,提高迁移图像的质量同时增加迁移图像表达的多样性。     

内容结构保持的图像风格迁移方法

现有的风格迁移算法大多是实现艺术作品到真实场景,如照片等的转换任务。在这种任务设定下,图像内容的边界等结构信息可能会出现一定程度的变化,然而这种变化不利于下游任务的完成,因而不适用于大部分工业场景。为此提出一种新的结构保持的风格迁移方法,该方法分为频域约束的图像生成模块和基于memory bank机制的语义匹配模块。前者用以保证转换前后图像的整体语义结构一致性,而后者保证了图像的语义与风格匹配,从而物体内部结构一致。为了验证该方法在工业场景中的迁移效果,采用光伏板数据集,在虚拟到真实的迁移方向上,所提出的风格迁移算法能在完成风格转换的同时较好地解决图像结构形变问题,进而满足后续任务的需求。     

自然场景下人脸表情数据集的构建

目前人脸识别研究中表情数据集图像数量较少、表情信息单一,不利于人脸表情识别的研究。本文创建了自然场景下带标签的人脸表情数据集(Facial expression dataset in the wild, FELW),并对其进行测试。FELW表情数据集包含了多张从互联网上收集的不同的年龄、种族、性别的人脸表情图像,采用适合的方法标注每张图像带有人脸部件的状态标签和表情标签,并引入Kappa一致性检验,提高人脸表情识别率。使用传统方法和深度学习的表情识别方法对数据集进行实验分析,与其他公开的人脸表情数据集相比,FELW数据集具有更多图像和更丰富的表情类别,并包含了两种图像标签有利于表情识别的研究。     

基于图像风格迁移的端到端跨域目标检测

跨域目标检测是最近兴起的研究方向,旨在解决训练集到测试集的泛化问题.在已有的方法中利用图像风格转换并在转换后的数据集上训练模型是一个有效的方法,然而这一方法存在不能端到端训练的问题,效率低,流程繁琐.为此,我们提出一种新的基于图像风格迁移的跨域目标检测算法,可以把图像风格迁移和目标检测结合在一起,进行端到端训练,大大简...     

结合自集成和对抗学习的域自适应城市场景语义分割

针对城市场景标签获取的高额成本问题,文中提出结合自集成和对抗学习的域自适应城市场景语义分割方法.对于源域和目标域的较大域间差异问题,采用风格转换的方法将源域数据集合成具有目标域风格的新数据集,作为新的源域数据集,从而有效减少源域与目标域的域间差异.对于目标域的域内差异问题,引入自集成方法,构造教师网络,利用教师网络在目...     

基于CNN的监控视频中人脸图像质量评估

在公共安全领域,监控视频中的人脸识别技术是不可或缺的技术,成为研究热点.而监控视频中低质量的人脸图像会大大降低整个人脸识别系统的识别准确率,系统难以更广泛地被投入实际使用.本文提出了一种基于CNN的人脸图像质量评估方法.通过对Alexnet模型进行改进,将网络中的多个卷积层与全连接层连接,从而提取不同尺度的图像特征.通过端到端的训练过程,预测人脸图像质量分数.另外,采用人脸识别算法来标定人脸图像的质量分数,使质量分数能更有效地筛选出适合识别算法的图像.在Color FERET数据集上实验表明,本文方法能够准确地对人脸图像进行质量评估.而在实际采集的监控视频数据集上实验表明,本文方法能筛选出高质量的人脸图像用作后续人脸识别,提高人脸识别准确率.     

基于风格迁移的交互式航空发动机孔探图像扩展方法

在航空发动机孔探图像缺陷检测任务中，缺陷区域样本数量远少于正常样本数量，且缺陷样本无法覆盖整个样本空间，导致检测算法泛化能力较差。针对上述问题，提出了一种基于风格迁移技术的交互式数据扩展方法。首先，通过交互界面选择背景图像和缺陷目标，并根据背景图像指定需要粘贴的目标的大小、角度和位置等信息；其次，通过风格迁移技术将背景图像的风格迁移到目标图像上，使得背景图像和待检测目标具有相同的风格；最后，利用泊松融合算法对融合区域的边界进行修正，以达到连接区域自然过渡的效果。通过二分类和缺陷检测验证了该方法的有效性。在包含真实图像和扩展后图像的二分类实验中，测试人员的平均分类错误率达到了44.0%；而在基于Mask R-CNN模型的检测任务中，所提方法的检测和分割平均精度（AP）较传统方法分别提高了99.5%和91.9%。     

基于风格迁移的交互式航空发动机孔探图像扩展方法

在航空发动机孔探图像缺陷检测任务中,缺陷区域样本数量远少于正常样本数量,且缺陷样本无法覆盖整个样本空间,导致检测算法泛化能力较差。针对上述问题,提出了一种基于风格迁移技术的交互式数据扩展方法。首先,通过交互界面选择背景图像和缺陷目标,并根据背景图像指定需要粘贴的目标的大小、角度和位置等信息;其次,通过风格迁移技术将背景图像的风格迁移到目标图像上,使得背景图像和待检测目标具有相同的风格;最后,利用泊松融合算法对融合区域的边界进行修正,以达到连接区域自然过渡的效果。通过二分类和缺陷检测验证了该方法的有效性。在包含真实图像和扩展后图像的二分类实验中,测试人员的平均分类错误率达到了44.0%;而在基于Mask R-CNN模型的检测任务中,所提方法的检测和分割平均精度（AP）较传统方法分别提高了99.5%和91.9%。     

公共区域监控视频数据目标特征跟踪定位方法

为了提高公共区域监控视频的目标定位检测能力,需要进行目标特征跟踪定位算法设计,提出一种基于图像超分辨率重建的公共区域监控视频数据目标特征跟踪定位方法。构建公共区域监控视频的三维图像重建模型,采用边缘层的高分辨融合方法进行公共区域监控视频图像数据的三维结构重组,提取公共区域监控视频的关键特征点,用图像退化模型进行公共区域监控视频数据目标特征检测,结合线性滤波模型使得监测输出图像满足最优匹配特征解,提高对公共区域监控视频数据目标特征跟踪能力。引入引导滤波方法进行公共区域监控视频数据的图像超分辨重建,实现对目标特征准确跟踪定位。仿真结果表明,采用该方法进行公共区域监控视频数据目标特征跟踪定位的准确性较高,图像重建能力较强,归一化均方根误差较小。     

基于特征空间的人脸超分辨率重构

超分辨率图像重构是利用关于同一场景的多帧低分辨率图像重构出一幅具有更高分辨率图像的过程.传统的超分辨率图像重构算法是基于像素空间,通过利用高、低分辨率像素空间之间的映射关系来求解,具有计算复杂性高等缺点. 针对低分辨率人脸放大问题,提出了一个基于特征空间的人脸超分辨率图像重构算法.与传统算法相比,该算法不仅降低了计算复杂性,还具有更好的鲁棒性.     

基于风格迁移纹理合成与识别的构造式信息隐藏

传统的信息隐藏算法大都通过修改载体达到隐藏秘密信息的目的,但不可避免地会在载体数据中留下修改痕迹,故常难以抵抗隐写分析技术的检测,为此无载体信息隐藏应运而生.无载体信息隐藏并非不使用载体,而是不对载体数据进行修改.为了提高无载体信息隐藏算法的隐藏容量和鲁棒性,提出了一种基于风格迁移纹理合成与识别的构造式信息隐藏算法.该算法首先选取不同类别的自然图像和纹理图像分别建立内容图像库和纹理风格图像库,并根据内容图像库中自然图像的类别构建二进制码的映射字典;其次为了接收方能够从含密图像中提取出秘密信息,需要构建带标签的纹理图像库,并将其作为训练集输入到卷积神经网络中,通过迭代训练获得纹理图像识别模型.在秘密信息隐藏时,根据秘密信息片段选择对应类别的自然图像,并按照一定的顺序组合成含密拼接图像,随后从纹理图像库中随机选择一张纹理图像,通过风格迁移的方法将含密拼接图像转换成含密纹理图像,从而完成秘密信息隐藏过程.在信息提取过程中,通过纹理图像识别模型可准确识别出含密纹理图像原本对应的图像类别,再对照映射字典即可提取出秘密信息.实验结果表明,所提算法生成的含密纹理图像具有良好的视觉效果,秘密信息隐藏容...     

基于风格的数据集水印算法

开源数据集加速了深度学习的发展, 但存在许多不合理使用数据集的现象. 为保护数据集的知识产权, 近期工作提出数据集水印算法, 在数据集发布前预先植入水印, 当模型在此数据集上训练时该水印会被附着在模型中, 之后通过验证可疑模型是否存在水印来追溯数据集的非法使用. 但已有数据集水印算法无法在小扰动下提供有效并且隐蔽的黑盒水印验证. 为解决这一问题, 本文首次提出利用独立于图像内容与标签的风格属性来植入水印, 并限制对原数据集的扰动不涉及标签的修改. 通过不引入图像内容与标签的不一致性和额外的代理模型保证水印隐蔽性和有效性. 在水印验证阶段仅使用可疑模型的预测结果通过假设检验给出判断. 本文在CIFAR-10数据集上与现有5种方法相比较, 实验结果验证了本文提出的基于风格的数据集水印算法的有效性与功能不变性. 此外, 本文开展的消融实验验证了本文所提的风格优化模块的必要性, 算法在不同超参设定以及不同数据集下的有效性.     

基于Camstyle改进的行人重识别算法

行人重识别是计算机领域的一个热门话题,在交通、公共安全和视频监控等场景有着广泛的应用。提出了摄像头风格学习（CSL）结合多粒度损失（MGL）的新方法,在行人重识别领域取得了优势性能。通过摄像头风格学习可以减少由摄像头差异带来的影响,更好地发挥triplet loss的优势,有效地提高识别精度。在学习过程中结合多粒度损失,利用多个层次的特征图,使学习到的特征更有区分力。在Market-1501和DukemMTMC-reID两个大型数据集上做了对比实验,实验结果表明,提出的方法优于原Camstyle方法,在Rank1上提高了3.7%和3.2%,准确率分别达到93.2%和81.5%。在Market-1501数据集上结合多粒度损失并使用re-ranking方法后,Rank1的准确率为96.1%,mAP的准确率为93.8%,获得了当前已发表最高准确度。