基于跨域自适应的立体匹配算法

虽然卷积神经网络（CNN）在有监督立体匹配任务中取得了较好的进展，但多数CNN算法的跨域表现较差。针对跨数据域的立体匹配问题，提出一种基于CNN的使用迁移学习实现域自适应立体匹配任务的跨域自适应立体匹配（CASM-Net）算法。所提算法使用一个可供迁移的特征提取模块提取丰富的广域特征用于跨域立体匹配任务；并且，设计一个自适应代价优化模块，从而通过自适应地利用不同感受野的相似度信息优化代价，进而得到最优的代价分布；此外，提出一个视差分数预测模块，以量化不同区域的立体匹配能力，并通过调整图像的视差搜索范围进一步优化视差结果。实验结果表明：在KITTI2012和KITTI2015数据集上，CASM-Net算法的2-PE-Noc、2-PE-All和3-PEfg相较于PSMNet(Pyramid Stereo Matching Network)算法分别降低了6.1%、3.3%和19.3%；在Middlebury数据集上，在未经重新训练的情况下，在和其他算法的对比中，CASM-Net算法在所有样本上取得了最优或次优的2-PE结果。可见，CASM-Net算法具有改善跨域立体匹配的作用。     

结合时空距离的多网络互学习行人重识别

目的 在真实行人识别场景中,获得准确的标注需要耗费大量人力,因此无监督领域自适应成为行人重识别具有潜力的研究方向,这类方法通常需要聚类生成伪标签,往往会存在噪音。此外,在行人搜索过程中,好的排序算法也是取得更好识别性能的关键,但寻常的Re-Ranking排序优化由于巨大的性能消耗,限制了在真实场景下的应用。针对这两个问题,本文提出了一个联合多网络、分摄像头训练的框架,利用时空信息对排序进行优化。方法对源域数据使用有监督进行预训练,利用未标记的目标域样本进行多个网络模型的深度互学习无监督训练,提高网络的泛化能力,同时在训练过程中进行分摄像头处理,减小跨摄像头的影响,提升伪标签的质量。在排序匹配阶段利用时空信息对排序进行优化,进一步提升匹配性能。结果 实验在2个跨域实验数据集上进行测试比较,在源域为DukeMTMC-ReID(Duke multi-tracking multi-camera re-identification)数据集,目标域为Market-1501数据集的实验中,本文方法的平均精度均值（mean average precision,mAP）和Rank1分别为82.5%和95...     

基于LSTM的无监督域自适应行人重识别

本文提出一种基于无监督域自适应的行人重识别方法.给定有标签的源域训练集和无标签的目标域训练集,探索如何提升行人重识别模型在目标域测试集上的泛化能力.以此为目的,在模型的训练过程中,将源域和目标域训练集同时输入到模型中进行训练,提取全局特征的同时,提取局部特征进行行人图像描述以学到更加细粒度的特征.提出将长短时记忆网络(LSTM)以端到端的方式应用于行人的建模,将其视为从头到脚的身体部分序列.本文方法主要分为两个步骤:(1)利用StarGAN对无标签目标域图片进行数据增强;(2)源域和目标域数据集同时输入到全局分支和基于LSTM的局部分支共同训练.在Market-1501和DukeMTMC-reID数据集上,本文提出的模型都取得了较好的性能,充分体现了其有效性.     

域自适应城市场景语义分割

目的 域自适应分割网（AdaptSegNet）在城市场景语义分割中可获得较好的效果,但是该方法直接采用存在较大域差异（domain gap）的源域数据集GTA（grand theft auto）5与目标域数据集Cityscapes进行对抗训练,并且在网络的不同特征层间的对抗学习中使用固定的学习率,所以分割精度仍有待提高。针对上述问题,提出了一种新的域自适应的城市场景语义分割方法。方法 采用SG-GAN（semantic-aware grad-generative adversarial network（GAN））方法对虚拟数据集GTA5进行预处理,生成新的数据集SG-GTA5,其在灰度、结构以及边缘等信息上都更加接近现实场景Cityscapes,并用新生成的数据集代替原来的GTA5数据集作为网络的输入。针对AdaptSegNet加入的固定学习率问题,在网络的不同特征层引入自适应的学习率进行对抗学习,通过该学习率自适应地调整不同特征层的损失值,达到动态更新网络参数的目标。同时,在对抗网络的判别器中增加一层卷积层,以增强网络的判别能力。结果 在真实场景数据集Cityscapes上进行验证,并与相关的域自适应分割模型进行对比,结果表明：提出的网络模型能更好地分割出城市交通场景中较复杂的物体,对于sidewalk、wall、pole、car、sky的平均交并比（mean intersection over union, mIoU）分别提高了9.6%、5.9%、4.9%、5.5%、4.8%。结论 提出方法降低了源域和目标域数据集之间的域差异,减少了训练过程中的对抗损失值,规避了网络在反向传播训练过程中出现的梯度爆炸问题,从而有效地提高了网络模型的分割精度;同时提出基于该自适应的学习率进一步提升模型的分割性能;在模型的判别器网络中新添加一个卷积层,能学习到图像的更多高层语义信息,有效地缓解了类漂移的问题。     

以双目图像互为监督的相容解迭代优选算法

在计算机视觉领域的双目立体匹配方向, 基于神经网络的深度学习算法需要场景数据集进行训练, 泛化能力差. 针对这两个问题, 根据神经网络能够模拟函数的特点, 提出一种无需在数据集上训练, 以双目图像互为监督的深度场景相容解迭代优选算法. 该算法使用场景位置猜测网络模拟关于当前双目图像的深度场景相容位置空间, 用与该网络匹配的互监督损失函数通过梯度下降法指导该网络在输入双目图像上迭代学习, 搜索深度场景相容位置空间中的可行解, 整个算法过程无需在数据集上训练. 与CREStereo、PCW-Net、CFNet等算法在Middlebury标准数据集图像上的对比实验表明, 该算法在非遮挡区域的平均误匹配率为2.52%, 在所有区域的平均误匹配率为7.26%, 比对比实验中的其他算法有更低的平均误匹配率.     

基于特征金字塔网络的图像关键点检测算法研究

传统的图像关键点检测算法大都基于人工设计,不能适应场景变换,泛化性能较差.对此提出一种基于特征金字塔网络的图像关键点检测算法,通过融合网络中多尺度特征使得检测出的关键点具备尺度不变性,能够提取可重复的、鲁棒的关键点.为了提高算法的性能,并提出一种有效的方法产生训练数据集,训练数据集包括室内和室外的各种复杂场景.在多个公开数据集上对该算法进行测试,并与其他关键点检测算法进行对比,实验结果表明,该算法所提取的关键点在可重复率上有良好的表现.     

无人机遥感影像获取及后续处理探讨

作为卫星遥感和航空遥感的有益补充,无人机航空遥感系统获取遥感影像具有多种特性。通过4次无人机航拍试验,根据所获取的遥感影像和飞行辅助数据,对航拍数据进行拼接。从航拍的多个方面对飞行试验以及实验成果进行了质量评价。并提出了无人机应用于航拍时存在的问题及一些改进方法。     

对抗学习遥感图像场景识别

目的 在高分辨率遥感图像场景识别问题中,经典的监督机器学习算法大多需要充足的标记样本训练模型,而获取遥感图像的标注费时费力。为解决遥感图像场景识别中标记样本缺乏且不同数据集无法共享标记样本问题,提出一种结合对抗学习与变分自动编码机的迁移学习网络。方法 利用变分自动编码机（variational auto-encoders,VAE）在源域数据集上进行训练,分别获得编码器和分类器网络参数,并用源域编码器网络参数初始化目标域编码器。采用对抗学习的思想,引入判别网络,交替训练并更新目标域编码器与判别网络参数,使目标域与源域编码器提取的特征尽量相似,从而实现遥感图像源域到目标域的特征迁移。结果 利用两个遥感场景识别数据集进行实验,验证特征迁移算法的有效性,同时尝试利用SUN397自然场景数据集与遥感场景间的迁移识别,采用相关性对齐以及均衡分布适应两种迁移学习方法作为对比。两组遥感场景数据集间的实验中,相比于仅利用源域样本训练的网络,经过迁移学习后的网络场景识别精度提升约10%,利用少量目标域标记样本后提升更为明显;与对照实验结果相比,利用少量目标域标记样本时提出方法的识别精度提升均在3%之上,仅利用源域标记样本时提出方法场景识别精度提升了10%~40%;利用自然场景数据集时,方法仍能在一定程度上提升场景识别精度。结论 本文提出的对抗迁移学习网络可以在目标域样本缺乏的条件下,充分利用其他数据集中的样本信息,实现不同场景图像数据集间的特征迁移及场景识别,有效提升遥感图像的场景识别精度。     

甲状腺超声影像的元优化多级对抗域适应网络

目的 计算机辅助诊断是临床诊断中一种重要的辅助手段。然而在多机型超声影像的应用现状中,单一深度卷积神经网络面临难以从不同数据源中提取样本特征的问题,导致模型在区分多源数据方面性能欠佳。为提升单一深度模型在多源数据的泛化能力,本文提出一种无监督域自适应网络。方法 将深度对抗域适应方法应用于多源甲状腺超声影像分类任务,通过生成对抗思想提取源域图像与目标域图像的域不变特征,提出一种多级对抗域自适应网络(multi-level adversarial domain adaptation network, MADAN)。将元优化(meta-optimized)策略引入对抗域适应的学习中,将域对齐目标和样本分类目标以协调的方式联合优化,提升了模型对无标记目标域数据的分类性能。结果 在包含4种域的甲状腺超声影像数据集上实验,与7种经典域自适应方法比较。实验结果表明,MADAN在全部迁移任务中取得90.141%的目标域样本平均分类准确率,优于残差分类网络和多种经典域自适应分类网络。融合元优化训练策略后的MADAN在目标域的测试平均准确率提升约1.67%。结论 本文提出的元优化多级对抗域适应网络一方面通...     

CNN结合Transformer的深度伪造高效检测

目的 深度伪造视频检测是目前计算机视觉领域的热点研究问题。卷积神经网络和Vision Transformer(ViT)都是深度伪造检测模型中的基础结构,二者虽各有优势,但都面临训练和测试阶段耗时较长、跨压缩场景精度显著下降问题。针对这两类模型各自的优缺点,以及不同域特征在检测场景下的适用性,提出了一种高效的CNN(convolutional neural network)结合Transformer的联合模型。方法 设计基于Efficient Net的空间域特征提取分支及频率域特征提取分支,以丰富单分支的特征表示。之后与Transformer的编码器结构、交叉注意力结构进行连接,对全局区域间特征相关性进行建模。针对跨压缩、跨库场景下深度伪造检测模型精度下降问题,设计注意力机制及嵌入方式,结合数据增广策略,提高模型在跨压缩率、跨库场景下的鲁棒性。结果 在Face Forensics++的4个数据集上与其他9种方法进行跨压缩率的精度比较,在交叉压缩率检测实验中,本文方法对Deepfake、Face2Face和Neural Textures伪造图像的检测准确率分别达到90.35%、71.79%...     

基于域无关循环生成对抗网络的跨模态医学影像生成

【目的】为解决跨模态医学影像生成任务中因利用未配对数据训练而导致生成图像结构不对齐、精确度低的问题。【方法】本文提出了一种基于域无关循环生成对抗网络的跨模态医学影像生成模型,通过对齐循环生成时的中间特征,约束模态转换前后图像的结构一致性。【结果】在脑部CT-MRI数据集上的实验结果表明,本文所提出的方法能够提升模型在跨模态转换前后图像结构的一致性,从而提高跨模态医学影像的生成质量。【局限】本文目前在脑部多模态数据集上进行了大量实验,还需要在其他数据集中进一步验证其通用性。【结论】本文提出的方法在各类衡量生成图像质量的指标上均优于目前性能最佳的跨模态医学影像生成模型。     

结合自集成和对抗学习的域自适应城市场景语义分割

针对城市场景标签获取的高额成本问题,文中提出结合自集成和对抗学习的域自适应城市场景语义分割方法.对于源域和目标域的较大域间差异问题,采用风格转换的方法将源域数据集合成具有目标域风格的新数据集,作为新的源域数据集,从而有效减少源域与目标域的域间差异.对于目标域的域内差异问题,引入自集成方法,构造教师网络,利用教师网络在目标域分割图上通过一致性约束监督与指导学生网络,从而减小目标域的域内差异,提高分割精度.采用自训练的方法获得目标域的伪标签,将伪标签加入对抗学习方法中,重新训练网络模型,进一步提高模型的分割能力.在数据集上的分割实验表明文中方法的有效性.     

融合全局与局部特征的跨数据集表情识别方法北大核心CSCD

人脸表情数据集在收集过程中存在主观的标注差异和客观的条件差异,导致表情识别模型在不同数据集间呈现明显的性能差异。为了提高跨数据集表情识别精度、减少表情识别在实际应用中进行样本打标重训练的过程,本文提出了一种基于表情融合特征的域对抗网络模型,用于跨数据集人脸表情识别。采用残差神经网络提取人脸表情的全局特征与局部特征。利用Encoder模块对全局特征与局部特征进行融合,学习更深层次的表情信息。使用细粒度的域鉴别器进行源数据集与目标数据集对抗,对齐数据集的边缘分布和条件分布,使模型能迁移到无标签的目标数据集中。以RAF-DB为源数据集,以CK+、JAFFE、SFEW2.0、FER2013、Expw分别作为目标数据集进行跨数据集人脸表情识别实验。与其他跨数据集人脸表情识别算法相比,所提方法获得了最高的平均识别率。实验结果表明,所提方法能有效提高跨数据集人脸表情识别的性能。     

基于Conformer的实时多场景说话人识别模型

为解决在多场景（跨域、长时以及噪声干扰语音场景）下说话人确认系统性能较差的问题,提出了一种基于Conformer构建的、实时多场景鲁棒的说话人识别模型——PMS-Conformer。PMS-Conformer的设计灵感来自于先进的模型MFA-Conformer。PMS-Conformer对MFA-Conformer的声学特征提取器、网络组件和损失函数计算模块进行了改进,其具有新颖有效的声学特征提取器,以及鲁棒的、具有较强泛化能力的声纹嵌入码提取器。基于VoxCeleb1&2数据集实现了PMS-Conformer的训练;开展了PMS-Conformer与基线MFA-Conformer以及ECAPA-TDNN在说话人确认任务上的性能对比评估实验。实验结果表明在长语音SITW、跨域VoxMovies以及加噪处理的VoxCeleb-O测试集上,以PMS-Conformer构建的说话人确认系统的性能比用这两个基线构建的说话人确认系统更有竞争力;并且在声纹嵌入码提取器的可训练参数（Params）和推理速度（RTF）方面,PMS-Conformer明显优于ECAPA-TDNN。实验结果说明了...     

基于迁移学习的小样本齿轮箱故障诊断方法

实际工程场景中齿轮箱受工况、环境等因素影响,数据难以满足特征分布相同、训练数据充足等条件,如何在变工况情况下对齿轮故障进行诊断是故障诊断领域一大难点。为此,提出了一种结合Logistic混沌麻雀搜索优化算法(LSSA)与深度置信网络(DBN)的智能故障诊断方法,即LSSADBN。首先,将时域振动信号进行快速傅里叶变换(FFT)转换为频域信号作为训练数据集,运用Logistic混沌映射对SSA种群进行初始化,采用LSSA方法对训练数据集进行DBN结构寻优;使用最优结构DBN对源域训练集进行预训练,并加入少量目标域样本用于反向权重调优,最终实现在小样本情况下对目标域齿轮箱健康状况的准确识别。实验对比结果证明,LSSADBN方法在模型调优阶段具有更快的收敛速度,且针对不同的目标域进行迁移时都具备较高的准确率,LSSADBN方法的研究对小样本情况下的齿轮箱故障诊断具有一定的应用价值。     

基于原型注意力的多域网络目标跟踪方法

为了解决预训练集和跟踪视频的域不一致性导致跟踪模型判别能力不足的问题,提出了一种基于原型注意力的多域网络目标跟踪方法。以实时多域网络目标跟踪方法为研究对象,在训练过程中引入原型网络提取注意力特征。基于支撑集正负样本得到目标与背景的域特定原型注意力,将其与待跟踪视频的特征图进行逐通道自适应融合,使得模型在大型数据集上得到判别力更强的目标表示,从而增强跟踪算法的性能。在OTB100和TrackingNet两个基准数据集上的实验结果表明,提出方法的精度和成功率优于现有的代表性跟踪方法。     

面向隐私保护的联邦域泛化行人重识别方法

行人重识别旨在从不同的摄像头中识别目标行人的图像.由于不同场景之间存在域偏差,在一个场景中训练好的重识别模型常常无法直接应用在另一个场景,并且从摄像头收集的数据通常包含敏感的个人信息,而现有的大部分重识别方法通常需要训练数据的集中化,这可能会带来隐私泄露问题.因此,文中提出面向隐私保护的联邦域泛化行人重识别方法(Federated Domain Generalization Person Re-identification with Privacy Preserving, PFReID),在保护行人隐私的前提下,从独立的多个非共享数据域中学习泛化模型.使用频域空间插值的方法平滑各个客户端在数据集上的域偏差,增加样本的多样性,提高各客户端模型的泛化性能.在客户端构建双分支对齐学习网络,保证客户端局部模型和全局模型学习表示的一致性,用于客户端局部模型的更新.在多个公开行人数据集上的实验验证PFReID的性能较优.     

基于光照自适应动态一致性的无人机目标跟踪

无人机跟踪任务经常面临各种光线变化场景,然而无人机跟踪方法主要在光线充足下实现鲁棒跟踪。提出一种具有光照自适应性和跨帧语义感知动态一致性评估的无人机跟踪方法,实现光线不足下的无人机目标跟踪。首先构建光照自适应模块对昏暗场景进行识别,对视频图像的光照强度进行补偿;其次构建目标模板训练具有目标感知能力的滤波器进行相关运算,并利用跨帧之间的响应信息进行一致性评估;最后构建动态约束策略并对响应差异进行约束,使跟踪器保持时间平滑。在UAVDark135和UAV123数据集上,与9种先进算法进行对比实验,结果表明该算法具有较好的跟踪性能。     

基于知识利用的迁移学习一般化增强模糊划分聚类算法

针对非充分数据集及噪声对聚类分析的干扰,基于模糊C均值(FCM)框架下的聚类技术,即一般化的增强模糊划分聚类算法(GIFP-FCM),探讨具有迁移学习能力的聚类方法--融入迁移学习机制的GIFP-FCM算法(T-GIFP-FCM)。该算法通过有效利用历史相关场景(域)总结得到的知识来指导当前场景(域)中信息不足时的聚类任务,从而提高聚类效果。通过在模拟数据集及真实数据集上的仿真实验,结果显示文中算法较之传统算法在处理信息不足任务时具有更佳的性能。     

基于深度多源子域适应网络的滚动轴承跨域故障诊断

针对域适应技术在源域数据集子类距离过近以及样本数量少时分类精度低的问题,提出一种基于深度卷积生成对抗网络(DCGAN)数据扩充的深度多源子域适应网络(DMSAN)故障诊断方法.首先,针对目标域样本少的问题,引入深度卷积生成对抗网络对其进行数据扩充;其次,通过网络分支结构获取多源域的共享特征;再次,使用局部最大均值差异(LMMD)进行特征映射,对齐每个源域和目标域的子领域;最后,采用加权模块实现全局损失的最小化,以及多源域联合诊断.引入美国凯斯西储大学(CWRU)数据集和搭建故障诊断平台测得的轴承故障数据集进行实验,结果表明所提出模型的跨域故障诊断精度高于其他域适应对比模型,在目标域数据较少时优势尤为明显.