融合空域和频域网络模型的SAR图像识别

深度学习方法已经被广泛应用于合成孔径雷达(SAR)图像识别，并取得了不错的效果。但是大多数深度学习方法仅提取空间域的图像信息，未考虑SAR图像的频域散射特性，丢失了部分关键特征。为解决上述问题，文中提出了基于融合空间域和频域网络模型的SAR图像识别的端到端的深度学习框架。首先，将原始空间域图像通过频域变换方法转换为频域图像，对频域图像进行信道选择获取有效频域信号，将有效频域信号输入到频域主干网络提取频域特征；然后，将原始空间域图像输入到空间域主干网络，提取空间域特征；最后，通过网络模型融合空间域特征和频域特征，充分利用SAR图像的空间域像素信息和频域散射特性，进一步提取出目标的本质特征。文中所提方法在公共数据集MSTAR上进行了大量的实验，验证了模型的有效性和鲁棒性。     

基于深度学习的雷达目标航迹起始方法

本文提出了一种基于深度学习的雷达目标航迹起始方法,将目标航迹起始问题转化为深度神经网络模型二分类问题—“真实航迹”类和“虚假航迹”类。首先对空间配准后的目标点迹进行环形波门粗关联,得到粗关联暂时航迹;对粗关联暂时航迹进行特征向量建模,获得深度神经网络模型输入向量;利用仿真系统雷达数据,提取神经网络模型训练样本,设计深度全连接神经网络结构,训练网络模型得到优化的模型参数;使用训练好的模型参数实时计算目标起始航迹。仿真试验证明了该算法的有效性。     

基于特征提取和胶囊网络的人脸表情识别

人脸表情识别是近年来非常火热的一个研究领域,随着深度学习的发展,越来越多的深度学习方法用于表情识别中。针对胶囊神经网络(CapsNet)更关注的是图像高层空间信息、低层空间特征提取不全面的问题,提出了特征提取与胶囊网络结合的人脸表情识别算法。本文先使用局部二值模式(LBP)算子提取图像纹理特征,与胶囊网络结合形成多通道输入胶囊网络。为了进一步加强低层空间特征提取,在提取纹理特征后加入了深度残差网络(ResNet),与胶囊网络结合形成多通道输入增强胶囊网络。为了验证多通道输入胶囊网络和多通道输入增强胶囊网络的性能,本文在公开表情数据集CK+和RAF-DB分别进行了对照实验,得到了99.69%,82.02%准确率,优于其它的表情识别算法。     

基于区域与深度残差网络的图像语义分割

该文提出了一种结合区域和深度残差网络的语义分割模型。基于区域的语义分割方法使用多尺度提取相互重叠的区域,可识别多种尺度的目标并得到精细的物体分割边界。基于全卷积网络的方法使用卷积神经网络(CNN)自主学习特征,可以针对逐像素分类任务进行端到端训练,但是这种方法通常会产生粗糙的分割边界。该文将两种方法的优点结合起来:首先使用区域生成网络在图像中生成候选区域,然后将图像通过带扩张卷积的深度残差网络进行特征提取得到特征图,结合候选区域以及特征图得到区域的特征,并将其映射到区域中每个像素上;最后使用全局平均池化层进行逐像素分类。该文还使用了多模型融合的方法,在相同的网络模型中设置不同的输入进行训练得到多个模型,然后在分类层进行特征融合,得到最终的分割结果。在SIFT FLOW和PASCAL Context数据集上的实验结果表明该文方法具有较高的平均准确率。     

结合一阶和二阶空间信息的行人重识别

针对行人重识别中行人检测误差引起的空间错位,基于局部的深度网络模型仅学习相邻局部关系,导致远距离局部相关性缺失,因此,提出了一种结合一阶和二阶空间信息的行人重识别算法。在主干网络上,学习一阶空间掩模对输入图像的空间权值进行微调,以减少背景干扰;通过二阶空间掩模对远距离的依赖关系进行建模,并将局部特征集成到依赖模型中,以获取全局特征表示。局部分支引入DropBlock对抽取的行人特征进行正则化,避免了网络模型过于依赖特定部位特征。训练阶段用标签平滑分类损失和引入正样本中心的三元组损失联合优化整个网络。在Market-1501和DukeMTMC-reID数据集上的实验结果表明,相比其他主流算法,本算法的行人重识别精度更高,且提取的行人特征判别性和鲁棒性更好。     

基于自注意力深度强化学习的特定流路由选择算法

为了有效降低传统流量工程机制中重路由对网络带来的负面影响,基于软件定义网络的全局网络视角和管理能力,提出一种基于自注意力深度强化学习的特定流路由选择算法,以重新路由少量流量达到接近最优的性能。通过多尺度融合注意力机制的神经网络模型来提取流量的特征,并采用集中式训练-分布式执行架构,根据观测网络状态做出实时决策。理论研究和实验结果表明,与传统深度强化学习算法与启发式算法相比,所提算法在平均负载和端到端延迟性能方面均有显著改进。     

基于深度多级小波变换的图像盲去模糊算法

近年来卷积神经网络广泛应用于单幅图像去模糊问题,卷积神经网络的感受野大小、网络深度等会影响图像去模糊算法性能.为了增大感受野以提高图像去模糊算法的性能,该文提出一种基于深度多级小波变换的图像盲去模糊算法.将小波变换嵌入编-解码结构中,在增大感受野的同时加强图像特征的稀疏性.为在小波域重构高质量图像,该文利用多尺度扩张稠密块提取图像的多尺度信息,同时引入特征融合块以自适应地融合编-解码之间的特征.此外,由于小波域和空间域对图像信息的表示存在差异,为融合这些不同的特征表示,该文利用空间域重建模块在空间域进一步提高重构图像的质量.实验结果表明该文方法在结构相似度(SSIM)和峰值信噪比(PSNR)上具有更好的性能,而且在真实模糊图像上具有更好的视觉效果.     

基于深度多级小波变换的图像盲去模糊算法

近年来卷积神经网络广泛应用于单幅图像去模糊问题,卷积神经网络的感受野大小、网络深度等会影响图像去模糊算法性能。为了增大感受野以提高图像去模糊算法的性能,该文提出一种基于深度多级小波变换的图像盲去模糊算法。将小波变换嵌入编-解码结构中,在增大感受野的同时加强图像特征的稀疏性。为在小波域重构高质量图像,该文利用多尺度扩张稠密块提取图像的多尺度信息,同时引入特征融合块以自适应地融合编-解码之间的特征。此外,由于小波域和空间域对图像信息的表示存在差异,为融合这些不同的特征表示,该文利用空间域重建模块在空间域进一步提高重构图像的质量。实验结果表明该文方法在结构相似度(SSIM)和峰值信噪比(PSNR)上具有更好的性能,而且在真实模糊图像上具有更好的视觉效果。     

基于CBAM的深度序数回归方法

本文针对单目深度估计模型深度序数回归算法中全图像编码器易丢失较大像素值像素特征信息和位置信息的缺点,提出一种基于CBAM的深度序数回归方法.首先,将CBAM嵌入到深度序数回归算法中作为全图像编码器,依次采用通道注意力机制和空间注意力机制来捕获图像完整的特征信息和位置信息,通过获得的注意力图重新调整原始特征;其次,对像素的深度值进行离散,将深度估计重新转化为序数回归问题;最后,使用回归损失函数对网络进行训练.实验结果表明,相比于其他有监督学习、半监督学习和无监督学习的方法,该方法在KITTI数据集上取得更好的效果.     

结合空间域与变换域特征提取的盲立体图像质量评价

针对立体图像质量预测准确性不足的问题,该文提出了一种结合空间域和变换域提取质量感知特征的无参考立体图像质量评价模型.在空间域和变换域分别提取输入的左、右视图的自然场景统计特征,并在变换域提取合成独眼图的自然场景统计特征,然后将其输入到支持向量回归(SVR)中,训练从特征域到质量分数域的预测模型,并以此建立SIQA客观质量评价模型.在4个公开的立体图像数据库上与一些主流的立体图像质量评价算法进行对比,以在LIVE 3D Phase I图像库中的性能测试为例,Spearman秩相关系数、皮尔逊线性相关系数和均方根误差分别达到0.967,0.946和5.603,验证了所提算法的有效性.     

基于语义分割的多目标违禁品识别算法

基于深度学习的语义分割算法可以实现安检违禁品自动识别,并获得违禁品的位置、类别及形状信息。但传统的语义分割算法在面对违禁品尺寸不一且目标多样的识别任务时表现较差。针对该问题,本文提出了一种基于语义分割技术的多目标违禁品识别算法。编码阶段,设计使用空洞空间金字塔卷积模块（Atrous Spatial Pyramid Convolution Block, ASPC）,提升网络对于特征图多尺度信息的挖掘能力。同时引入注意力机制,对ASPC模块的特征提取过程进行监督,进一步提升模块的特征提取能力。解码阶段,受U-Net模型启发,采用逐级上采样操作,同时加入1×1卷积实现通道降维,减少计算量,提升模型运行速度。实验结果显示,本文提出的算法在多目标违禁品识别任务中表现良好,平均交并比（mIoU）得分78.62,处理单张图片用时（Time）68ms。      

利用无监督预训练的轨迹深度关联

针对时空相似度算法关联轨迹的局限性,采用深度学习方法进行轨迹关联,并提出了一种基于无监督预训练的匹配神经网络训练方式。利用Geohash向量嵌入对轨迹信号做特征工程处理,构建自注意力机制神经网络结构,使用无标注轨迹数据基于遮蔽预测任务进行模型预训练;然后构建孪生匹配网络结构,加载预训练模型参数;最后使用标注轨迹对数据基于均方差损失函数微调预训练模型参数得到轨迹对匹配模型。采用Geolife GPS轨迹数据集作为评估数据集进行模型训练与测试,实验结果显示,利用无监督预训练的轨迹关联方法较现有最优算法匹配准确率提高了5个百分点,达到了96.3%,充分证明了该方法的有效性。目前轨迹关联领域基于深度学习预训练模型的研究较少,该方法具有重要的参考意义。     

基于时频感知神经网络的语音频带扩展

为了进一步提高基于深度学习的语音频带扩展性能,提出了一种基于编解码器的神经网络结构,编码器对数据进行深度特征提取,解码器进行宽带语音重构,并在编解码器中间设计了局部敏感哈希自注意力层,用于增强模型对深度特征的有效选择。编解码器内部使用了时间卷积网络,有效提升了模型对语音时序数据上下文依赖关系的学习能力。为了促进模型朝更加准确的方向训练,还提出了一种时频感知损失函数,有利于模型在时域、频域以及感知域获取窄带语音到宽带语音的最优映射解。通过主观和客观实验结果表明,该方法优于传统方法和近几年基于深度神经网络的语音频带扩展方法。      

基于Deeplabv3网络的飞机目标微动信号分离

针对空中飞机目标的微多普勒效应提出一种基于时频图与深度神经网络分离直升机、螺旋桨和喷气式三类飞机旋转部件和机身的方法。本文从飞机目标时频图像素差异着手,根据深度学习语义分割网络提取飞机目标时频掩膜图,将掩膜图与飞机目标多分量时频矩阵进行乘法拟合,实现三类飞机目标多分量信号分离。通过建立的仿真数据集进行多组实验,结果表明对飞机目标多分量信号,深度学习语义分割网络提取时频掩膜的方法能够很好地分离机身和旋转部件信号,并起到抑制杂波的效果。     

基于渐进结构感受野和全局注意力的显著性检测

当前的显著性检测算法在复杂场景下难以分割出完整显著性区域以及锐利的边缘细节。针对这一问题,文中提出了一种新颖的特征融合算法。该方法利用全卷积神经网络获取多个层次粗糙的初始特征并结合特征金字塔结构对其深度解析。设计渐进结构感受野模块将特征转换至不同尺度的空间进行优化,实现特征的渐进融合与传递,有选择性地增强显著性区域。采用全局注意力机制消除背景噪声并建立显著性像素之间的长距离依赖,以提高显著性区域的有效性,突出显著性目标,再通过学习融合个层次特征得到显著图。综合实验表明,在绝对误差减小的情况下,F-measure指标远超出其他7种主流方法。所提的显著性模型综合了全卷积神经网络和特征金字塔结构的优点,结合文中设计的渐进结构感受野和全局注意力机制,使得显著图更接近真值图。     

Passive forensic based on spatio-temporal localization of video object removal tampering

To address the problem of identification of authenticity and integrity of video content and the location of video tampering area,a deep learning detection algorithm based on video noise flow was proposed.Firstly,based on SRM (spatial rich model) and C3D (3D convolution) neural network,a feature extractor,a frame discriminator and a RPN (region proposal network) based spatial locator were constructed.Secondly,the feature extractor was combined with the frame discriminator and the spatial locator respectively,and then two neural networks were built.Finally,two kinds of deep learning models were trained by the enhanced data,which were used to locate the tampered area in temporal domain and spatial domain respectively.The test results show that the accuracy of temporal-domain location is increased to 98.5%,and the average intersection over union of spatial localization and tamper area labeling is 49%,which can effectively locate the tamper area in temporal domain and spatial domain.     

特征选择与深度学习相结合的极化SAR图像分类

给出了一种特征选择与深度学习相结合的极化合成孔径雷达(polarimetric synthetic aperture radar, PolSAR)图像有监督分类算法。该算法首先根据极化SAR图像数据以及目标分解获取原始特征参数集,然后利用随机森林(Random Forest, RF)方法对特征参数集进行重要性评估,并根据特征重要性排名选择最优极化特征。以最优极,化特征为输入,通过卷积神经网络(convolutional neural network, CNN)学习多层特征信息,再利用训练好的网络模型对极化SAR图像进行分类。利用美国AIRSAR机载系统采集的实测数据进行实验,并同已有经典有监督分类算法进行比较,结果表明本文算法能够选取有效的极化特征,最终得到较为准确的分类效果。      

基于深度卷积神经网络的极化雷达目标识别

针对宽带多极化雷达,提出将高分辨一维距离像(high resolution range profile,HRRP)与极化信息相结合的算法,获得目标在4种极化组态下的一维距离像并将其组成极化距离矩阵.该算法对目标进行全方位的特征抽取与建模,以适应不同的姿态,有助于减少高分辨一维距离像方位敏感性带来的影响.然后提出了直接基于极化距离矩阵、Pauli分解和Freeman分解三种特征提取方式对极化距离矩阵进行目标特征的提取,并将获得的目标特征向量结合起来送入搭建的深度卷积神经网络进行训练学习.该方法不仅结合了不同的特征提取方式以对极化距离矩阵进行更全面的特征提取,而且深度卷积神经网络的运用又对目标特征向量进行了深层学习,仿真结果验证了该方法的有效性.     

融入频域特征的航天复合材料缺陷智能检测北大核心CSCD

针对传统人力无损检测识别方式存在的准确度与可靠性不足,且处理缺陷种类单一的问题,本文提出了一种融入频域特征的航天复合材料缺陷检测算法。首先,为了提高缺陷图像的特征提取效果,在特征提取骨干网络中添加图像的频域输入信息;其次,为了提高缺陷的可视化效果和检测精度,提出信息专注模块,并在面具R-CNN(mask region-based convolutional neural network, Mask R-CNN)的基础上,改进分割掩模损失函数;最后,结合级联R-CNN(cascade region-based convolutional neural network, Cascade R-CNN)结构,形成了新的实例分割网络。此外,在航天复合材料缺陷X射线图像数据集中对提出的实例分割网络进行了实验验证,模型检测的平均准确度达到了95.3%,与Mask R-CNN、级联面具R-CNN(cascade mask region-based convolutional neural network, Cascade Mask R-CNN)等实例分割算法相比,取得了更为优良的效果。该研究成果已应用于实际工业生产中几种常见航天复合材料缺陷的智能检测。