基于深度卷积生成对抗网络的半生成式视频隐写方案

生成式隐写通过生成足够自然或真实的含密样本来隐藏秘密消息,是信息隐藏方向的研究热点,但目前在视频隐写领域的研究还比较少。结合数字化卡登格的思想,提出一种基于深度卷积生成对抗网络（DCGAN）的半生成式视频隐写方案。该方案中,设计了基于DCGAN的双流视频生成网络,用来生成视频的动态前景、静态后景与时空掩模三个部分,并以随机噪声驱动生成不同的视频。方案中的发送方可设定隐写阈值,在掩模中自适应地生成数字化卡登格,并将其作为隐写与提取的密钥;同时以前景作为载体,实现信息的最优嵌入。实验结果表明,该方案生成的含密视频具有良好的视觉质量,Frechet Inception距离（FID）值为90,且嵌入容量优于现有的生成式隐写方案,最高可达0.11 bpp,能够更高效地传输秘密消息。     

基于改进YOLOv3的列车运行环境图像小目标检测算法

列车辅助驾驶离不开对列车运行环境的实时检测,而列车运行环境图像存在丰富的小目标。与大中型目标相比,目标占原图比例小于1%的小目标由于分辨率低而存在误检率高、检测精度较差的问题,因此提出一种基于改进YOLOv3的列车运行环境目标检测算法YOLOv3-TOEI (YOLOv3-Train Operating Environment Image)。首先,利用k-means聚类算法优化anchor,从而提高网络的收敛速度;然后,在DarkNet-53中嵌入空洞卷积以增大感受野,并引入稠密卷积网络（DenseNet）获取更丰富的图像底层细节信息;最后,将原始YOLOv3的单向特征融合结构改进为双向自适应特征融合结构,从而实现深浅层特征的有效结合,并提高网络对多尺度目标（特别是小目标）的检测效果。实验结果表明,与原YOLOv3算法相比,YOLOv3-TOEI算法的平均精度均值（mAP）@0.5达到84.5%,提升了12.2%,每秒传输帧数（FPS）为83,拥有更好的列车运行环境图像小目标检测能力。     

基于空洞卷积的医学图像超分辨率重建算法

为解决现有医学图像超分辨率重建中存在的图像细节模糊、全局信息利用不充分等问题,提出一种基于空洞卷积与改进的混合注意力机制的医学图像超分辨率重建算法。首先,将深度可分离卷积与空洞卷积相结合,使用不同大小的感受野对图像进行不同尺度的特征提取,从而增强特征表达能力;其次,引入边缘通道注意力机制,在提取图像高频特征的同时融合边缘信息,从而提高模型的重建精度;再次,混合L1损失与感知损失函数作为整体损失函数,使重建后的图像效果更符合人类视觉感观。实验结果表明,在放大因子为3时,与基于卷积神经网络的图像超分辨率（SRCNN）算法、VDSR(Very Deep convolutional networks Super-Resolution)相比,所提算法的峰值信噪比（PSNR）平均提高了11.29%与7.85%;结构相似性（SSIM）平均提高了5.25%和2.44%。可见,所提算法能增强医学图像的效果与纹理特征,且对图像整体结构还原更加完整。     

基于动态反向学习和莱维飞行的双搜索模式萤火虫算法

针对多目标萤火虫算法在解决复杂多目标问题时存在收敛性差和分布性不足的问题,提出了基于动态反向学习和莱维飞行的双搜索模式萤火虫算法(MOFA-LR)。该算法通过比较任意一只萤火虫与种群中其余萤火虫的适应度值,判断它们之间的支配关系,根据不同的支配关系选择不同的搜索模式。当萤火虫被支配时,应注重向帕累托前沿上的优质解靠近,因此通过动态反向学习策略求出当前个体的反向解,使用反向解结合全局最优解共同引导萤火虫移动的搜索模式,能够发掘潜在的较好解,使萤火虫最大可能地向有利方向移动,改善了算法的收敛性;当萤火虫不被支配时,应注重获得均匀分布的帕累托前沿,因此使用全局最优解引导萤火虫飞行并结合莱维扰动的搜索模式,既能有效利用非支配解的优良信息,又能避免算法陷入停滞,在改善算法收敛性的同时维护了分布性。最后,为避免算法在迭代后期出现萤火虫严重聚集的现象,添加变异算子帮助种群跳出局部最优,引导种群进行局部开采。将MOFA-LR与12种新近多目标优化算法进行比较,实验结果表明,MOFA-LR具有良好的收敛性和分布性,证明了所提策略的有效性。     

基于多尺度特征融合的遥感图像建筑物提取算法研究

由于高分辨率遥感图像中的建筑物尺寸多样,且背景复杂,因此在对遥感图像中的建筑物进行提取时,往往存在细节丢失、边缘模糊等问题,从而影响模型的分割精度。为了解决这些问题,提出了具有空间和语义信息的双分支架构网络B2Net。首先,在语义信息分支上建立交叉特征融合模块,充分捕获上下文信息,以聚合更多的多尺度语义特征;其次,在空间信息分支上将空洞卷积和深度可分离卷积进行组合,提取图像的多尺度空间特征,并通过优化膨胀率扩大网络的感受野;最后,构建内容感知注意力模块,对图像中的高频和低频内容进行自适应选择,以达到细化建筑物分割边缘的效果。在两个建筑物数据集上对B2Net进行训练与测试。在WHU数据集上,与基线模型相比,B2Net在精度、召回率、F1分数以及交并比上皆达到了最佳效果,分别为98.60%,99.40%,99.30%,88.50%;在Massachusetts建筑物数据集上,4个指标比BiSeNet分别提高了0.9%,1.9%,1.7%,2.2%。实验结果证明,B2Net可以更好地捕获空间细节信息和高级语义信息,提高了复杂背景下的建筑物进行分割精度,满足了对建筑物快速提取的需求。     

用于行人轨迹预测的场景限制时空图卷积网络

目的 针对行人轨迹预测问题,已有的几种结合场景信息的方法基于合并操作通过神经网络隐式学习场景与行人运动的关联,无法直观地解释场景对单个行人运动的调节作用。除此之外,基于图注意力机制的时空图神经网络旨在学习全局模式下行人之间的社会交互,在人群拥挤场景下精度不佳。鉴于此,本文提出一种场景限制时空图卷积神经网络（scene-constrained spatial-temporal graph convolutional neural network,Scene-STGCNN）。方法 Scene-STGCNN由运动模块、基于场景的微调模块、时空卷积和时空外推卷积组成。运动模块以时空图卷积提取局部行人时空特征,避免了时空图神经网络在全局模式下学习交互的局限性。基于场景的微调模块将场景信息嵌入为掩模矩阵,用来调节运动模块生成的中间运动特征,具备实际场景下的物理解释性。通过最小化核密度估计下真实轨迹的负对数似然,增强Scene-STGCNN输出的多模态性,减少预测误差。结果 实验在公开数据集ETH （包含ETH和HOTEL）和UCY （包含UNIV、ZARA1和ZARA2）上与其他7种主流方法进行比较,就平均值而言,相对于性能第2的模型,平均位移误差（average displacement error,ADE）值减少了12%,最终位移误差（final displacement error,FDE）值减少了9%。在同样的数据集上进行了消融实验以验证基于场景的微调模块的有效性,结果表明基于场景的微调模块能有效建模场景对行人轨迹的调节作用,从而减小算法的预测误差。结论 本文提出的场景限制时空图卷积网络能有效融合场景和行人运动,在学习局部模式下行人交互的同时基于场景特征对轨迹特征做实时性调节,相比于其他主流方法,具有更优的性能。     

抑制图像非语义信息的通用后门防御策略

目的 后门攻击已成为目前卷积神经网络所面临的重要威胁。然而,当下的后门防御方法往往需要后门攻击和神经网络模型的一些先验知识,这限制了这些防御方法的应用场景。本文依托图像分类任务提出一种基于非语义信息抑制的后门防御方法,该方法不再需要相关的先验知识,只需要对网络的输入进行编解码处理就可以达到后门防御的目的。方法 核心思想是在保持图像语义不改变的同时,尽量削弱原始样本中与图像语义不相关的信息,以此抑制触发器。通过在待保护模型前添加一个即插即用的U型网络(即信息提纯网络)来实现对图像非语义信息的抑制。其输入是干净的初始样本,输出命名为强化样本。具体的训练过程中,首先用不同的训练超参数训练多个结构不一的干净分类器,然后在保持强化样本被上述分类器正确分类的前提下,优化信息提纯网络使强化样本和原始样本之间的差异尽可能地大。结果 实验在MNIST、CIFAR10和Image Net10数据集上进行。实验结果显示,经过信息提纯网络编解码后,干净样本的分类准确率略有下降,后门攻击成功率大幅降低,带有触发器的样本以接近干净样本的准确率被正确预测。结论 提出的非语义信息抑制防御方法能够在不需要相关先验知识的...     

遥感图像全色锐化的卷积神经网络方法研究进展

随着计算机科学、遥感科学和大数据科学等领域的迅速发展,基于卷积神经网络的方法在图像处理、计算机视觉等任务上发挥着越来越重要的作用。而在遥感图像全色锐化领域,卷积神经网络由于其优秀的融合效果,已得到研究学者的广泛关注并有大量的研究成果产生。尽管如此,依然有一些亟待解决的问题,例如缺乏全色锐化数据集的仿真细节描述、公平公开的训练—测试数据集、简单易懂的统一代码编写框架等。对此,本文主要从以下几方面回顾当前遥感图像全色锐化问题在卷积神经网络方面的一些进展,并针对前述问题发布相关数据集和代码编写框架。1)详细介绍7种典型的基于卷积神经网络的全色锐化方法,并在统一数据集上进行公平比较(包括与典型传统方法的比较);2)详细介绍训练—测试数据集的仿真细节,并发布相关卫星(如WorldView-3, QuickBird, GaoFen2,WorldView-2)的全色锐化训练—测试数据集;3)针对本文介绍的7种基于卷积神经网络的方法,发布基于Pytorch深度学习库的Python代码统一编写框架,便于后来初学者入门、开展研究以及公平比较;4)发布统一的全色锐化传统—深度学习方法MATLAB测试软件包,...     

高阶条件随机场引导的多分支极化SAR图像分类

目的 针对极化合成孔径雷达（polarimetric synthetic aperture radar,PolSAR）小样本分类问题,基于充分挖掘有限样本的极化、空间特征考虑,提出一种由高阶条件随机场（conditional random field,CRF）引导的多分支分类网络模型。方法 利用Yamaguchi非相干目标分解方法,构建每个像素的极化特征向量。设计了由高阶CRF能量函数引导的多卷积分支特征提取网络,将像素点极化特征向量作为输入,分别提取像素点的像素特征、邻域特征和位置特征信息。将以上特征进行加和融合,并输入到softmax分类器中得到预分类结果。利用超像素方法对预分类结果图进行进一步修正和调优,平滑相邻像素之间的特异性和相似性。结果 采用1%的采样率对两组真实的极化SAR数据进行测试。同时,为了更好地模拟实际应用中训练样本位置分布不均匀的情况,考虑了空间不相交采样方法作为对比实验。综合两种采样策略的实验结果表明,相较于只利用像素级特征或简单利用空间特征的方法,本文方法总分类精度平均提升7%～10%,不同地物类别的分类精准度均在90%以上,运行速度相比于支持向量机（support vector machine,SVM）提高了2.5倍以上。结论 通过构建高阶CRF引导的卷积神经网络,将像素特征信息、同质区域特征和地理位置信息进行融合,有效建立了像素级和对象级数据之间的尺度关联,进一步扩充了像素点之间的空间依赖性,提取到了更强大更准确的表征特征,显著提高了标记样本数量较少情况下的卷积网络模型的分类性能,进一步保证了地物目标散射机制表征的全面性和可靠性。     

基于CNN-LSTM双流融合网络的危险行为识别

针对目前人体危险行为识别过程中由于时空特征挖掘不充分导致精度不够的问题,对传统双流卷积模型进行改进,提出了一种基于CNN-LSTM的双流卷积危险行为识别模型。该模型将CNN网络与LSTM网络并联,其中CNN网络作为空间流,将人体骨架空间运动姿态分为静态与动态特征进行分别提取,两者融合作为空间流的输出;在时间流中采用改进的可滑动长短时记忆网络,以增加人体骨架时序特征的提取能力;最后将两个分支进行时空融合,利用Softmax对危险动作做出分类识别。在公开的NTU-RGB+D数据集和Kinetics数据集上的实验结果表明,改进后模型的平均跨角度（Cross view,CV）精度达到92.5%,平均跨视角（Cross subject,CS）精度为87.9%。所提方法优于改进前及其他方法,可以有效地对人体危险动作做出识别,同时对于模糊动作也有较好的区分效果。