基于级联生成对抗网络的人脸图像修复

人脸图像修复技术为近年来图像处理领域的研究热点。该文提出一种基于级联生成对抗网络的人脸图像修复方法,从生成器、判别器、损失函数三个方面进行改良。生成器采用由粗到精的级联式模型,并结合密集连接模块使所修复区域更加精细;判别器采用局部与全局特征相融合的双重判别式模型以提升判别准确性;损失函数采用最小化重构损失和对抗网络损失相结合以获得更好训练效果。基于CelebA数据集的实验显示,该方法可实现面部区域丢失50%以上的人脸图像修复,在客观评价指标PSNR和SSIM上,较现有方法分别提高了1.1~7.5 dB和0.02~0.15。从主观效果来看,该方法修复的人脸图像拥有更丰富的细节、更显自然。     

人脸图像风格迁移的改进算法

图像风格迁移是对给定的输入图像,采用计算机手段自动将任意其他图像的风格迁移到输入图像中,使两者风格完全相同,但保持原图像内容不变.本研究通过实验发现,当这种风格迁移用到人脸图像时,由于嘴唇、眼睛等部位对空间位置差异比较敏感,容易导致风格迁移效果失真.基于DPST (deep photo style transfer)算法,提出对空间差异鲁棒的人脸图像风格迁移的改进算法,通过将输入图像和风格图像各部分语义的分割内容在深度卷积神经网络中特征图通道间的归一化互相关最大化,对风格图像进行对应的仿射变换,每个分割区域都以对应的空间变换后的样式图像作为样式参考,有效减轻了输入图像和风格图像各部分语义分割内容在空间上存在较大差异时产生的重影.选取空间差异较大的输入图像与风格图像,对新算法和原DPST算法以及其他基准算法进行对比实验,结果表明,当两张图像各语义分割内容在空间位置相差较大时,新算法仍能产生较好的效果,鲁棒性更佳.     

基于高斯肤色模型和图像分割的人脸检测

提出了一种基于HSV、YCgCr颜色空间和图像区域分割的人脸检测方法.首先,将规范化的rgb肤色转化到HSV、YCgCr颜色空间,对向量（H,Cg,Cr）T进行统计,得到肤色的三维高斯概率模型.然后,根据该模型计算待检图像的肤色相似概率,采用最大类间方差的方法计算二值化阈值,根据阈值将相似度图像二值化.为了抵消人脸区域亮度变化和阴影的影响,以二值图像为模板,在原待检图像的饱和图中根据3像素×3像素区域的平均R、G值进行图像区域分割.在分割得到的区域中,根据人脸特征检测出图像中的人脸.实验表明,提出的方法能在复杂背景的情况下检测出人脸图像.     

基于消除背景的人脸定位方法

针对在人脸定位中图像背景对人脸定位产生影响的问题,提出通过消除背景的人脸定位方法.研究了图像区域的肤色特征和几何特征,对背景区域的几何特性进行分类,根据不同的几何特征采用相应的检测方法,有效地去除了人脸背景,实现快速人脸定位.实验结果证明,这种通过消除背景的人脸定位方法能够提高定位的效率和精度.     

基于肤色和人脸形状约束的正面人脸轮廓提取算法

提出了一种基于肤色和人脸形状约束的正面人脸封闭轮廓提取方法.首先在YCgCr空间中对图像数据进行阈值分析,建立肤色模型,并通过肤色模型对肤色区域进行初定位,再经过对肤色区域的连通区域标记,进而根据区域像素数量筛选去除非人脸区域.然后提取人脸初步轮廓,并结合人脸形态比例去除颈部轮廓.最后通过相关形态参数构建出人脸下巴轮廓,最终得到一个连续、封闭的人脸轮廓.     

基于二维人脸图像的特征提取技术研究

针对目前人脸识别中特征提取的技术特点,提出了一种基于二维人脸图像的特征提取方法,利用肤色分析及灰度投影对二维人脸的关键特征点进行定位、分析并提取.经实验证明,此方法能够对人脸区域的特征点实现准确、可靠的定位.     

人脸图像中斑点自动去除系统的设计与实现

人脸图像中斑点的自动去除是高清晰人脸图像美化的重要步骤。本文提出了一种人脸图像斑点自动去除系统的设计思路和实现方法,系统首先采用AdaBoost算法从输入图像中检测人脸区域和双眼位置,然后利用人脸部件分布的先验知识检测出眼睛、鼻子、嘴巴等部件位置,最后利用迭代多级中值滤波方法对人脸非部件区域进行平滑处理。整个系统在VC++6.0环境下借助OpenCV图像处理库实现。实验结果表明,本系统能较好地去除脸部斑点,实现人脸图像美化。     

基于卷积神经网络的人脸图像特征提取

为了提高对人脸的自动识别和检测能力,提出了一种基于卷积神经网络的人脸特征提取技术。采用连续模板匹配技术进行人脸边缘轮廓的检测,采用Harris角点检测方法进行人脸的关键特征点定位,在人脸的分块区域内进行人脸的肤色特征分析和外包矩形轮廓区域特征提取,结合肤色特征对图像中人脸特征点进行图像重构和精确定位,对提取的人脸特征点采用卷积神经网络进行分类,实现对人脸图像特征的优化提取。仿真结果表明,采用该方法进行人脸特征提取的准确性较高,具有较好的特征匹配能力。     

人脸图像特征点的定位与提取方法的研究

对于复杂的人脸模式，脸部特征定位是人脸自动识别技术的关键.对人脸图像特征点的定位过程和提取算法进行了研究.通过对人脸图像进行增强与平滑等预处理，并生成清晰完整的二值化图像；利用灰度积分投影曲线确定人脸区域，以缩小定位范围；同时找到垂直方向上人脸特征的大致位置，以便进行下一步的特征提取工作；以粗定位为基准，按照适当的方法对眼、鼻、嘴的特征点依次准确提取.利用粗略与精确两步定位过程方法，在简化处理的同时，可准确提取正面人脸图像中的特征点.实践证明，该方法直观、可靠，具有良好的实用性.     

一种基于线连通的人脸定位法

提出一种基于线连通的区域聚合法,结合肤色处理和区域特征等方法对人脸进行定位.这种新的区域聚合法能快速有效地获取图像区域的几何特性,从而可以提取区域的各种特征,最终能根据人脸的基本特征对图像的人脸进行定位.实验证明,这种方法速度快、实现简单,能较好地克服人脸倾斜、大小、表情、姿态变化等不利因素的影响,达到很好的定位效果.     

基于注意力机制的多尺度特征融合图像去雨方法

雨纹分布和形状具有多样性，现有去雨算法在去雨的同时会产生图像背景模糊、泛化性能差等问题.因此，本文提出一种基于注意力机制的多尺度特征融合图像去雨方法.特征提取阶段由多个包含两个多尺度注意力残差块的残差组构成，多尺度注意力残差块利用多尺度特征提取模块提取及聚合不同尺度的特征信息，并通过坐标注意力进一步提高网络的特征提取能力.在组内进行局部特征融合，组间利用全局特征融合注意力模块更好地融合不同层次的特征，通过像素注意力使网络重点关注于雨纹区域.在仿真和真实雨像数据集上与其他现有图像去雨算法相比，本文方法的定量指标有着明显提高，去雨后的图像视觉效果较好且具有良好的泛化性.     

多尺度语义学习的人脸图像修复

针对卷积神经网络在图像修复过程中难以兼顾修复结果的局部细节和全局语义一致性问题，以生成对抗网络为基础，提出一种多尺度语义学习的编解码人脸图像修复模型.首先，将人脸图像用门控卷积分解为具有不同大小的感受野和特征分辨率的分量，用不同尺寸的卷积核提取多尺度特征，通过提取合适的局部特征来提升修复结果的细节；其次，将提取的多尺度特征输入至语义学习模块，从通道和空间两个角度学习特征之间的语义关系，从而增强修复结果的全局一致性；最后，引入跳跃连接将编码端的特征补充到解码端中减少采样造成的细节信息损失，改善修复结果的纹理细节.在CelebA-HQ人脸数据集上进行实验，结果表明提出的模型在峰值信噪比、结构相似性、l₁三个性能指标上均有显著提升，修复的结果在视觉上局部细节和全局语义更合理.     

融合边缘条件的多个鉴别器生成对抗网络

针对现有图像处理方法仍然存在人脸补全后,人脸五官等局部区域的视觉连通性较差的问题, 提出了一种包含全局鉴别网络、局部鉴别网络和人脸部位鉴别网络的边缘补全方法。其中全局鉴别网络鉴别 全图的视觉连通性;局部鉴别网络约束补全部分;人脸部位鉴别网络约束补全图像效果。将残缺灰度图、 残缺边缘图和掩膜图输入到边缘补全网络,得到补全边缘图。然后将补全边缘图和残缺彩色图输入到图像 补全网络,得到补全图像。边缘补全网络和图像补全网络进行端对端连接,形成一个完整的解决方案。在 CelebA 数据集上与对照组进行视觉连通性对比,结果表明：提出的算法能够更好地还原人脸部位的信息。     

融合多尺度和多头注意力的医疗图像分割方法

为了从医疗图像中自动且准确地提取兴趣区域, 提出基于神经网络的分割模型MS²Net. 针对传统卷积操作缺乏获取长距离依赖关系能力的问题, 为了更好提取上下文信息, 提出融合卷积和Transformer的架构. 基于Transformer的上下文抽取模块通过多头自注意力得到像素间相似度关系, 基于相似度关系融合各像素特征使网络拥有全局视野, 使用相对位置编码使Transformer保留输入特征图的结构信息. 为了使网络适应兴趣区域形态的差异, 在MS²Net中应用解码端多尺度特征并提出多尺度注意力机制. 对多尺度特征图依次应用分组通道和分组空间注意力, 使网络自适应地选取合理的多尺度语义信息. MS²Net在数据集ISBI 2017和CVC-ColonDB上均取得较U-Net、CE-Net、DeepLab v3+、UTNet等先进方法更优的交并比指标, 有着较好的泛化能力.     

联合多尺度与注意力机制的遥感图像目标检测

遥感图像存在背景复杂、目标尺度差异大且密集分布等不足,为提高现有算法的检测效果提出联合多尺度与注意力机制的遥感图像目标检测算法. 改进空洞空间金字塔池化模块,增大不同尺寸图像的感受野;提出注意力模块用于学习特征图通道信息和空间位置信息,提升算法对复杂背景下遥感图像目标区域的特征提取能力;引入加权双向特征金字塔网络结构与主干网结合来增进多层次特征的融合;使用基于距离的非极大值抑制方法进行后处理,改善检测框易重叠的问题. 在DIOR和NWPUVHR-10数据集上的实验结果表明：所提算法的平均精度均值mAP分别达到71.6%和91.6%,相比于主流的YOLOv5s算法分别提升了2.9%和1.5%. 所提算法对复杂遥感图像取得了更好的检测效果.     

结合注意力与无监督深度学习的单目深度估计

针对当前的无监督单目深度估计方法边界模糊的问题, 提出了一种基于双重注意力模块的网络架构。这种架构能有效利用图像特征的远程上下文信息解决深度估计中的边界模糊问题。整个框架使用基于视图合成的无监督方法训练, 模型框架包括深度估计网络与位姿估计网络, 同步估计深度和相机位姿变换。双重注意力模块嵌入在深度估计网络中, 包含位置注意力模块和通道注意力模块, 能表示远程空间位置和不同特征图间的上下文信息, 从而使网络估计出细节更好的深度信息。在KITTI数据集以及Make3D数据集上的实验结果表明, 本文的方法能有效提高单目深度估计的精度和解决深度估计边界模糊问题。     

基于注意力机制和多层次特征融合的目标检测算法

为了提高目标检测的准确率，提出一种基于注意力机制和多层次特征融合的图像目标检测算法。该算法在Cascade R-CNN模型的基础上，以RseNet50为主干网络，通过嵌入简单的注意力模块（SAM）来提高网络的判别能力；其次，利用深度可分离卷积改进特征金字塔网络（FPN），设计了多层次特征融合模块（MFFM），对多尺度特征进行融合，以丰富特征图的信息量，并对不同层次的特征图赋予相应的权重以平衡不同尺度的特征信息；最后，结合目标检测方法中的区域建议网络（RPN）结构获取目标的候选区域进行分类和回归处理，确定检测目标的位置和类别。实验结果表明，相较于Cascade R-CNN目标检测算法，该算法的检测精度提升了约2.0%。     

一种用于自动驾驶场景的轻量级语义分割网络

在自动驾驶场景下,针对语义分割模型在车载硬件设备中部署时内存受限且算力不足的问题,需要设计一种较好权衡效率和精度的语义分割模型。采用单分支网络结构,设计了一个轻量级多尺度双向注意力网络。为了实现高效的特征提取,设计了一种轻量级卷积单元来构成网络的特征提取骨干。为了较好地定位和分割道路场景中尺度差异较大的物体,提出了一种多尺度双向注意力模块。它具有全局多尺度感受野,并且在沿一个方向编码通道注意力的同时保留了另一个方向的空间位置信息。基于该注意力模块,设计了跳跃注意力连接模块和特征注意力融合模块,使得输出特征兼具细节信息和语义信息。模型在Cityscapes数据集上以0.9M的参数量,取得了71.86%的平均交并比,同时在单个RTX2080Ti GPU下实现了88FPS的推理速度。实验结果表明,该模型能够实现较高的分割精度,适用于车载硬件下的部署和应用,具有一定的实用价值。     

Multi-Scale Dilated Convolutional Neural Network for Hyperspectral Image Classification

基于多尺度空洞卷积神经网络的高光谱图像分类

郑姗姗¹,刘文¹,单锐¹,赵静一²,江国乾³,张智⁴

（1. 燕山大学理学院,河北 秦皇岛 066004;2. 燕山大学机械工程学院,河北 秦皇岛 066004;3. 燕山大学电气工程学院,河北 秦皇岛 066004;4. 北京航天研究所,北京 100094）

创新点说明：

1）将图像分割方法——空洞卷积用于卷积神经网络进行高光谱图像分类,提取更加广泛、抽象的图像特征。

2）构建基于多尺度空洞卷积神经网络的高光谱图像分类方法。搭建多尺度聚合结构,在每个通道中使用快捷连接和空洞卷积结构,有效提取图像特征,避免信息丢失。

研究目的：

针对图像信息丢失问题,得到高精度的高光谱图像分类方法。

研究方法：

在Indian Pines和Pavia University数据集上,与4个已有的高光谱图像分类方法进行对比实验,比较OA, AA和Kappa值。

研究结果：

多尺度空洞卷积神经网络在Indian Pines和Pavia University数据集上OA值分别达到了99.58%,99.92%。AA值分别达到了99.57%,99.90%。Kappa分别达到了99.52%,99.89%。

结论：

1）在卷积神经网络中引入空洞卷积,可以有效避免图像信息丢失。

2）多尺度空洞卷积神经网络能提取更佳的判别性特征,实现高分类性能。

关键词：多尺度聚合;空洞卷积;高光谱图像分类;快捷连接

     

多层次特征融合与超图卷积的生成对抗壁画修复

针对现有深度学习图像修复方法在修复壁画时,存在特征利用率低及对上下文信息关注不足等问题,提出了一种多层次特征融合与超图卷积的生成对抗壁画修复模型。首先,设计金字塔特征提取层结构,利用金字塔特征分层对壁画进行多尺度层次特征提取,并采用混合空洞卷积单元扩大多层特征提取感受野,克服了单尺度卷积操作对于壁画特征提取能力不足的问题。然后,提出多分支短链融合层及门控机制融合多分支特征,将相邻分支间的特征信息进行融合,使融合后的壁画特征图中既有同分支的特征,又有相邻分支的特征,提高特征信息的利用率,并引入门控机制对特征进行选择融合,减少细节信息的丢失。接着,将融合特征通过ConvLSTM特征注意力,增强对壁画上下文信息的关注。最后,设计超图卷积壁画长程特征增强模块,通过在编码器和解码器的跳跃连接之间建立超图卷积层,利用超图卷积来捕获编码器的空间特征信息,将其迁移到解码器中,有助于解码器更好地生成壁画图像,加强特征的长程依赖关系,并与SN-PatchGAN判别网络对抗完成壁画修复。通过对人为添加破损和真实破损壁画图像进行数字化修复实验,结果可以发现：所提方法在PSNR和SSIM等客观评价指标均优于对比算法。多组实验结果表明：所提方法的对于破损壁画修复结果更加清晰自然。