基于深度神经网络的移动端人像分割

针对现有的人像分割算法大多忽略移动设备的硬件限制，盲目追求效果，以致无法满足移动端对于分割速度要求的问题，提出了一种可在移动设备上高效运行的人像分割网络。首先，基于编码器-解码器的轻量级U型架构来构建网络；其次，为了克服全卷积网络（FCN）受制于较小的感受域，无法充分捕获长距离信息的缺陷，引入期望最大化注意力块（EMAU）置于编码器之后、解码器之前；然后，在训练阶段添加多层边界辅助损失，有助于提高人物边界轮廓的准确度；最后，对模型进行量化和压缩。在Veer数据集上将所提网络与PortraitFCN+、ENet和BiSeNet等网络进行对比实验。实验结果表明，所提网络可以提高图像推理速度和分割效果，并能够以95.57%的准确率处理分辨率为224×224的RGB图像。     

引入门控轴向自注意力的多通道病理图像分割

在苏木精-伊红（HE）染色病理图像中,细胞染色分布的不均匀和各类组织形态的多样性给自动化分割带来了极大挑战。针对传统卷积无法捕获大邻域范围内像素间的关联特征,导致分割效果难以进一步提升的问题,提出引入门控轴向自注意力的多通道分割网络（MCSegNet）模型,以实现病理图像细胞核的精准分割。所提模型采用双编码器和解码器结构,在其中使用轴向自注意力编码通道捕获全局特征,并使用基于残差结构的卷积编码通道获取局部精细特征;在编码通道末端,通过特征融合增强特征表示,从而为解码器提供良好的信息基础;而解码器通过级联多个上采样模块逐步生成分割结果。此外,使用改进的混合损失函数有效解决了病理图像中普遍存在的样本不均衡问题。在MoNuSeg2020公开数据集上的实验结果表明,改进的分割方法比U-Net在F1、交并比（IoU）指标上分别提升了2.66个百分点、2.77个百分点,有效改善了病理图像的分割效果,提高了临床诊断的可靠性。     

融合类激活映射和视野注意力的皮肤病变分割

在皮肤镜图像分割问题中，分割精度受多重因素影响，包括图像对比度、病变大小及异物干扰等，为提高分割精度，解决病变边界分割不准等问题，提出一种改进的DeepLab V3+网络。该改进网络一方面生成原图像的类激活映射，融入到网络的编码器中作先验信息，为网络提供准确的定位信息并消除部分干扰因素；另一方面，在空洞空间金字塔模块中融合视野注意力机制，实现局部跨视野交互；同时将Dice损失和排序损失相结合作为本网络的损失函数，使网络更关注硬像素的误差，优化分割模型。分别在ISIC-2017和PH2数据集上对所提模型评估，其Jaccard指数（JA）分别达到82.6%和89.2%，准确率分别达到95.2%和96.5%，实验结果表明所提模型分割敏感度更高，综合分割性能较其他先进网络有所提升。     

基于注意力机制编码器-解码器的手写数学公式识别模型

针对现有的手写数学公式识别（HMER）方法经过卷积神经网络（CNN）多次池化后，图像分辨率降低、特征信息丢失，从而引起解析错误的问题，提出基于注意力机制编码器-解码器的HMER模型。首先，采用稠密卷积网络（DenseNet）作为编码器，使用稠密连接加强特征提取，促进梯度传播，并缓解梯度消失；其次，采用门控循环单元（GRU）作为解码器，并引入注意力机制，将注意力分配到图像的不同区域，从而准确地实现符号识别和结构分析；最后，对手写数学公式图像进行编码，将编码结果解码为LaTeX序列。在在线手写数学公式识别竞赛（CROHME）数据集上的实验结果表明，所提模型的识别率提升到40.39%，而在3个级别的允许误差范围内，识别率分别提升到52.74%、58.82%和62.98%。相较于双向长短期记忆（BLSTM）网络模型，所提模型的识别率提高了3.17个百分点；而在3个级别的允许误差范围内，识别率分别提高了8.52、11.56和12.78个百分点。可见，所提模型能够准确地解析手写数学公式图像，生成LaTeX序列，提升识别率。     

基于多级跳跃残差组的运动人像去模糊网络

为解决复原后的运动模糊人像图像的轮廓模糊、细节丢失等问题，提出了基于多级跳跃残差组生成对抗网络（GAN）的运动人像去模糊方法。首先，改进残差块以构造多级跳跃残差组模块，并改进PatchGAN的结构以使GAN能够更好地结合各层的图像特征；其次，使用多损失融合的方法优化网络，从而增强重建后图像的真实纹理；最后，采用端到端的模式将运动模糊的人像图像进行盲去模糊操作，并输出清晰的人像图像。在CelebA数据集上的实验结果表明，相较于DeblurGAN(DeblurGAN)、尺度循环网络（SRN）和MSRAN(Multi-ScaleRecurrentAttention Network)等基于卷积神经网络（CNN）的方法，所提方法的峰值信噪比（PSNR）和结构相似度（SSIM）分别至少提高了0.46 dB和0.05；同时，所提方法的模型参数更少，修复速度更快，且复原后的人像图像具有更多的纹理细节。     

基于深度学习的轻量级道路图像语义分割算法

针对深度学习中道路图像语义分割模型参数量巨大以及计算复杂,不适合于部署在移动端进行实时分割的问题,提出了一种使用深度可分离卷积构建的轻量级对称U型编码器-解码器式的图像语义分割网络MUNet。首先设计出U型编码器-解码器式网络;其次,在卷积块之间设计稀疏短连接;最后,引入了注意力机制与组归一化（GN）方法,从而在减少模型参数量以及计算量的同时提升分割精度。针对道路图像CamVid数据集,在1 000轮训练后,MUNet模型分割结果在测试图像裁剪为720×720大小时的平均交并比（MIoU）为61.92%。实验结果表明,和常见的图像语义分割网络如金字塔场景分析网络（PSPNet）、RefineNet、全局卷积网络（GCN）和DeepLabv3+相比较,MUNet的参数量以及计算量更少,同时网络分割性能更好。     

基于生成对抗网络的人像修复

人像修复广泛用于基于图像渲染和计算摄影的照片编辑。针对衣着的不同、高矮胖瘦的区别以及姿态的高自由度等因素给人像修复带来的困难,提出了一种基于生成对抗网络（GAN）的高效人像修复方法。算法分为两阶段：第一阶段基于编码器-解码器网络粗略修复图像,然后估计其中人体姿态信息;第二阶段基于姿态信息和GAN来精确修复人像。利用人像姿态信息来连接人像姿态关键点,形成姿态框架并执行膨胀操作,得到人像姿态掩码,以此构造人像姿态损失函数进行网络训练。实验结果表明,与Contextual Attention修复方法相比,所提方法的修复结果在结构相似度（SSIM）上提升了1%。该方法将人像姿态信息加入到修复过程中,有效地约束了待修复区域人像数据的解空间范围,加强了网络对人像姿态信息的关注程度。     

基于特征融合和注意力机制的超声影像分割网络

针对医学超声影像中图像受斑点噪声干扰、细节信息丢失、目标边界模糊等问题,提出一种基于特征融合和注意力机制的超声影像分割网络,整体结构采用编码器-解码器网络结构。首先,使用编码器模块对图像进行上下文特征提取,提取全局特征信息;然后,设计多尺度特征提取模块,捕获更广泛的语义信息;最后,在解码器模块中加入双注意力机制,沿空间和通道两个维度细化特征信息,加强对超声心动图影像中左心室区域的关注,使模型对有噪声的输入图像具有鲁棒性。实验结果表明,所提出的网络在超声心动图心尖四腔心数据集上的实验分割结果的Dice系数达到93.11%,平均交并比（mIoU）为86.80%,较传统的U-Net卷积神经网络分别提升了3.06个百分点和3.95个百分点,有效获取了左心室区域细节信息和边界信息,取得了较好的分割结果。     

基于深度学习的无人机图像语义分割算法研究

已有关于无人机视觉的图像语义分割算法多数是对遥感图像进行分割,无法表现地面细节信息,导致无人机在低空飞行任务中的实时自主环境感知存在障碍。针对该问题,提出一种低空无人机实时图像语义分割方法。设计一种新型的超网络体系结构,在编码器的最后一层加入一个上下文头权重生成模块,在编码器编码结束前生成解码器中每个块的权重,以减少预测时网络的参数量和计算量,达到实时分割的效果。在解码器中,利用局部连接层机制设计一种动态分片卷积算法,在面对跨越多个分片的大型分割对象时充分考虑上下文语义信息,使解码器中每个卷积核的权重随输入特征图的空间位置而变化,同时利用动态权重针对性地分割不同物体,最大程度地提高网络的自适应性。在低空无人机视觉图像数据集上的实验结果表明,该方法对于建筑、道路、静态车等类别图像的平均交并比为66.3%,预测速度达到37.9帧/s,与MSD、ABCNet算法相比,其分割精度分别提升9.3和2.5个百分点。     

面向特征融合的图像多窜改检测与定位算法

现有的图像窜改检测方法大多只针对某一种窜改方式,且存在窜改区域边界检测精度不高的问题,对此,提出了一种基于U型网络的双流编码器—解码器架构的图像窜改检测方法。首先利用编码器与解码器之间跳跃连接的方式来融合窜改图像中的低级和高级特征,并使用空洞卷积和CBAM注意力机制对编码器输出的特征进行融合,使得网络对不同尺度大小的窜改区域都有较好的定位性能;其次为了提高网络对窜改区域的边界检测精度,使用图像形态学方法制作了窜改边界数据集;最后使用多损失函数来同时优化网络的性能,即采用交叉熵和均方根损失函数来分别度量预测图的窜改区域损失和窜改边界损失。在CASIA、Columbia、NIST16、Coverage四个公开数据集上的实验结果表明,所提方法可以有效地检测出拼接和复制—粘贴两种窜改方式所伪造图像的窜改区域,输出像素级别的窜改区域定位图,且与其他主流窜改检测方法相比,所提方法在CASIA和Columbia数据集上的AUC值达到最高,在Columbia数据集上的F1值达到最高。     

光流估计下的移动端实时人脸检测

为了提高移动设备人脸检测准确率,提出一种应用于移动设备的实时人脸检测算法。通过改进Viola-Jones方法进行人脸区域快速分割,在不损失速度的情况下提高分割精度;同时应用了光流估计方法将卷积神经网络子网络在离散关键帧上的特征提取结果传播至非关键帧,提高神经网络实际检测运行效率。实验使用YouTube视频人脸数据库、自建20人各1 min正位人脸视频数据库和实际检测项目在不同分辨率下进行,实验结果表明运行速度在2.35帧/秒~22.25帧/秒,达到了一般人脸检测水平;人脸检测在10%误检率下召回率由Viola-Jones的65.93%提高到82.5%~90.8%,接近卷积神经网络检测精度,满足了移动设备实时人脸检测的速度和精度要求。     

基于EM路由算法的医学图像分割UCaps网络

传统的医学图像分割网络存在分割精度低、图像信息易丢失、分割轮廓不清晰等问题。为提高医学图像分割准确率,提出一种结合胶囊网络与U-Net的多标签图像分割网络UCaps。以U-Net网络为架构,基于胶囊网络原理设计适用于胶囊网络的上采样算法,通过结合高斯混合模型作为聚类算法的EM路由算法聚合底层特征对高层特征的推导过程,使高层特征包含底层特征信息,同时底层特征间的位置、姿态等信息具有统一性。实验结果表明,相比U-Net、SegCaps、MaVec-Caps网络,UCaps网络的平均分割准确率为93.21%,其中左肺分割准确率达到98.24%,具有较高的图像分割准确率和较快的收敛速度。     

基于组注意力卷积和特征重建的轻量分割算法

针对卷积神经网络的庞大参数量和计算量难以应用于移动设备或嵌入式设备的问题,提出冗余特征重建模块(redundant feature reconstruction,RFR)和组注意力卷积模块(group attention convolution,GAC),RFR模块使用较少的参数量提取重要的固有特征,通过线性算子重建冗...     

基于轻量型U-net的钢材金相图像晶界分割方法

在金相组织的晶粒度自动化评估工作中,对晶粒边界识别的精准与否直接影响着金相组织晶粒度等级的评估准确度。针对钢材金相图像中晶粒边界密集程度高、边缘复杂且晶粒边界识别准确性低的问题,提出一种基于轻量型U-net卷积神经网络的金相图像晶界分割方法,该轻量型网络模型将浅层特征层用跳跃连接的方式拼接在上采样过程中,使网络学习到更多的有效特征信息;减少了网络层数并在特征提取过程中添加了一次卷积过程,减少了网络参数量并提高了对晶界的预测速度和准确率;实验结果表明,该方法在117张金相图像测试集上像素准确率达到93.91%、特异度为96.73%、灵敏度为81.6%。与传统U-net网络相比,像素准确率提高了0.2%,网络参数量相对减少了61.5%。本方法对金相晶界分割具有有效性和优越性。     

融合MobileNetv2和注意力机制的轻量级人像分割算法

针对人像分割精度不高、效率不佳的问题,提出一种融合MobileNetv2和注意力机制的轻量级人像分割算法,以实现对人像半身图进行分割.在编码器-解码器的U型网络结构的基础上,通过将MobileNetv2作为骨干网络,精简上采样过程,有效地减少了网络的参数量,有助于网络的迁移和训练.融合注意力机制的网络结构可更有效地学习...     

PI-Unet：异质虹膜精确分割神经网络模型的研究

在虹膜识别系统中,异质虹膜图像（可见光和红外图像）的分割是最重要且最有挑战性的一个任务,该任务的难点在于针对异质虹膜图像,要同时兼顾虹膜分割的准确率和快速性。提出了适用于异质虹膜分割的神经网络模型PI-Unet（Precise Iris Unet）以及用于训练该网络模型的数据增强方法和损失函数。对PI-Unet的Encoder和Decoder进行实验探索,得出能同时兼顾准确率和快速性的网络结构,将提出的数据增强方法和损失函数用于该网络进行训练,在CASIA-iris-intervel-v4和UBIRIS.v2虹膜图像数据库上测试该网络的准确率、参数量和计算量。测试结果表明,提出的数据增强方法和损失函数能有效提高异质虹膜分割准确率,PI-Unet与传统虹膜分割算法和其他虹膜分割神经网络相比,对异质虹膜图像的分割准确率更高且参数量和计算量更少,能够适用于低性能的边缘计算设备。     

基于编码解码结构的移动端电力线语义分割方法

针对传统的视觉算法在复杂场景下检测细长电力线准确率低、受环境因素干扰大,现有基于深度学习的电线检测算法效率不高的问题,提出一种适用于移动端电力线检测的端到端全卷积神经网络模型。首先,采用一种对称的编码-解码结构,其中编码部分使用最大池化层进行下采样,以提取多尺度特征,而解码部分使用最大池化索引的非线性上采样方式逐层融合多尺度特征,以恢复图像细节;其次,针对电线像素与背景像素不平衡的问题,采用了一种加权损失函数来训练模型;最后,构建了一个背景复杂且有像素级标注的电线数据集来训练和评估模型,并重新标注了一个公开电线数据集作为不同源测试集。与现有移动端电线语义分割模型Dilated ConvNet相比,所提模型在移动端设备GPU NVIDIA JetsonTX2上对于512×512分辨率的图片的预测速度提升至Dilated ConvNet的两倍,达到8.2 frame/s所提模型在同源测试集上的平均交并比（mIoU）为0.857 3,F1分数为0.844 7,平均精度（AP）为0.927 9,这三个指标分别提升了0.011、0.014和0.008;所提模型在公开测试集上的mIoU达到0.724 4,F1分数达到0.634 1,AP达到0.664 4,这三个指标分别提升了0.004、0.007和0.032。实验结果表明,该模型具有更好的移动端电力线实时分割性能。     

高效率图片语义分割网络的研究与设计

针对目前卷积神经网络在图像语义分割上存在运算效率的不足,考虑实际嵌入式移动设备应用中对网络模型大小、运算速度和能耗的需求,研究和讨论了语义分割网络参数的压缩方法和网络结构的优化方式,并利用深度可分离卷积、多尺寸卷积核融合和金字塔池化的方法,提出快速、准确的小尺寸语义分割网络模型。该网络模型在Cityscapes数据集上进行训练和测试,在模型尺寸、运算时间和分割精度等方面都有良好的表现,能够同时兼顾语义分割任务中对效率和精度的要求,提高了语义分割技术在嵌入式移动设备上的实用性。     

改进DeepLabV3+网络的遥感影像农作物分割方法

针对于当前遥感影像农作物提取存在的识别精度较低、边缘识别效果较差、提取速度慢等问题,提出了一种改进DeepLabV3+网络的遥感影像农作物分割方法。将特征提取网络改为更轻量级的MobileNetV2网络,空洞空间金字塔池化模块中的普通卷积改为深度可分离卷积,大幅减少模型计算量,提高模型计算速度;在特征提取模块以及空洞空间金字塔池化模块加入双注意力机制,进一步优化模型边缘识别效果,提升模型分割精度。此外针对农作物数据集类别不平衡问题,引入加权损失函数,给予玉米、薏米与背景类不同的权重,提高模型对农作物区域分割精度。以2019年某地区的无人机遥感影像为研究对象,对玉米、薏米两种农作物进行分割。实验结果表明,改进DeepLabV3+算法像素准确率可达到93.9%,平均召回率可达到90.7%,平均交并比可达到83.3%,优于传统DeepLabV3+、Unet、Segnet等常用于农作物提取的分割方法,对农作物具有更好的分割效果。