结合超像素分割的多尺度特征融合图像语义分割算法

深度学习的发展加快了图像语义分割的研究.目前,最有效的图像语义分割研究方法大部分都是基于全卷积神经网络(FCNN),尽管现有的语义分割方法能有效地对图像进行整体分割,但对于图像中的重叠遮挡物体不能清晰地识别出边缘信息,也不能有效地融合图像高低层的特征信息.针对以上问题,在采用FCNN来解决图像语义分割问题的基础上,利用...     

基于多尺度综合注意力的左心室图像分割方法研究

针对深度学习训练模型过程中存在感受野小及特征丢失等问题,提出一种基于生成对抗网络的心脏核磁共振图像分割网络MCA GAN,提取心肌内外膜的同时保留更多的浅层信息和深层信息,提高分割精度。将MCA GAN在多个心脏MRI分割竞赛的公开数据集上进行训练,并与FCN和DCGAN两个神经网络进行实验对比。实验结果表明,相较于FCN和DCGAN,MAC GAN的Dice系数内外膜提升了1.44%和3.18%,Jaccard系数提升了2.12%和3.35%,Sensitivity系数提升了1.18%和1.80%,和其他方法相比较均有显著提升。     

含多级通道注意力机制的CGAN遥感图像建筑物分割

目的 遥感图像建筑物分割是图像处理中的一项重要应用,卷积神经网络在遥感图像建筑物分割中展现出优秀性能,但仍存在建筑物漏分、错分,尤其是小建筑物漏分以及建筑物边缘不平滑等问题。针对上述问题,本文提出一种含多级通道注意力机制的条件生成对抗网络（conditional generative adversarial network,CGAN）模型Ra-CGAN,用于分割遥感图像建筑物。方法 首先构建一个具有多级通道注意力机制的生成模型G,通过融合包含注意力机制的深层语义与浅层细节信息,使网络提取丰富的上下文信息,更好地应对建筑物的尺度变化,改善小建筑物漏分问题。其次,构建一个判别网络D,通过矫正真实标签图与生成模型生成的分割图之间的差异来改善分割结果。最后,通过带有条件约束的G和D之间的对抗训练,学习高阶数据分布特征,使建筑物空间连续性更强,提升分割结果的边界准确性及平滑性。结果 在WHU Building Dataset和Satellite Dataset II数据集上进行实验,并与优秀方法对比。在WHU数据集中,分割性能相对于未加入通道注意力机制和对抗训练的模型明显提高,且在复杂建筑物的空间连续性、小建筑物完整性以及建筑物边缘准确和平滑性上表现更好;相比性能第2的模型,交并比（intersection over union,IOU）值提高了1.1%,F₁-score提高了1.1%。在Satellite数据集中,相比其他模型,准确率更高,尤其是在数据样本不充足的条件下,得益于生成对抗训练,分割效果得到了大幅提升;相比性能第2的模型,IOU值提高了1.7%,F₁-score提高了1.6%。结论 本文提出的含多级通道注意力机制的CGAN遥感图像建筑物分割模型,综合了多级通道注意力机制生成模型与条件生成对抗网络的优点,在不同数据集上均获得了更精确的遥感图像建筑物分割结果。     

基于深度迁移学习的心脏MRI图像左心室分割

在研究基于深度学习的左心室分割方法时,需要足够的有标注的图像,才能获得准确的分割结果,而有标注的左心室图像往往难以获得.因此,提出了一种基于迁移学习和多尺度判别的生成对抗网络(TLMDB GAN)的MRI左心室图像分割方法,解决心室图像数据不足的问题.模型包含一个分割网络和一个判别网络.分割网络(TLBSN)使用全卷积...     

基于改进SEGNET模型的图像语义分割

使用原始SEGNET模型对图像进行语义分割时,未对图像中相邻像素点间的关系进行考虑,导致同一目标中像素点类别预测结果不一致.通过在SEGNET结构中加入一条自上而下的通道,使得SEGNET包含的多尺度语义信息更加丰富,从而提升对每个像素点的类别预测精度,在模型中加入生成对抗网络以充分考虑空间中相邻像素点间关系.实验结果...     

基于超像素分割的多尺度特征融合图像语义分割算法

针对当前图像语义分割Deeplab v3+模型浅层特征分辨率低、遗漏分割等问题,引入全卷积神经网络(FCNN),并在此基础上联合超像素分割实现对物体边缘特殊优势、粗糙分割结果的优化,采用空洞卷积设计多尺度特征融合模块,以提升图像空间信息利用率。为提高网络学习能力与网络性能,引入跳跃连接结构和两个损失函数,经过训练测试,证实该算法具有良好的像素精度,可提升分割准确率提高,鲁棒性强,可改善遗漏分割与错误分割。     

基于多尺度特征融合生成对抗网络的水下图像增强

针对水下退化图像细节模糊、对比度低和蓝绿色偏问题,提出了一种基于多尺度特征融合生成对抗网络的水下图像增强算法。算法以生成对抗网络为基本框架,结合传统白平衡算法和多尺度增强网络实现对水下退化图像的增强。通过改进的通道补偿白平衡算法矫正蓝绿色偏,并以卷积神经网络提取偏色校正后图像的特征;提取图像多尺度特征,结合提出的残差密集块将每一层的局部特征增强为捕获语义信息的全局特征,并与偏色校正图像的特征相融合;通过重建模块将融合特征重建为清晰图像,恢复图像的细节信息。实验结果表明,该算法增强的水下图像去雾效果较好且颜色更真实,有效改善了水下图像色偏和模糊的问题,在主观指标和客观指标上的实验结果均优于对比算法。     

基于加权损失函数的多尺度对抗网络图像语义分割算法

针对现有的语义分割算法存在分割结果空间不一致的问题,提出一种基于加权损失函数的多尺度对抗网络语义分割算法。在DeepLab v3基本框架的基础上,引入Pix2pix网络作为生成对抗网络模型,实现多尺度对抗网络语义分割。同时,为增加模型的泛化能力与训练精度,提出将传统的多分类交叉熵损失函数与生成器输出的内容损失函数和鉴别器输出的对抗损失函数相结合,构建加权损失函数。大量定性定量实验结果表明,该算法能够识别并分割细小的物体,其语义分割性能超过现有的深度网络,在保证语义分割空间一致性的同时提高了分割效率。     

注意力与多尺度融合的图像阴影去除算法

针对图像阴影去除算法中复杂地物或与阴影区域纹理相似的暗区域阴影去除不完全的问题,提出了一种注意力与多尺度融合的图像阴影去除算法。该算法基于生成对抗网络框架构建。利用自定义的空洞残差块进行特征提取,获得精确的阴影特征信息并输入到注意力引导的编码网络;在注意力引导的编码阶段进行多尺度的特征融合,获取不同层次的感受野,使编码器能够在不同尺度上捕捉上下文信息;利用多重注意力机制引导判别网络对生成的无阴影图像进行鉴别,进而减少判别网络关键信息损失,提高判别网络的鉴别效果。分别在ISTD(dataset with image shadow triplets)与SRD(dataset for shadow removal)公开数据集上进行验证,实验结果表明：该算法视觉效果表现良好,单幅阴影去除后的图片与数据集中真实无阴影图片进行对比,SSIM(structural similarity)可达到0.978,PSNR(peak signal to noise ratio)可达到32.2 dB,RMSE(root mean squared error)可达到6.2,相比同类算法,具有显著优势,且对复杂地物...     

基于多尺度特征融合双U型皮肤病变分割算法

针对皮肤病分割问题中皮肤病变区域大小不一且形状各异问题,提出一种基于多尺度特征融合的双U型皮肤病分割算法.该算法由粗分U型网络和细分U型网络两部分组成.首先粗分U型网络编码部分采用预训练VGG-19模型对相关特征进行多尺度特征提取;在解码阶段利用改进注意力残差块将底层与高层信息进行有效的映射融合,得到初步的Mask;然后将初步生成的Mask与原图像聚合,并输入多路特征提取编码器中进行二次特征蒸馏;而细分U型网络解码器同时与粗分U型网络编码部分和细分U型网络的编码部分特征映射进行融合,保证网络可以聚合更多的有效特征;最后利用Focal Tversky损失函数进一步提升分割效果.实验表明,所提算法在ISBI2016数据集上实验分割精度为96.11％、敏感度为93.59％、特异性为97.10％、Dice系数为93.14％、Jaccard系数为87.17％,能够有效地分割皮肤病病变区域.     

基于Adaboost与肤色分割融合的驾驶员图像脸部检测

采用改进的基于Adaboost的人脸检测算法检测出可能存在的初始人脸区域,适当扩大初始人脸区域的面积,在此基础上,利用基于RGB颜色空间的肤色分割算法进行人脸区域的二次定位,根据定义的脸部区域重合度和人脸几何特征实现对脸部区域的精确融合检测。实验结果证实了该算法的鲁棒性和实时性。     

肤色相似度和动态阈值相结合的肤色分割技术

为了提高人脸检测的速度与性能,提出一种基于肤色相似度与动态阈值相结合的肤色分割方法。首先在YCgCr颜色空间计算肤色相似度,然后给出一种基于类间方差和类内离散度相结合的动态阈值确定方法,根据求得的动态阈值进行肤色分割,并对肤色分割后的二值图像进行滤除噪声处理。实验结果表明该方法改善了肤色分割性能,能够在复杂背景下实现肤色区域的精确分割,从而提高了人脸检测的速度和性能。     

基于肤色和改进的贝叶斯分类器的人脸检测

提出了一种新的基于肤色的多人脸检测方法.该方法先通过肤色分割得到人脸候选区,然后结合图像的小波表示和主元分析方法通过训练得到可用于区分人脸和非人脸的特征向量,并用改进的贝叶斯分类器对输入图像进行多人脸检测,改进的判决准则中参数ω,可用于控制检测的准确率和虚警概率,通过设定不同ω值可使算法适用于不同要求的应用,另外为保证获得较高准确率的同时降低虚警概率,还提出在经分类器判决后的人脸区域中依据对应的马赛克模板进一步排除虚假人脸.     

较强光照下肤色结合发色检测人脸的方法研究

研究了基于不同颜色空间的人脸检测算法,并在此基础上针对较强光照条件下或肤色与背景色比较接近时检测算法可能会将人脸检测为背景的情况,提出了一种新的基于肤色和发色的人脸检测自适应算法。实验结果表明,即使在较强光照条件下或肤色与背景比较接近时,该算法一样能准确地检测到正面或略有倾斜的人脸。     

基于肤色模型和FloatBoost的多姿态人脸检测

多姿态人脸检测是人脸识别系统必须解决的关键问题之一。利用光照鲁棒的肤色模型来搜索待检图像的可能人脸区域并进行肤色分割,结合分割区域的几何信息确定最终的候选人脸区域,然后对人脸的关键特征进行定位,按规则计算重要特征块的中心,将这些中心点确定的符合条件的候选区域利用FloatBoost进行分类,最终实现了快速准确的多姿态人脸检测。     

基于肤色和AdaBoost算法的彩色人脸图像检测

针对肤色检测对复杂背景下的图像误检率高和AdaBoost算法对多姿态、多人脸图像检测效果不理想的问题,将基于肤色的人脸检测与基于AdaBoost算法的人脸检测结合起来,提出一种新的人脸检测方法,即首先利用肤色和形态学操作分割肤色区域,再根据人脸区域的统计特性筛选出人脸候选区域,然后用AdaBoost级联分类器对候选区域扫描,以精确定位人脸.实验表明,该方法同时具有肤色检测正确率高与AdaBoost算法误检率低的优点,可以有效地运用于多姿态、多人脸和复杂背景的情况,具有较好的检测效果.     

基于肤色与肤色矩实时视频人脸检测与跟踪

提出了一种新颖、鲁棒、实时人脸检测与跟踪算法.该方法采用背景差分法提取运动区域,对运动区域利用肤色归一化RGB和HSV色彩模型的聚类性,得到人脸候选区域.利用人脸几何信息和孔洞信息对人脸候选区域进行验证.基于肤色矩特性,对人脸区域进行跟踪与预测.通过对不同背景条件下的人脸检测与跟踪,实验结果表明,所提算法不仅检测率高,且对光照,人脸姿态的变化具有较强的鲁棒性.基于480×360图像处理速度平均为25帧/秒,可满足系统实时性要求.     

一种新的基于颜色恒常性的肤色分割算法

为了解决不同光照条件下的肤色分割问题,提出了一种新颖并且行之有效的解决方法。该方法先应用颜色恒常性算法对图像光照进行估计,根据光照估计的结果,在YCbCr颜色空间采用不同分布的高斯肤色模型,并利用动态阈值对图像进行分割。试验结果证明了算法的可行性和优越性。     

基于多姿态特征融合生成对抗网络的人脸校正方法

针对人脸校正中单幅图像难以解决大姿态侧脸的问题，提出一种基于多姿态特征融合生成对抗网络（MFFGAN）的人脸校正方法，利用多幅不同姿态侧脸之间的相关信息来进行人脸校正，并采用对抗机制对网络参数进行调整。该方法设计了一种新的网络，包括由多姿态特征提取、多姿态特征融合、正脸合成三个模块组成的生成器，以及用于对抗训练的判别器。多姿态特征提取模块利用多个卷积层提取侧脸图像的多姿态特征；多姿态特征融合模块将多姿态特征融合成包含多姿态侧脸信息的融合特征；而正脸合成模块在进行姿态校正的过程中加入融合特征，通过探索多姿态侧脸图像之间的特征依赖关系来获取相关信息与全局结构，可以有效提高校正结果。实验结果表明，与现有基于深度学习的人脸校正方法相比，所提方法恢复出的正脸图像不仅轮廓清晰，而且从两幅侧脸中恢复出的正脸图像的识别率平均提高了1.9个百分点，并且输入侧脸图像越多，恢复出的正脸图像的识别率越高，表明所提方法可以有效融合多姿态特征来恢复出轮廓清晰的正脸图像。