基于熵增强的无监督域适应遥感图像语义分割

为了实现利用有标注源数据获得在无标注目标数据上可用的遥感图像语义分割模型,提出了一种基于熵增强的域适应端到端语义分割方法.首先,为了充分利用遥感图像多尺度信息并且减少域之间传感器分辨率带来的域偏移,采用空洞空间金字塔池化模块作为分类器;其次,为了使无标注的目标域类别正确对应,使用了两个分类器进行协同训练;将像素点预测值的信息熵当做分类置信度的度量,将其作为对抗损失的权重,从而使训练能专注于难分类的像素,降低域偏移.在ISPRS(WGII/4)2D数据集上进行实验,所提方法相对于直接使用分割模型和使用传统对抗方法,mIoU分别提高了18％和12％.实验结果表明,所提方法在遥感图像域适应语义分割表现上优于直接使用分割模型或使用传统对抗域适应分割方法.     

基于多尺度特征融合模型的遥感图像建筑物分割

针对传统深度网络模型难以精确提取建筑物边缘轮廓特征及对不同尺寸建筑物无法自适应提取的问题,提出一种膨胀卷积特征提取的多尺度特征融合深度神经网络模型(Multiscale-feature fusion Deep Neural Networks with dilated convolution,MDNNet)对遥感图像建筑物自动分割的方法。首先在ResNet101模型中引入膨胀卷积扩大提取视野保留更多特征图像分辨率;其次利用多尺度特征融合模块获取多个尺度的建筑物特征并将不同尺度的特征融合;最终利用特征解码模块将特征图恢复到原始输入图像尺寸,实现遥感图像建筑物精确分割。在WHU遥感图像数据集的实验结果表明,提出模型有效克服道路、树木和阴影等因素影响,分割结果有效保留建筑物边界细节信息,有效提升分割精度,像素准确率PA达到0.864,平均交并比mIoU达到0.815,召回率Recall达到0.862。     

基于神经网络的遥感图像海陆语义分割方法

针对海陆语义分割中陆地、码头形状多样,背景目标复杂等情况造成的像素分类错误、边界分割模糊等问题,提出了一种新的基于深度卷积神经网络的遥感图像海陆语义分割方法。该方法以端对端的训练方式实现了对目标的逐像素分类,为了解决海陆分割中像素分类错误,设计以不同尺度图像为输入的三个并行的编码结构,通过融合不同尺度的特征图,丰富特征代表算子的语义信息,增大像素分类准确率。为了解决海陆分割中边界分割模糊,通过设计能够融合编码结构中低层精细位置信息的解码结构,对特征图进行更加精确的上采样,恢复像素的密集位置信息,提高海陆分割准确度。为有效验证所提网络框架的优势,构建了海陆分割数据集HRSC2016-SL进行算法性能比较。与最新的语义分割算法相比,所提算法取得了更好的分割结果。     

基于分组卷积进行特征融合的全景分割算法

针对图像全景分割任务对于实践应用中现有网络结构运算不够快速的问题,提出一种基于分组卷积进行特征融合的全景分割算法。首先,通过自底向上的方式选择经典残差网络结构（ResNet）进行特征提取,并采用不同扩张率的空洞卷积空间金字塔池化操作（ASPP）对提取到的特征进行语义分割与实例分割的多尺度特征融合;然后,通过提出一种单路分组卷积上采样方法,整合语义与实例特征进行上采样特征融合至指定大小;最后,通过对语义分支、实例分支以及实例中心点这三个分支进行损失函数运算以得到更加精细的全景分割输出结果。该模型在CityScapes数据集上与注意力引导的联合全景分割网络（AUNet）、全景特征金字塔网络（Panoptic FPN）、亲和金字塔单阶段实例分割算法（SSAP）、联合全景分割网络（UPSNet）、Panoptic-DeepLab等方法进行了实验对比。实验结果表明,与对比方法中表现最好的Panoptic-DeepLab模型相比,所提模型在极大减少了解码网络参数量的情况下,全景分割质量（PQ）值为0.565,仅下降了0.003,在建筑物、火车、自行车等物体的分割质量上有0.3~5.5的提升,平均精确率（AP）、目标IoU阈值超过50%的平均精确率（AP₅₀）分别提升了0.002与0.014,平均交并比（mIoU）值提升了0.06。可见该方法能提升图像全景分割速度,在PG、AP、mIoU三个指标上均有较好的精度,可以有效地完成全景分割任务。     

基于Dilated ADU-Net的开放环境下的舌象分割算法

舌象的精准分割是能否获得正确舌象诊断结果的重要前提。针对在自然光照条件下传统分割算法难以精确、稳定地分割舌体图像的难题,构建一种融合空洞卷积双注意力机制与密集连接机制的改进型U-Net舌象分割模型（Dilated Attention&Dense U-Net, Dilated ADU-Net）。首先,基于U-Net网络的对称结构搭建主干网络;然后,下采样模块采用空洞型混合注意力模块,使网络聚焦于舌体特征,上采样模块采用密集连接机制融合多层特征信息;最后,采用开放环境下的舌象数据集对网络进行训练获得舌象分割模型。通过实验验证,和其他先进的分割方法相比,本文构建的舌象分割模型平均交并比（mean Intersection over Union, mIoU）达到96.73%,相似系数（Dice Similarity Coefficient, DSC）达到98.08%,具有更好的分割性能,可以实现复杂环境下舌象的精准分割。     

基于多层信息融合的实时语义分割 及其在电力场景中的应用

语义分割是计算机视觉的一项基础工作。本文提出一种新型的结合点卷积与空洞卷积的上采样结构，并基于该结构设计一个能融合多层信息的实时语义分割模型。该模型在Cityscapes数据集上的mIoU能达到72.1%，对于640×360的输入图像，运行速度能达到125 fps，同时该模型在电力场景数据集下也有很好的效果。此外，本文还将该模型移植到移动端，实现一款基于语义分割的电力场景增强现实应用。     

门控多层融合的实时语义分割

针对语义分割任务中因模型下采样过程中的像素损失而导致的上采样像素难以精确还原的问题,提出一种基于门控多层融合的实时语义分割方法.考虑分割的实时性,采用轻量级模型作为基础网络进行特征信息的提取.为解决像素难以精确还原问题,设计了一种横向连接的门控注意力结构,此结构可以对目标特征进行筛选,并通过横向传递增强上采样特征图信息的多样性,从而提高特征图的还原精度.此外,还提出采用多层融合结构来整合不同网络层的语义信息,利用不同网络层间的语义表达差异对缺失像素进行补充.实验以CamVid和VOC为数据集,以512×512大小的图像为输入,测试结果表明,方法的图像语义分割精度达到72.9%,平均分割速度为43.1帧/s.     

基于高效的多尺度特征提取的轻量级语义分割

近来移动端视觉应用的发展激发了对轻量级语义分割技术的需求.尽管取得了十分辉煌的成就,当前轻量级语义分割模型仍存在精度不足、参数过多的问题.本文的目的在于开发一个具有少量参数的高精度分割模型.为此,本文基于以下观察提出了一种新的轻量级分割模型MiniNet:(1)语义分割依赖于多尺度特征学习;(2)下采样是加速网络推理和扩大卷积感受野的最有效方法;(3)网络深度和卷积通道数之间的良好平衡对于轻量级模型至关重要.具体来说,MiniNet采用空间金字塔卷积(Spatial Pyramid Convolution,SPC)模块和空间金字塔池化(Spatial Pyramid Pooling,SPP)模块作为多尺度特征学习的基本单元.此外,MiniNet将大多数网络层和操作放在较小的尺度上,即原始图像分辨率的1/16,而不是先前模型中常用的1/8尺度.MiniNet还设法平衡网络深度和卷积通道数.在没有ImageNet预训练的情况下,MiniNet在Cityscapes测试数据集上仅以211K参数和94.3fps的速度即可达到66.3%的mIoU.     

基于自监督图像对的弱监督语义分割算法

为了降低语义分割任务的标注成本,提出一种基于自监督图像对的弱监督语义分割算法Co-Net。首先,将一对图像分别输入骨干网络中提取图像对特征;然后,将特征展开加入位置信息送入编码层中进行编码;接着,将编码特征送入协同注意力模块（CoAM）以及双向自注意力模块（BiAM）中进行信息相互表征;最后,将图像区域掩码模型（MRM）以及图像对匹配（IPM）两种自监督任务用于网络训练,学习图像对中的全局关联以及局部关联,以此得到更加精确的初始化种子。仅使用图像级标签进行弱监督语义分割,在Pascal VOC 2012验证和测试集上分别实现了69.8%和70.3%的平均交并比（mIoU）,相较于同样为图像对输入的算法GroupWSSS(Group-Wise Semantic mining for weakly Supervised Semantic Segmentation),验证集、测试集上的mIoU分别提高了1.6、1.8个百分点。实验结果表明,所提算法可以获得更加完整的目标激活区域。     

编码—解码结构的语义分割

目的 语义分割是计算机视觉中一项具有挑战性的任务,其核心是为图像中的每个像素分配相应的语义类别标签。然而,在语义分割任务中,缺乏丰富的多尺度信息和足够的空间信息会严重影响图像分割结果。为进一步提升图像分割效果,从提取丰富的多尺度信息和充分的空间信息出发,本文提出了一种基于编码-解码结构的语义分割模型。方法 运用ResNet-101网络作为模型的骨架提取特征图,在骨架末端附加一个多尺度信息融合模块,用于在网络深层提取区分力强且多尺度信息丰富的特征图。并且,在网络浅层引入空间信息捕获模块来提取丰富的空间信息。由空间信息捕获模块捕获的带有丰富空间信息的特征图和由多尺度信息融合模块提取的区分力强且多尺度信息丰富的特征图将融合为一个新的信息丰富的特征图集合,经过多核卷积块细化之后,最终运用数据依赖的上采样（DUpsampling）操作得到图像分割结果。结果 此模型在2个公开数据集（Cityscapes数据集和PASCAL VOC 2012数据集）上进行了大量实验,验证了所设计的每个模块及整个模型的有效性。新模型与最新的10种方法进行了比较,在Cityscapes数据集中,相比于RefineNet模型、DeepLabv2-CRF模型和LRR（Laplacian reconstruction and refinement）模型,平均交并比（mIoU）值分别提高了0.52%、3.72%和4.42%;在PASCAL VOC 2012数据集中,相比于Piecewise模型、DPN（deep parsing network）模型和GCRF（Gaussion conditional random field network）模型,mIoU值分别提高了6.23%、7.43%和8.33%。结论 本文语义分割模型,提取了更加丰富的多尺度信息和空间信息,使得分割结果更加准确。此模型可应用于医学图像分析、自动驾驶、无人机等领域。     

基于可分离金字塔的轻量级实时语义分割算法

针对现有语义分割算法参数量过多、内存占用巨大导致其很难满足自动驾驶需要等现实应用的问题,提出一种基于可分离金字塔模块（SPM）的新颖、有效且轻量的实时语义分割算法。首先,利用特征金字塔形式的分解卷积和扩张卷积来构建瓶颈结构,从而以一种简单但有效的方式提取局部和上下文信息;然后,提出基于计算机视觉注意力的上下文通道注意力（CCA）模块,来利用深层语义修改浅层特征图通道权重优化分割效果。实验结果显示：所提出的算法在Cityscapes测试集上以每秒91帧的速度达到了71.86%的平均交并比（mIoU）。相较高效残差分解卷积网络（ERFNet）,所提算法mIoU提高了3.86个百分点,处理速度是其2.2倍;与最新的非局部高效实时算法（LRNNet）相比,所提算法mIoU略低0.34个百分点,但处理速度每秒上升了20帧。实验结果表明,所提算法有助于完成如自动驾驶中要求的高效、准确的街道场景图像分割任务。     

基于卷积神经网络的语义分割算法研究

针对语义分割中残差网络并不能完好地提取图像信息和分割效果差的问题,提出一种联合特征金字塔模型(JFP)用来融合残差网络的输出特征,并结合暗黑空间金字塔池化模型(ASPP)进一步提取特征。在解码部分应用简单的解码结构,恢复图像尺寸完成语义分割;同时引入注意力模型作为辅助语义分割网络,辅助神经网络进行训练。该方法分别在Pascal VOC 2012数据集和增强的Pascal VOC 2012数据集上对网络进行训练,并在Pascal VOC 2012的验证集上进行测试,其平均交并集之比(mIoU)分别达到了78.55%和80.14%,表明该方法具有良好的语义分割性能。     

自上而下注意图分割的细粒度图像分类

目的 针对细粒度图像分类中的背景干扰问题,提出一种利用自上而下注意图分割的分类模型。方法 首先,利用卷积神经网络对细粒度图像库进行初分类,得到基本网络模型。再对网络模型进行可视化分析,发现仅有部分图像区域对目标类别有贡献,利用学习好的基本网络计算图像像素对相关类别的空间支持度,生成自上而下注意图,检测图像中的关键区域。再用注意图初始化GraphCut算法,分割出关键的目标区域,从而提高图像的判别性。最后,对分割图像提取CNN特征实现细粒度分类。结果 该模型仅使用图像的类别标注信息,在公开的细粒度图像库Cars196和Aircrafts100上进行实验验证,最后得到的平均分类正确率分别为86.74%和84.70%。这一结果表明,在GoogLeNet模型基础上引入注意信息能够进一步提高细粒度图像分类的正确率。结论 基于自上而下注意图的语义分割策略,提高了细粒度图像的分类性能。由于不需要目标窗口和部位的标注信息,所以该模型具有通用性和鲁棒性,适用于显著性目标检测、前景分割和细粒度图像分类应用。     

基于轻量级卷积神经网络的人脸检测算法

针对人脸检测在移动端应用时面临的移动设备计算能力及存储资源受限等问题,设计一种基于轻量级卷积神经网络的改进人脸检测算法Lightweight-SSH。基于单点无头人脸检测器（SSH）人脸检测算法,采用基于MobileNet的轻量级卷积神经网络对样本数据进行特征提取,减少模型的参数量和计算量,通过在SSH网络的检测模块中引入可变形卷积层,提升卷积神经网络对人脸形变的建模能力。在Wider Face数据集上的实验结果表明,与常用人脸检测算法相比,Lightweight-SSH算法在保证检测精度的前提下,明显降低模型复杂度,并提高了模型检测速度。     

基于RetinaNet改进的车辆信息检测

移动端计算力不足和存储有限导致车辆信息检测模型精度不高、速度较慢。针对这一问题,提出一种基于RetinaNet改进的车辆信息检测算法。首先,开发新的车辆信息检测框架,将特征金字塔网络（FPN）模块的深层特征信息融合进浅层特征层,以MobileNet V3为基础特征提取网络;其次,引入目标检测任务的直接评价指标GIoU指导定位任务;最后,使用维度聚类算法找出Anchor的较好尺寸并匹配到相对应的特征层。与原始RetinaNet目标检测算法的对比实验表明,所提算法在车辆信息检测数据集上的精度有10.2个百分点的提升。以MobileNet V3为基础网络时平均准确率均值（mAP）可达97.2%且在ARM v7设备上单帧前向推断用时可达100 ms。实验结果表明,所提方法能够有效提高移动端车辆信息检测算法性能。     

基于改进Faster-RCNN的绝缘子检测算法

为了提高高压输电线路巡检效率,提出改进Faster-RCNN的绝缘子检测算法.首先,在特征提取网络中添加具有注意力机制动态选择机制网络(SKNet),从而使网络着重学习与绝缘子特征相关通道;其次,借助滤波器响应归一化(FRN)层替代原批归一化(BN)层,以避免模型陷入梯度饱和区域;最后,使用距离交并比(DIoU)代替原...     

基于条件生成对抗网络的乳腺上皮和间质区域自动分割

乳腺病理组织图像中上皮和间质区域的自动分割对乳腺癌的诊断和治疗具有非常重要的临床意义。但是由于乳腺组织病理图像中上皮和间质区域具有高度复杂性,因此一般的分割模型很难只根据提供的分割标记来有效地训练,并对两种区域进行快速、准确的分割。为此,提出一种基于条件对抗网络（cGAN）的上皮和间质分割条件对抗网络（EPScGAN）模型。在EPScGAN中,判别器的判别机制为生成器的训练提供了一个可训练的损失函数,来更加准确地衡量出生成器网络的分割结果输出和真实标记之间的误差,从而更好地指导生成器的训练。从荷兰癌症研究所（NKI）和温哥华综合医院（VGH）两个机构提供的专家标记的乳腺病理图像数据集中随机裁剪出1 286张尺寸为512×512的图像作为实验数据集,然后将该数据集按照7：3的比例划分为训练集和测试集对EPScGAN模型进行训练和测试。结果表明,EPScGAN模型在测试集的平均交并比（mIoU）为78.12%,和其他6种流行的深度学习分割模型相比较,提出的EPScGAN具有更好的分割性能。     

浅层CNN网络构建的噪声比例估计模型

目的 利用深度卷积神经网络（deep convolutional neural network,DCNN）构建的非开关型随机脉冲噪声（random-valued impulse noise,RVIN）降噪模型在降噪效果和执行效率上均比主流的开关型RVIN降噪算法更有优势,但在实际应用中,这类基于训练（数据驱动）的降噪模型,其性能却受制于能否对待降噪图像受噪声干扰的严重程度进行准确的测定（即存在数据依赖问题）。为此,提出了一种基于浅层卷积神经网络的快速RVIN噪声比例预测（noise ratio estimation,NRE）模型。方法 该预测模型的主要任务是检测待降噪图像中的噪声比例值并将其作为反映图像受噪声干扰严重程度的指标,依据NRE预测模型的检测结果可以自适应调用相应预先训练好的特定区间DCNN降噪模型,从而快速且高质量地完成图像降噪任务。结果 分别在10幅常用图像和50幅纹理图像两个测试集上进行测试,并与现有的主流RVIN降噪算法中的检测模块进行对比。在常用图像测试集上,本文所提出的NRE预测模型的预测准确性最高。相比于噪声比例预测精度排名第2的算法, NRE预测模型在噪声比例预测值均方根误差上低0.6% 2.4%。在50幅纹理图像测试集上,NRE模型的均方根误差波动范围最小,表明其稳定性最好。通过在1幅大小为512×512像素图像上的总体平均执行时间来比较各个算法执行效率的优劣,NRE模型执行时间仅为0.02 s。实验数据表明：所提出的NRE预测模型在受各种不同噪声比例干扰的自然图像上均可以快速而稳定地测定图像中受RVIN噪声干扰的严重程度,非盲的DCNN降噪模型与其联用后即可无缝地转化为盲降噪算法。结论 本文RVIN噪声比例预测模型在各个噪声比例下具有鲁棒的预测准确性,与基于DCNN的非开关型RVIN深度降噪模型配合使用后能妥善解决DCNN网络模型固有的数据依赖问题。     

基于改进SEGNET模型的图像语义分割

使用原始SEGNET模型对图像进行语义分割时,未对图像中相邻像素点间的关系进行考虑,导致同一目标中像素点类别预测结果不一致。通过在SEGNET结构中加入一条自上而下的通道,使得SEGNET包含的多尺度语义信息更加丰富,从而提升对每个像素点的类别预测精度,在模型中加入生成对抗网络以充分考虑空间中相邻像素点间关系。实验结果表明,该模型的语义分割效果相比原始SEGNET模型显著提升,且可有效解决SEGNET测试中出现的分类错误问题。