双层水平集描述眼底图像视杯视盘分割

目的 青光眼是一种可导致视力严重减弱甚至失明的高发眼部疾病。在眼底图像中,视杯和视盘的检测是青光眼临床诊断的重要步骤之一。然而,眼底图像普遍是灰度不均匀的,眼底结构复杂,不同结构之间的灰度重叠较多,受到血管和病变的干扰较为严重。这些都给视盘与视杯的分割带来很大挑战。因此,为了更准确地提取眼底图像中的视杯和视盘区域,提出一种基于双层水平集描述的眼底图像视杯视盘分割方法。方法 通过水平集函数的不同层级分别表示视杯轮廓和视盘轮廓,依据视杯与视盘间的位置关系建立距离约束,应用图像的局部信息驱动活动轮廓演化,克服图像的灰度不均匀性。根据视杯与视盘的几何形状特征,引入视杯与视盘形状的先验信息约束活动轮廓的演化,从而实现视杯与视盘的准确分割。结果 本文使用印度Aravind眼科医院提供的具有视杯和视盘真实轮廓注释的CDRISHTI-GS1数据集对本文方法进行实验验证。该数据集主要用来验证视杯及视盘分割方法的鲁棒性和有效性。本文方法在数据集上对视杯和视盘区域进行分割,取得了67.52%的视杯平均重叠率,81.04%的视盘平均重叠率,0.719的视杯F1分数和0.845的视盘F1分数,结果优于基于COSFIRE（combination of shifted filter responses）滤波模型的视杯视盘分割方法、基于先验形状约束的多相Chan-Vese（C-V）模型和基于聚类融合的水平集方法。结论 实验结果表明,本文方法能够有效克服眼底图像灰度不均匀、血管及病变区域的干扰等影响,更为准确地提取视杯与视盘区域。     

基于结构感知双编码器的代码注释自动生成

在软件开发过程中,性能良好的代码注释工具能够提高开发效率并降低维护成本。部分研究者将代码注释自动生成看作将源代码翻译成自然语言注释的翻译任务,但仅考虑源代码的序列信息而忽略了代码内部的结构特性。为此,在常见端到端翻译模型的基础上,利用代码抽象语法树将源代码的结构信息嵌入到编码器解码器翻译模型中,提出一种基于结构感知的双编码器解码器模型,该模型综合考虑源代码的序列信息与代码内部的结构特性。在真实数据集上的实验结果表明,相比PBMT、Seq2seq模型,该模型的BLEU得分较高,且生成的注释更准确和易读。     

基于PCLSM的M-S模型的视乳头杯盘分割

基于分段常数水平集方法的M—S模型能解决二值M—S模型及其相应的C—V模型不适合包含多个目标（或多相）的图像分割的问题。采用该方法研究青光眼视乳头图像杯盘分割难题,并在此基础上进行杯盘重建。实验表明,该方法能够正确分割不同青光眼病人的视乳头图像。与多层分割方法相比,该方法能同时获得视杯和视盘的形态。     

联合嵌入式多标签分类算法

现有的一些多标签分类算法,因多标签数据含有高维的特征或标签信息而变得不可行.为了解决这一问题,提出基于去噪自编码器和矩阵分解的联合嵌入多标签分类算法Deep AE-MF.该算法包括两部分:特征嵌入部分使用去噪自编码器对特征空间学习得到非线性表示,标签嵌入部分则是利用矩阵分解直接学习到标签空间对应的潜在表示与解码矩阵.Deep AE-MF将特征嵌入和标签嵌入的两个阶段进行联合,共同学习一个潜在空间用于模型预测,进而得到一个有效的多标签分类模型.为了进一步提升模型性能,在Deep AE-MF方法中对标签间的负相关信息加以利用.通过在不同数据集上进行实验证明了提出Deep AE-MF方法的有效性和鲁棒性.     

面向医学图像分割的半监督条件生成对抗网络

医学图像分割是计算机辅助诊断的关键技术.青光眼作为全球第二大致盲眼病,其早期筛查和临床诊断依赖于眼底图的视盘和视杯的准确分割.但传统的视盘和视杯分割方法采用人工构建特征,模型泛化能力差.近年来,基于卷积神经网络的端对端学习模型可通过自动发现特征来分割视盘和视杯,但由于标注样本有限,模型难以训练.提出一个基于半监督条件生成对抗网络的视盘和视杯两阶段分割模型——CDR-GANs.该模型的每个分割阶段均由语义分割网络、生成器和判别器构成,通过对抗学习,判别器引导语义分割网络和生成器学习眼底图及其分割图的联合概率分布.在真实数据集ORIGA上的实验结果表明,CDR-GANs在均交并比（mean intersection over union,简称MIoU）、CDR绝对误差（absolute CDR error）和实际分割效果这些指标上明显优于现有模型.     

改进U-Net的多级边缘增强医学图像分割网络

医学图像分割精度对医师临床诊疗起到关键作用,但由于医学图像的复杂性以及目标区域的多样性,造成现有医学图像分割方法存在边缘区域分割不完整和上下文特征信息利用不充分的问题。为此,提出一种改进U-Net的多级边缘增强(MEE)医学图像分割网络(MDU-Net)模型。首先,在编码器结构中加入提取双层低级特征信息的MEE模块,通过不同扩张率的扩张卷积块获取特征层中丰富的边缘信息。其次,在跳跃连接中嵌入融合相邻层特征信息的细节特征关联(DFA)模块,以获取深层次和多尺度的上下文特征信息。最后,在解码器结构对应特征层中聚合不同模块所提取的特征信息,通过上采样操作得到最终的分割结果。在2个公开数据集上的实验结果表明,与用于医学图像分割的Transformers强编码器(TransUNet)等模型相比,MDU-Net模型能够高效使用医学图像中不同特征层的特征信息,并在边缘区域取得了更好的分割效果。     

面向甲状腺结节超声图像分割的多尺度特征融合“h”形网络

目的 准确定位超声甲状腺结节对甲状腺癌早期诊断具有重要意义,但患者结节大小、形状以及位置的不确定性极大影响了结节分割的准确率和模型的泛化能力。为了提高超声甲状腺结节分割的精度,增强泛化性能并降低模型的参数量,辅助医生诊断疾病,减少误诊,提出一种面向甲状腺结节超声图像分割的多尺度特征融合“h”形网络。方法 首先提出一种网络框架,形状与字母h相似,由一个编码器和两个解码器组成,引入深度可分离卷积缩小网络尺寸。编码器用于提取图像特征,且构建增强下采样模块来减少下采样时造成的信息损失,增强解码器特征提取的能力。第1个解码器负责获取图像的初步分割信息;第2个解码器通过融合第1个解码器预先学习到的信息来增强结节的特征表达,提升分割精度,并设计了融合卷积池化金字塔实现多尺度特征融合,增强模型的泛化能力。结果 该网络在内部数据集上的Dice相似系数（Dice similarity coefficients, DSC）、豪斯多夫距离（Hausdorff distance,HD）、灵敏度（sensitivity,SEN）和特异度（specificity,SPE）分别为0.872 1、0.935 6、0.879 7和0.997 3,在公开数据集DDTI（digital database thyroid image）上,DSC和SPE分别为0.758 0和0.977 3,在数据集TN3K（thyroid nodule 3 thousand）上的重要指标DSC和HD分别为0.781 5和4.472 6,皆优于其他模型。结论 该网络模型以较低的参数量提升了甲状腺超声图像结节的分割效果,增强了泛化性能。     

融合残差上下文编码和路径增强的视杯视盘分割

目的 从眼底图像中分割视盘和视杯对于眼部疾病智能诊断来说是一项重要工作,U-Net及变体模型已经广泛应用在视杯盘分割任务中。由于连续的卷积与池化操作容易引起空间信息损失,导致视盘和视杯分割精度差且效率低。提出了融合残差上下文编码和路径增强的深度学习网络RCPA-Net,提升了分割结果的准确性与连续性。方法 采用限制对比度自适应直方图均衡方法处理输入图像,增强对比度并丰富图像信息。特征编码模块以ResNet34(residual neural network)为骨干网络,通过引入残差递归与注意力机制使模型更关注感兴趣区域,采用残差空洞卷积模块捕获更深层次的语义特征信息,使用路径增强模块在浅层特征中获得精确的定位信息来增强整个特征层次。本文还提出了一种新的多标签损失函数用于提高视盘视杯与背景区域的像素比例并生成最终的分割图。结果 在4个数据集上与多种分割方法进行比较,在ORIGA(online retinal fundus image database for glaucoma analysis)数据集中,本文方法对视盘分割的JC(Jaccard)指数为0.939 1,F-measure为...     

基于C-V模型的眼底图像交互式杯盘分割

针对眼底图像视杯和视盘水平集分割中C-V模型自适应能力不强等问题,提出一种基于C-V模型的视盘和视杯交互式水平集分割算法。该方法通过交互方式给定不同的视盘初始轮廓和C-V模型参数,对眼底图像的杯盘进行精确地分割。实验结果表明,该方法可克服噪声污染、光照不均匀、对比度低等特点对眼底图像分割的影响,对彩色眼底图像中的视杯和视盘进行精确分割。     

灰度不均的弱边缘血管影像的水平集分割方法

针对血管影像中灰度不均和弱边缘情况下已有水平集模型不能正确分割血管问题,提出一种耦合了血管影像的几何信息、边缘信息和区域信息的水平集分割方法.首先,采用Hessian矩阵的各向异性性对血管状目标进行识别,对原始影像数据进行多尺度滤波;然后采用拉普拉斯算子零交叉点的快速边缘积分方法将边缘信息嵌入能量泛函中,构建一种基于结构、边缘和区域信息的水平集分割方法.相比于单一依靠影像边缘信息或区域信息模型及其改进模型,该方法在分割严重灰度不均匀的血管造影影像上能够准确提取血管,并精确定位血管边缘.     

融合上下文和注意力的视盘视杯分割

目的 青光眼会对人的视力造成不可逆的损伤,从眼底图像中精确地分割视盘和视杯是青光眼诊治中的一项重要工作,为有效提升视盘和视杯的分割精度,本文提出了融合上下文和注意力的视盘视杯分割方法（context attention U-Net,CA-Net）。方法 进行极坐标转换,在极坐标系下进行分割可以平衡数据分布。使用修改的预训练ResNet作为特征提取网络,增强特征提取能力。采用上下文聚合模块（context aggregation module,CAM）多层次聚合图像上下文信息,使用注意力指导模块（attention guidance module,AGM）对融合后的特征图进行特征重标定,增强有用特征;使用深度监督思想同时对浅层网络权重进行训练,同时在视杯分割网络中引入了先验知识,约束对视杯的分割。结果 在3个数据集上与其他方法进行对比实验,在Drishti-GS1数据集中,分割视盘的Dice （dice coefficient）和IOU （intersection-over-union）分别为0.981 4和0.963 5,分割视杯的Dice和IOU分别为0.926 6和0.863 3;在RIM-ONE （retinal image database for optic nerve evaluation）-v3数据集中,分割视盘的Dice和IOU分别为0.976 8和0.954 6,分割视杯的Dice和IOU分别为0.864 2和0.760 9;在Refuge数据集中,分割视盘的Dice和IOU分别为0.975 8和0.952 7,分割视杯的Dice和IOU分别为0.887 1和0.797 2,均优于对比算法。同时,消融实验验证了各模块的有效性,跨数据集实验进一步表明了CA-Net的泛化性,可视化图像也表明CA-Net能够分割出更接近标注的分割结果。结论 在Drishti-GS1、RIM-ONE-v3和Refuge三个数据集的测试结果表明,CA-Net均能取得最优的视盘和视杯分割结果,跨数据集测试结果也更加表明了CA-Net具有良好的泛化性能。     

带尺寸约束的弱监督眼底图像视盘分割

目的 医学图像的像素级标注工作需要耗费大量的人力。针对这一问题，本文以医学图像中典型的眼底图像视盘分割为例，提出了一种带尺寸约束的弱监督眼底图像视盘分割算法。方法 对传统卷积神经网络框架进行改进，根据视盘的结构特点设计新的卷积融合层，能够更好地提升分割性能。为了进一步提高视盘分割精度，本文对卷积神经网络的输出进行了尺寸约束，同时用一种新的损失函数对尺寸约束进行优化，所提的损失公式可以用标准随机梯度下降方法来优化。结果 在RIM-ONE视盘数据集上展开实验，并与经典的全监督视盘分割方法进行比较。实验结果表明，本文算法在只使用图像级标签的情况下，平均准确识别率（mAcc）、平均精度（mPre）和平均交并比（mIoU）分别能达到0.852、0.831、0.827。结论 本文算法不需要专家进行像素级标注就能够实现视盘的准确分割，只使用图像级标注就能够得到像素级标注的分割精度。缓解了医学图像中像素级标注难度大的问题。     

视觉显著性的眼底图像视盘检测

目的 青光眼是导致失明的主要疾病之一,视盘区域的形状、大小等参数是青光眼临床诊断的重要指标。然而眼底图像通常亮度低、对比度弱,且眼底结构复杂,各组织以及病灶干扰严重。为解决上述问题,实现视盘的精确检测,提出一种视觉显著性的眼底图像视盘检测方法。方法 首先,依据视盘区域显著的特点,采用一种基于视觉显著性的方法对视盘区域进行定位;其次,采用全卷积神经网络（fully convolutional neural network,FCN）预训练模型提取深度特征,同时计算视盘区域的平均灰度,进而提取颜色特征;最后,将深度特征、视盘区域的颜色特征和背景先验信息融合到单层元胞自动机（single-layer cellular automata,SCA）中迭代演化,实现眼底图像视盘区域的精确检测。结果 在视网膜图像公开数据集DRISHTI-GS、MESSIDOR和DRIONS-DB上对本文算法进行实验验证,平均相似度系数分别为0.965 8、0.961 6和0.971 1;杰卡德系数分别为0.934 1、0.922 4和0.937 6;召回率系数分别为0.964 8、0.958 9和0.967 4;准确度系数分别为0.996 6、0.995 3和0.996 8,在3个数据集上均可精确地检测视盘区域。实验结果表明,本文算法精确度高,鲁棒性强,运算速度快。结论 本文算法能够有效克服眼底图像亮度低、对比度弱及血管、病灶等组织干扰的影响,在多个视网膜图像公开数据集上进行验证均取得了较好的检测结果,具有较强的泛化性,可以实现视盘区域的精确检测。     

融合残差注意力机制的UNet视盘分割

目的 青光眼和病理性近视等会对人的视力造成不可逆的损害,早期的眼科疾病诊断能够大大降低发病率。由于眼底图像的复杂性,视盘分割很容易受到血管和病变等区域的影响,导致传统方法不能精确地分割出视盘。针对这一问题,提出了一种基于深度学习的视盘分割方法RA-UNet（residual attention UNet）,提高了视盘分割精度,实现了自动、端到端的分割。方法 在原始UNet基础上进行了改进。使用融合注意力机制的ResNet34作为下采样层来增强图像特征提取能力,加载预训练权重,有助于解决训练样本少导致的过拟合问题。注意力机制可以引入全局上下文信息,增强有用特征并抑制无用特征响应。修改UNet的上采样层,降低模型参数量,帮助模型训练。对网络输出的分割图进行后处理,消除错误样本。同时,使用DiceLoss损失函数替代普通的交叉熵损失函数来优化网络参数。结果 在4个数据集上分别与其他方法进行比较,在RIM-ONE（retinal image database for optic nerve evaluation）-R1数据集中,F分数和重叠率分别为0.957 4和0.918 2,比UNet分别提高了2.89%和5.17%;在RIM-ONE-R3数据集中,F分数和重叠率分别为0.969和0.939 8,比UNet分别提高了1.5%和2.78%;在Drishti-GS1数据集中,F分数和重叠率分别为0.966 2和0.934 5,比UNet分别提高了1.65%和3.04%;在iChallenge-PM病理性近视挑战赛数据集中,F分数和重叠率分别为0.942 4和0.891 1,分别比UNet提高了3.59%和6.22%。同时还在RIM-ONE-R1和Drishti-GS1中进行了消融实验,验证了改进算法中各个模块均有助于提升视盘分割效果。结论 提出的RA-UNet,提升了视盘分割精度,对有病变区域的图像也有良好的视盘分割性能,同时具有良好的泛化性能。     

自上而下注意图分割的细粒度图像分类

目的 针对细粒度图像分类中的背景干扰问题,提出一种利用自上而下注意图分割的分类模型。方法 首先,利用卷积神经网络对细粒度图像库进行初分类,得到基本网络模型。再对网络模型进行可视化分析,发现仅有部分图像区域对目标类别有贡献,利用学习好的基本网络计算图像像素对相关类别的空间支持度,生成自上而下注意图,检测图像中的关键区域。再用注意图初始化GraphCut算法,分割出关键的目标区域,从而提高图像的判别性。最后,对分割图像提取CNN特征实现细粒度分类。结果 该模型仅使用图像的类别标注信息,在公开的细粒度图像库Cars196和Aircrafts100上进行实验验证,最后得到的平均分类正确率分别为86.74%和84.70%。这一结果表明,在GoogLeNet模型基础上引入注意信息能够进一步提高细粒度图像分类的正确率。结论 基于自上而下注意图的语义分割策略,提高了细粒度图像的分类性能。由于不需要目标窗口和部位的标注信息,所以该模型具有通用性和鲁棒性,适用于显著性目标检测、前景分割和细粒度图像分类应用。     

Scribble-Supervised Video Object Segmentation

Recently, video object segmentation has received great attention in the computer vision community. Most of the existing methods heavily rely on the pixel-wise human annotations, which are expensive and time-consuming to obtain. To tackle this problem, we make an early attempt to achieve video object segmentation with scribble-level supervision, which can alleviate large amounts of human labor for collecting the manual annotation. However, using conventional network architectures and learning objective functions under this scenario cannot work well as the supervision information is highly sparse and incomplete. To address this issue, this paper introduces two novel elements to learn the video object segmentation model. The first one is the scribble attention module, which captures more accurate context information and learns an effective attention map to enhance the contrast between foreground and background. The other one is the scribble-supervised loss, which can optimize the unlabeled pixels and dynamically correct inaccurate segmented areas during the training stage. To evaluate the proposed method, we implement experiments on two video object segmentation benchmark datasets, YouTube-video object segmentation (VOS), and densely annotated video segmentation (DAVIS)-2017. We first generate the scribble annotations from the original per-pixel annotations. Then, we train our model and compare its test performance with the baseline models and other existing works. Extensive experiments demonstrate that the proposed method can work effectively and approach to the methods requiring the dense per-pixel annotations.      

Enhancement of digital reading performance by using a novel web-based collaborative reading annotation system with two quality annotation filtering mechanisms

Collaboratively annotating digital texts allows learners to add valued information, share ideas, and create knowledge. However, excessive annotations and poor-quality annotations in a digital text may cause information overload and divert attention from the main content. The increased cognitive load ultimately reduces the effectiveness of collaborative annotations in promoting reading comprehension. Thus, this work develops a web-based collaborative reading annotation system (WCRAS-TQAFM) with two quality annotation filtering mechanisms—high-grade and master annotation filters—to promote the reading performance of learners. Ninety-seven students from three classes of a senior high school in Taiwan were invited to participate in an 80-min reading activity in which individual readers use WCRAS with or without annotation filters. Analytical results indicate that digital reading performance is significantly better in readers who use the high-grade annotation filter compared to those who read all annotations. Moreover, the high-grade annotation filter can enhance the reading comprehension of learners in all considered question types (i.e., recall, main idea, inference, and application). Also, the Cohen’s kappa statistics was used for assessing whether the annotation selected by the high-grade annotation filter is in agreement with the annotations selected by a domain expert. The statistic results indicate that the proposed high-grade annotation filter is valid to some degree. Finally, neither of the proposed quality annotation filtering approaches significantly reduces cognitive load.     

基于判别模型与生成模型的层叠图像自动标注

图像自动标注是模式识别与计算机视觉等领域中重要而又具有挑战性的问题.针对现有模型存在数据利用率低与易受正负样本不平衡影响等问题,提出了基于判别模型与生成模型的新型层叠图像自动标注模型.该模型第一层利用判别模型对未标注图像进行主题标注,获得相应的相关图像集;第二层利用提出的面向关键词的方法建立图像与关键词之间的联系,并使用提出的迭代算法分别对语义关键词与相关图像进行扩展;最后利用生成模型与扩展的相关图像集对未标注图像进行详细标注.该模型综合了判别模型与生成模型的优点,通过利用较少的相关训练图像来获得更好的标注结果.在Corel 5K图像库上进行的实验验证了该模型的有效性.