基于不同超声成像的甲状腺结节良恶性判别

为实现更为准确的甲状腺结节良恶性超声图像诊断,避免不必要的穿刺或活检手术,提出了一种基于卷积神经网络（CNN）的常规超声成像和超声弹性成像的特征结合方法,提高了甲状腺结节良恶性分类准确率。首先,卷积网络模型在大规模自然图像数据集上完成预训练,并通过迁移学习的方式将特征参数迁移到超声图像域用以生成深度特征并处理小样本。然后,结合常规超声成像和超声弹性成像的深度特征图形成混合特征空间。最后,在混合特征空间上完成分类任务,实现了一个端到端的卷积网络模型。在1156幅图像上进行实验,所提方法的准确率为0.924,高于其他单一数据源的方法。实验结果表明,浅层卷积共享图像的边缘纹理特征,高层卷积的抽象特征与具体的分类任务相关,使用迁移学习的方法可以解决数据样本不足的问题;同时,弹性超声影像可以对甲状腺结节的病灶硬度进行客观的量化,结合常规超声的纹理轮廓特征,二者融合的混合特征可以更全面地描述不同病灶之间的差异。所提方法可以高效准确地对甲状腺结节进行良恶性分类,减轻患者痛苦,给医生提供更为准确的辅助诊断信息。     

结合注意力机制的乳腺双模态超声分类网络

目的 影像学医师通常通过观察乳腺B型超声（brightness-mode ultrasound）肿瘤区域进行良恶性分析,针对难以辨别的病例则融合其对应的超声造影（contrast-enhanced ultrasound,CEUS）特征进一步判别。由于超声图像灰度值范围变化小、良恶性表现重叠,特征提取模型如果不能关注到病灶区域将导致分类错误。为增强网络模型对重点区域的分析,本文提出一种基于病灶区域引导的注意力机制,同时融合双模态数据,实现乳腺超声良恶性的精准判别。方法 通过对比实验,选取一个适合超声图像特征提取的主干分类模型ResNet34;为学习到更有分类意义的特征,以分割结节的掩膜图（region of interest,ROI-mask）作为引导注意力来修正浅层空间特征;将具有分类意义的超声造影各项评价特征向量化,与网络提取的深层特征进行融合分类。结果 首先构建一个从医院收集的真实病例的乳腺超声数据集BM-Breast （breast ultrasound images dataset）,与常见分类框架ResNet、Inception等进行对比实验,并与相关最新乳腺分类研究成果对比,结果显示本文设计的算法在各项指标上都有较大优势。本文提出的融合算法的分类准确性为87.45%,AUC （area under curve）为0.905。为了评估对注意力引导机制算法设计的结果,在本文实验数据集和公开数据集上分别进行实验,精度相比对比算法提升了3%,表明本文算法具有较好的泛化能力。实验结果表明,融合两种模态超声数据的特征可以提升最终分类精度。结论 本文提出的注意力引导模型能够针对乳腺超声成像特点学习到可鉴别的分类特征,双模态数据特征融合诊断方法进一步提升了模型的分类能力。高特异性指标表现出模型对噪声样本的鲁棒性,能够较为准确地辨别出难以判别的病例,本文算法具有较高的临床指导价值。     

肺结节球表面网格向量化特征分类

目的 基于球谐函数与容斥映射算法向量化球面表面纹理与结节形状用以进行胸部CT图像肺结节良恶性判定。区别于基于深度学习解决肺结节良恶性筛查的方法,目前方法多集中于框架改进而忽略了数据预处理,文中所提方法旨在对球面纹理与结节形状进行向量表达,使其可以输入深度森林进行特征分类训练。方法 首先采用辽宁中医药大学附属医院数据,通过3维重构获得3维肺结节图像。其次使用球谐函数与容斥映射算法在保留空间信息的同时将纹理以网格方式映射到标准球面上。再次使用网格-LBP与映射形变能量分别完成对球面纹理与结节形状信息的构建。最后提出一种基于网格的多粒度扫描方法对深度森林训练框架进行改进,并将向量化后的纹理和形状特征加入到改进的深度森林训练框架中进行实验验证。结果 通过大量的实验结果验证,在准确率（ACC）、特异度（SPE）、敏感度（SEN）和受试者工作特征曲线下的面积（AUC）4个衡量指标下,本文方法具有优于现存先进方法的表现,其中ACC、SPE、SEN和AUC分别达到76.06%、69.46%、88.46%和0.84。结论 基于球谐函数与容斥映射算法可成功地对肺结节表面和形状两个特征进行向量化并训练,不仅考虑了数据预处理,而且通过两个特征对肺结节良恶性检测的准确率要高于传统1个特征检测的结果,同时也为3维模型中特征的提取及向量化提供了一个有效的方法。     

面向甲状腺结节超声图像分割的多尺度特征融合“h”形网络

目的 准确定位超声甲状腺结节对甲状腺癌早期诊断具有重要意义,但患者结节大小、形状以及位置的不确定性极大影响了结节分割的准确率和模型的泛化能力。为了提高超声甲状腺结节分割的精度,增强泛化性能并降低模型的参数量,辅助医生诊断疾病,减少误诊,提出一种面向甲状腺结节超声图像分割的多尺度特征融合“h”形网络。方法 首先提出一种网络框架,形状与字母h相似,由一个编码器和两个解码器组成,引入深度可分离卷积缩小网络尺寸。编码器用于提取图像特征,且构建增强下采样模块来减少下采样时造成的信息损失,增强解码器特征提取的能力。第1个解码器负责获取图像的初步分割信息;第2个解码器通过融合第1个解码器预先学习到的信息来增强结节的特征表达,提升分割精度,并设计了融合卷积池化金字塔实现多尺度特征融合,增强模型的泛化能力。结果 该网络在内部数据集上的Dice相似系数（Dice similarity coefficients, DSC）、豪斯多夫距离（Hausdorff distance,HD）、灵敏度（sensitivity,SEN）和特异度（specificity,SPE）分别为0.872 1、0.935 6、0.879 7和0.997 3,在公开数据集DDTI（digital database thyroid image）上,DSC和SPE分别为0.758 0和0.977 3,在数据集TN3K（thyroid nodule 3 thousand）上的重要指标DSC和HD分别为0.781 5和4.472 6,皆优于其他模型。结论 该网络模型以较低的参数量提升了甲状腺超声图像结节的分割效果,增强了泛化性能。     

乳腺超声图像中易混淆困难样本的分类方法

目的 超声诊断常作为乳腺肿瘤首选的影像学检查和术前评估方法,但存在良恶性结节的图像表现重叠、诊断严重依赖医生经验,以及需要较多人机交互等问题。为减少误诊和不必要的穿刺活检率,以及提高诊断自动化程度,本文提出一种端到端的模型,实现结节区域自动提取及良恶性鉴别。方法 就超声图像散斑噪声问题使用基于边缘增强的各向异性扩散去噪模型（edge enhanced anisotropic diffusion,EEAD）实现数据预处理,之后针对结节良恶性特征提出一个改进的损失函数以增强鉴别性能,通过形状描述符组合挖掘因形状与其他类别相似从而易导致错判的困难样本,为使该部分困难样本具有更好的区分性,应用改进的损失函数,并在此基础上构建困难样本形状约束损失项,用来调整形状相似但类别不同样本间的特征映射。结果 为验证算法的有效性,构建了一个包含1 805幅图像的乳腺超声数据集,在该数据集上具有5年资历医生的平均判断准确率为85.3%,而本文方法在该数据集上分类正确率为92.58%,敏感性为90.44%,特异性为93.72%,AUC （area under curve）为0.946,均优于对比算法;相对传统Softmax损失函数,各评价指标提高了5% 12%。结论 本文提出了一个端到端的乳腺超声图像分类方法,实用性强;通过将医学知识融合到优化模型,增加的困难样本形状约束损失项可提高乳腺肿瘤良恶性诊断的准确性和鲁棒性,各项评价指标均高于超声科医生,具有临床应用价值。     

结合分段频域和局部注意力的超声甲状腺分割

目的 超声检查是诊断甲状腺疾病的主要影像学方法之一,但由于超声图像中斑点强度具有随机性、组织器官复杂等问题,导致甲状腺在不同数据源间的形态、大小和纹理差异性较大,容易导致观察者视觉疲劳。针对甲状腺超声成像存在斑点强度随机性以及周边组织复杂性的问题,为了更准确地描述出器官与病理性病变的解剖边界,提出一种基于频域增强和局部注意力机制的甲状腺超声分割网络。方法 针对原始数据采用高低通滤波器获取高低频段的图像信息,整合高频段细节特征与低频段边缘特征,增强图像前背景的对比度,降低图像间的差异性。根据卷积网络中网络深度所提取特征信息量的不同,采用局部注意力机制对高低维特征信息进行自适应激活,增强低维特征的细节信息,弱化对非目标区域的关注,增强高维特征的全局信息,弱化冗余信息对网络的干扰,增强前背景分类以及对非显著性目标检测的能力。采用金字塔级联空洞卷积获取不同感受野的特征信息,解决数据源间图像差异较大的问题。结果 实验结果表明,本文方法在11~16 MHz时采集的16个手绘甲状腺超声公开数据集中,通过10折交叉验证显示准确率为0.989,召回率为0.849,精准率为0.940,Dice系数为0.812,效果优于当前其他医学图像分割网络。通过消融实验,证明本文的几个模块对超声图像分割确实具有一定的提升效果。结论 本文所提分割网络,结合深度学习模型及传统图像处理模型的优点,能较好地处理超声图像随机斑点并且提升非显著性组织分割效果。     

基于多尺度融合的甲状腺结节图像特征提取

甲状腺结节是一种常见的多发病,超声技术是该疾病首选的检查方法。在超声图像中提取区分甲状腺结节良恶性的纹理特征并进行判别具有广阔的临床应用前景。双树复小波变换（Dual-tree complex wavelet transform,DT-CWT）和Gabor小波是纹理特征提取的常用方法。本文提出一种基于多尺度的DT-CWT和Gabor特征融合的甲状腺结节识别方法。该方法首先通过高斯金字塔将甲状腺超声图像分解到多尺度空间,然后提取图像的DT-CWT和Gabor的多尺度特征,最后实现特征融合。通过应用支持向量机（Support vector machine,SVM）分类器实现分类,验证特征提取方法的有效性。实验结果表明,本文提出的方法能达到较高的识别率。     

选择性卷积特征融合的花卉图像分类

目的 针对花卉图像标注样本缺乏、标注成本高、传统基于深度学习的细粒度图像分类方法无法较好地定位花卉目标区域等问题,提出一种基于选择性深度卷积特征融合的无监督花卉图像分类方法。方法 构建基于选择性深度卷积特征融合的花卉图像分类网络。首先运用保持长宽比的尺寸归一化方法对花卉图像进行预处理,使得图像的尺寸相同,且目标不变形、不丢失图像细节信息;之后运用由ImageNet预训练好的深度卷积神经网络VGG-16模型对预处理的花卉图像进行特征学习,根据特征图的响应值分布选取有效的深度卷积特征,并将多层深度卷积特征进行融合;最后运用softmax分类层进行分类。结果 在Oxford 102 Flowers数据集上做了对比实验,将本文方法与传统的基于深度学习模型的花卉图像分类方法进行对比,本文方法的分类准确率达85.55%,较深度学习模型Xception高27.67%。结论 提出了基于选择性卷积特征融合的花卉图像分类方法,该方法采用无监督的方式定位花卉图像中的显著区域,去除了背景和噪声部分对花卉目标的干扰,提高了花卉图像分类的准确率,适用于处理缺乏带标注的样本时的花卉图像分类问题。     

基于局部纹理特征的超声甲状腺结节良恶性识别

为了实现超声甲状腺结节的自动分类,本文提出了一种利用局部纹理特征与多示例学习方法相结合以克服结节区域特征信息的重叠性。从感兴趣区域提取其局部纹理特征,将感兴趣区域看作由所有局部特征构成的示例包,再采用多示例学习方法中的Citation-kNN算法来实现对样本进行识别分类。实验结果表明,本文方法对超声甲状腺结节良恶性识别具有较高的分类准确率,且分类准确率达85.59%,可应用于甲状腺临床诊断并为其相关领域提供有效参考。     

集成多尺度微调卷积神经网络下的甲状腺结节良恶性识别

针对由于训练图像样本较少与忽略多尺度的结构和纹理信息而导致分类性能不佳问题,为提升甲状腺结节良恶性诊断准确率,提出了集成多尺度微调卷积神经网络下的甲状腺结节超声图像识别算法.首先将图像转换成具有3种不同尺度信息作为输入数据,以便模型能够学习到图像不同尺度的特征信息,提高模型的特征提取能力;其次,通过优化3种预训练模型(AlexNet,VGG16和ResNet50)的全连接层结构和迁移学习与微调策略,构建了3种不同尺度的9个微调模型,让模型能够更好地学习源域(ImageNet)和目标域(甲状腺超声图像)上的特征差异;最后选择最优的微调模型组合并通过对模型输出类别概率的加权融合方法得到最终的集成模型,利用模型的多样性进一步提升分类性能.文中算法在真实采集的数据集上和其他算法进行对比实验,得到甲状腺结节良恶性识别的准确率为96.00％,敏感度为94.10％,特异度为97.70％,AUC为98.00％ 实验结果表明,该算法在这些指标上均优于传统机器学习算法和当前甲状腺结节良恶性识别领域中的其他算法,能够有效地提取出互补的视觉特征信息,具有令人满意的分类性能.     

基于虹膜纹理深度特征和Fisher向量的人种分类

目的 虹膜是位于人眼表面黑色瞳孔和白色巩膜之间的圆环形区域,有着丰富的纹理信息。虹膜纹理具有高度的区分性和稳定性。人种分类是解决虹膜识别在大规模数据库上应用难题的主要方法之一。现有的虹膜图像人种分类方法主要采用手工设计的特征,而且针对亚洲人和非亚洲人的基本人种分类,无法很好地解决亚种族分类问题。为此提出一种基于虹膜纹理深度特征和Fisher向量的人种分类方法。方法 首先用CNN（convolutional neural network）对归一化后的虹膜纹理图像提取深度特征向量,作为底层特征;然后使用高斯混合模型提取Fisher向量作为最终的虹膜特征表达;最后用支持向量机分类得到最终结果。结果 本文方法在亚洲人和非亚洲人的数据集上采用non-person-disjoint的方式取得99.93%的准确率,采用person-disjoint的方式取得91.94%的准确率;在汉族人和藏族人的数据集上采用non-person-disjoint的方式取得99.69%的准确率,采用person-disjoint的方式取得82.25%的准确率。结论 本文通过数据驱动的方式从训练数据中学习到更适合人种分类的特征,可以很好地实现对基本人种以及亚种族人种的分类,提高了人种分类的精度。同时也首次证明了用虹膜图像进行亚种族分类的可行性,对人种分类理论进行了进一步地丰富和完善。     

ThyroScreen system: high resolution ultrasound thyroid image characterization into benign and malignant classes using novel combination of texture and discrete wavelet transform

Using right equipment and well trained personnel, ultrasound of the neck can detect a large number of non-palpable thyroid nodules. However, this technique often suffers from subjective interpretations and poor accuracy in the differential diagnosis of malignant and benign thyroid lesions. Therefore, we developed an automated identification system based on knowledge representation techniques for characterizing the intra-nodular vascularization of thyroid lesions. Twenty nodules (10 benign and 10 malignant), taken from 3-D high resolution ultrasound (HRUS) images were used for this work. Malignancy was confirmed using fine needle aspiration biopsy and subsequent histological studies. A combination of discrete wavelet transformation (DWT) and texture algorithms were used to extract relevant features from the thyroid images. These features were fed to different configurations of AdaBoost classifier. The performance of these configurations was compared using receiver operating characteristic (ROC) curves. Our results show that the combination of texture features and DWT features presented an accuracy value higher than that reported in the literature. Among the different classifier setups, the perceptron based AdaBoost yielded very good result and the area under the ROC curve was 1 and classification accuracy, sensitivity and specificity were 100%. Finally, we have composed an Integrated Index called thyroid malignancy index (TMI) made up of these DWT and texture features, to facilitate distinguishing and diagnosing benign or malignant nodules using just one index or number. This index would help the clinicians in more quantitative assessment of the thyroid nodules.     

融合多重注意力机制的人眼注视点预测

目的 经典的人眼注视点预测模型通常采用跳跃连接的方式融合高、低层次特征,容易导致不同层级之间特征的重要性难以权衡,且没有考虑人眼在观察图像时偏向中心区域的问题。对此,本文提出一种融合注意力机制的图像特征提取方法,并利用高斯学习模块对提取的特征进行优化,提高了人眼注视点预测的精度。方法 提出一种新的基于多重注意力机制(multiple attention mechanism,MAM)的人眼注视点预测模型,综合利用3种不同的注意力机制,对添加空洞卷积的ResNet-50模型提取的特征信息分别在空间、通道和层级上进行加权。该网络主要由特征提取模块、多重注意力模块和高斯学习优化模块组成。其中,空洞卷积能够有效获取不同大小的感受野信息,保证特征图分辨率大小的不变性;多重注意力模块旨在自动优化获得的低层丰富的细节信息和高层的全局语义信息,并充分提取特征图通道和空间信息,防止过度依赖模型中的高层特征;高斯学习模块用来自动选择合适的高斯模糊核来模糊显著性图像,解决人眼观察图像时的中心偏置问题。结果 在公开数据集SALICON(saliency in context)上的实验表明,提出的方法相较于同结构的SAM-Res(saliency attention modal)模型以及DINet(dilated inception network)模型在相对熵(Kullback-Leibler divergence,KLD)、sAUC(shuffled area under ROC curve)和信息增益(information gain,IG)评价标准上分别提高了33%、0.3%和6%;53%、0.5%和192%。结论 实验结果表明,提出的人眼注视点预测模型能通过加权的方式分别提取空间、通道、层之间的特征,在多数人眼注视点预测指标上超过了主流模型。     

融合多维度卷积神经网络的肺结节分类方法

针对CT图像肺结节分类任务中分类精度低,假阳性高的问题,提出了一种加权融合多维度卷积神经网络的肺结节分类模型,该模型包含两个子模型：基于二维图像的多尺度密集卷积网络模型,以捕获更宽泛的结节变化特征并促进特征重用;基于三维图像的三维卷积神经网络模型,以充分利用结节空间上下文信息。使用二维和三维CT图像训练子模型,根据子模型分类误差计算其权重,对子模型分类结果进行加权融合,得到最终分类结果。该模型在公共数据集LIDC-IDRI上分类准确率达到94.25%,AUC值达到98%。实验结果表明,加权融合多维度模型可以有效地提升肺结节分类性能。     

基于多尺度密集网络的肺结节图像检索算法

现有基于内容的医学图像检索（CBMIR）算法存在特征提取的不足，导致图像的语义信息表达不完善、图像检索性能较差，为此提出一种多尺度密集网络算法以提高检索精度。首先，将512×512的肺结节图像降维到64×64，同时加入密集模块以解决提取的低层特征和高层语义特征之间的差距；其次，由于网络的不同层提取的肺结节图像信息不同，为了提高检索精度和效率，采用多尺度方法结合图像的全局特征和结节局部特征生成检索哈希码。实验结果分析表明，与自适应比特位的检索（ABR）算法相比，提出的算法在64位哈希码编码长度下的肺结节图像检索查准率可以达到91.17%，提高了3.5个百分点；检索一张肺切片需要平均时间为48 μs。所提算法的检索结果在表达图像丰富的语义特征和检索效率方面，优于其他对比的网络结构，适用于为医生临床辅助诊断提供依据、帮助患者有效治疗。     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。