基于多任务学习的眼底图像红色病变点分割

糖尿病性视网膜病变（糖网病）是导致成年人视觉损失的主要因素之一.早期的眼底筛查可以显著降低这种视觉损失的可能性.彩色眼底图像由于具有采集便利、对人体无伤害等特点，常被用于大规模的眼底筛查工作.对眼底图像中的红色病变点而言，微动脉瘤是轻度非增殖性糖网病的主要标志，出血点与中度及重度非增殖性糖网病的诊断有关，因此，眼底图像中出血点和微动脉瘤的准确分割对糖网病分级诊断具有重要参考价值.提出一种基于多任务学习的分割模型Red-Seg来对出血点和微动脉瘤进行分割.该网络包含两个分支，每个分支处理一种病变点.设计了一种两阶段训练算法，并且两个阶段使用不同的损失函数：第1阶段使用改进的Top-k带权交叉熵损失函数，将模型训练集中在难分样本上；第2阶段将最小化假阳性和假阴性作为Red-Seg模型训练的优化目标，进一步减少病变点误分.最后，在IDRiD数据集上进行模型验证，并与其他病变点分割方法进行对比.实验结果表明，在应用Red-Seg模型进行微动脉瘤和出血点红色病变点分割时，两阶段训练算法可以显著减少病变点误分情况，尤其是出血点分割的准确率和召回率都提高2.8%.同时，与HED、FCRN、DeepLabv3+和L-Seg等图像级分割模型相比，Red-Seg模型在微动脉瘤分割上获得了更好的AUC_PR.     

非受限条件下多级残差网络人脸图像年龄估计

年龄是人的固有属性,在人的社会交往中起到了基础性作用,因此人脸图像的年龄估计是人工智能领域的重要问题之一.为了解决非受限条件下人脸图像年龄估计困难的问题,提出一种非受限条件下的多级残差网络人脸年龄估计方法.首先针对高分辨率图像数据集构建多级残差神经网络模型;然后采用Image Net数据集对多级残差网络进行预训练,以获得图像的基本特征表达;最后在非受限人脸年龄数据集上结合随机深度算法对网络模型进行微调.在非受限的Adience人脸年龄分类数据集上进行年龄分类对比实验的结果表明,该方法能够明显地提高非受限条件下人脸年龄估计的准确率,并在提高网络学习能力的同时有效地抑制小规模数据集带来的过拟合问题.     

深度卷积神经网络实现硬性渗出的自动检测

为实现硬性渗出的自动检测,构建糖网病计算机辅助诊断系统,文中提出了一种基于深度卷积神经网络的硬性渗出提取方法。该方法主要分为两个部分:线下训练硬性渗出分类模型和在线检测硬性渗出。线下训练分类模型是利用深度卷积神经网络自动提取特征训练出硬性渗出的分类模型;在线检测硬性渗出使用训练好的分类模型对眼底影像中的硬性渗出进行检测,并获取硬性渗出的概率图以及伪彩色图。利用文中方法在标准数据集DIARETDB1和自选数据集上进行验证,结果表明所提方法行之有效,鲁棒性较好,具有很强的临床实践意义。     

多特征融合神经网络的眼底血管分割算法

眼底毛细血管的自动监测对眼科疾病、糖尿病、心脏病等疾病的早期筛查具有重要意义.为了解决对毛细血管特征表达不精细带来的血管分割缺失问题,提出多模块融合的残差神经网络模型(MbResU-Net).该模型利用了编码-解码网络结构.为了减少网络编码器与解码器之间的语义差距而带来的信息丢失,用非线性网络结构代替快捷连接嵌入到网络中.为了获得更多血管的细节特征,MbResU-Net提出将三块U型网络以残差方式连接,在避免丢失的前提下,最大地提取视网膜结构特征.为了保证分割质量,对图像执行预处理操作,并设计融合了代价矩阵的交叉熵损失函数来训练网络参数.对MbResU-Net与现有的眼底血管分割算法在DRIVE和CHASE DB1彩色眼底图像数据集上进行对比实验.实验表明MbResU-Net在Sen、ACC和AUC上优于现有方法.Sen为0.7987和0.7972,ACC为0.9648和0.9726,AUC为0.9791和0.9824.实验证明该模型在复杂曲率和小血管分割中具有有效性和鲁棒性.     

结合代价敏感半监督集成学习的糖尿病视网膜病变分级

针对传统糖尿病视网膜病变（糖网）分级诊断系统中，由于数据集中缺少病灶区域的标记和类别分布的不平衡性导致无法有效地进行监督性分类的问题，提出基于代价敏感的半监督Bagging（CS-SemiBagging）的糖网分级方法。首先，从眼底图像上删除视网膜血管，并在此图像上检测疑似的红色病灶（微动脉瘤（MAs）与出血斑（HEMs））；然后，从颜色、形状和纹理方面提取22维的特征用于描述每个病灶区域；其次，构建一个CS-SemiBagging模型对MAs与HEMs进行分类；最后，依据不同病灶的数量将糖网划分为4级。通过对国际公共数据集MESSIDOR进行糖网分级评估实验，所提方法获得平均准确率为90.2%，与经典的半监督学习的Co-training方法相比提高了4.9个百分点。实验结果表明，CS-SemiBagging方法在无需提供病灶标注的情况下，能够高效自动地对糖网进行分级，从而既能免除医学图像中标注病灶的费时费力，又可以避免样本类别分布不平衡对分类算法的性能影响，获得较好的效果。     

结合域适应学习的糖尿病视网膜病变分级诊断

目的 传统的糖尿病视网膜病变（糖网）（diabetic retinopathy,DR）依赖于早期病理特征的精确检测,但由于数据集缺乏病灶标记区域导致无法有效地建立监督性分类模型,引入其他辅助数据集又会出现跨域数据异质性问题;另外,现有的糖网诊断方法大多无法直观地从语义上解释医学模型预测的结果。基于此,本文提出一种端到端式结合域适应学习的糖网自动多分类方法,该方法协同注意力机制和弱监督学习加强优化。方法 首先,利用已标记病灶区域的辅助数据训练病灶检测模型,再将目标域数据集的糖网诊断转化为弱监督学习问题,依靠多分类预测结果指导深度跨域生成对抗网络模型,提升跨域的样本图像质量,用于微调病灶检测模型,进而过滤目标域中一些无关的病灶样本,提升多分类分级诊断性能。最后,在整体模型中融合注意力机制,从医学病理诊断角度提供可解释性支持其分类决策。结果 在公开数据集Messidor上进行糖网多分类评估实验,本文方法获得了71.2%的平均准确率和80.8%的AUC （area under curve）值,相比于其他多种方法具有很大优势,可以辅助医生进行临床眼底筛查。结论 结合域适应学习的糖网分类方法在没有提供像素级病灶标注数据的情况下,只需要图像级监督信息就可以高效自动地对眼底图像实现分级诊断,从而避免医学图像中手工提取病灶特征的局限性和因疲劳可能造成漏诊或误诊问题,另外,为医生提供了与病理学相关的分类依据,获得了较好的分类效果。     

基于编解码结构的多特征融合眼底图像分割

为解决现有眼底图像分割方法对于细微血管存在低分割精度和低准确率的问题,提出一种基于编解码结构的U-Net改进网络模型。首先对数据进行预处理与扩充,提取绿色通道图像,并将其通过对比度限制直方图均衡化和伽马变换以增强对比度;其次训练集被输入到用于分割的神经网络中,在编码过程加入残差模块,用短跳跃连接将高、低特征信息融合,并利用空洞卷积增加感受野,解码模块加入注意力机制增加对细微血管分割精度;最后利用训练完成的分割模型进行预测得出视网膜血管分割结果。在DRIVE和CHASE-DB1眼底图像数据集上进行对比实验,模型算法的平均准确率、特异性和灵敏度分别达到96.77%和97.22%、98.74%和98.40%、80.93%和81.12%。实验结果表明该算法能够改善微细血管分割准确率及效率不高的问题,对视网膜血管可以进行更准确的分割。     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。     

基于Inception深度残差网络的皮肤黑色素癌图像分类算法

由于皮肤黑色素癌图像存在类内差异大、样本数据集小等特点, 采用深度残差网络可以有效解决训练过程中过拟合问题, 提高识别准确率. 但是深度残差网络模型的训练参数多, 时间复杂度高. 为了提高训练效率, 提高识别准确率, 首先从理论上分析了深度残差网络模型的结构, 通过修改网络结构, 利用Inception结构代替残差网络中的卷积层、池化层, 减少模型的训练参数数量, 降低时间复杂度. 在此基础上, 提出了基于Inception深度残差网络皮肤黑色素癌分类识别算法(Inception Deep Residual Network, IDRN), 用Inception结构代替残差网络中的卷积池化层, 用SeLU激活函数代替传统的ReLU函数. 之后, 在公开的黑色素癌皮肤镜图像ISIC2017数据集上进行实验验证. 理论和实验表明, 与传统的卷积神经网络ResNet50相比, 本文提出的新的分类算法降低了时间复杂度, 提高了识别准确率.     

RCAR-UNet：基于粗糙通道注意力机制的视网膜血管分割网络

眼底图像中视网膜血管的健康状况对早期诊断各种眼科疾病及糖尿病心脑血管疾病等具有重要意义，然而视网膜血管结构细微、边界模糊且分布不规则，对其进行准确分割存在较大的难度.针对视网膜血管的这些特征，提出一种粗糙通道注意力残差U型网——粗糙通道注意力残差U型网络（RCARUNet）.该网络首先引入粗糙集理论中上下近似概念设计粗糙神经元；接着基于粗糙神经元构建粗糙通道注意力模块，该模块在U-Net跳跃连接中采用全局最大池化和全局平均池化构造上下近似神经元，并进行神经元间的加权求和，对所建立的通道依赖关系进行合理的粗糙化，该依赖关系不仅包含全局信息，同时具有局部特性，可有效实现对所提取视网膜血管特征的准确重标定；然后添加残差连接，将特征直接从低层传递给高层，有助于解决网络性能退化问题，并有效提取更加丰富的视网膜血管特征；最后为了验证所提视网膜分割网络的有效性，在3个眼底视网膜公开图像数据集上与U-Net,Attention U-Net等传统网络模型进行对比实验，实验结果表明，所提视网膜分割网络在血管分割准确率、灵敏度和相似度等方面具有较高的优越性.     

自适应融合残差网在图像分类中应用研究

针对卷积神经网络存在随着网络深度增加导致优化困难,识别正确率降低、泛化性能差等问题,在Res Net(残差网络)基础上,提出了一种基于softmax全连接自适应门控网络融合模型.该方法在隐层网络深度达到一定层数后,设置多种卷积核尺寸作为独立网络输出,通过softmax全连接门控网络输出各模型选择概率,融合多种卷积尺寸残差网输出作为模型最终输出.实验表明,本文提出的融合残差网络模型更适合于多类别、精细化数据集,与单网络模型相比,在训练集上具有更好的收敛性,在测试集上具有更好的泛化性能.     

基于区域卷积神经网络的空中飞行物识别算法

针对飞行物检测中,由于目标背景复杂、姿态不一导致的识别准确率低的问题,提出改进的基于区域卷积神经网络Faster R-CNN的空中飞行物识别算法,使用消色差折射式望远镜ETX80和个人电脑(PC)构建空中飞行物识别系统。首先,构建包含无人机、飞机和飞鸟三种飞行物的数据集,对数据集进行标注和划分;然后,利用ResNet101深度残差网络提取图像特征,并输入构建的深度学习网络模型进行训练,网络模型包括区域建议网络、感兴趣区域池化层和分类层。测试结果证明:该方法能够在不同背景下的无人机、飞机、飞鸟三类空中飞行物的识别上达到良好的效果,检测平均准确率为96.7%,比FasterR-CNN算法提高3.1%。     

道路传感器监测数据异常辨识方法

足尺加速加载试验场具有复杂的路面结构, 其中埋设了多种传感器用于监测路面性能的各项指标. 由于传感器采集的数据具有高频海量的特点, 使用传统方法进行异常数据的辨识效率低且精度差. 针对该问题, 本文通过特定软件将原始高频采集数据进行可视化, 再将得到的可视化后数据进行类别标注, 以此作为原始数据集; 接下来针对可视化后的数据形状特征突出的特点, 本文选择了一种轻量级的卷积神经网络模型GhostNet对传感器监测数据进行异常自动辨识; 通过设计各项参数并对该网络模型进行训练, 最终在验证集上测试的结果发现: 异常数据的辨识率高达99%. 通过与常规分类模型ResNet50 (残差神经网络)对比, GhostNet网络模型的异常辨识准确率提升了11%, 能够在海量道路传感器监测数据中快速辨识异常数据, 为道路传感器故障监测提供有力的数据支持.     

融入多尺度双线性注意力的轻量化眼底疾病多分类网络

现在大多数眼疾分类方法都是对单一类别疾病不同级别进行分类,并且网络模型存在参数量大、计算复杂等问题。为解决这些问题,提出一种轻量化的眼底疾病多分类网络MELCNet,该网络以PPLCNet为主干网络,由输入层特征提取、并行多尺度结构、双线性SE注意力模块、深度可分离卷积、更小参数计算的h-swish激活函数构成,能关注到不同尺度不同疾病的关键患病信息。实验结果表明,提出的多尺度注意力轻量网络模型具有较少的参数量和计算复杂度,并在所选的四种眼底疾病和正常眼底图像的多分类上取得了优异的分类结果,在内部组合数据集测试集上的分类准确率相对于ResNet-50提升1.11%,相对于Xie等人提出的类似眼疾多分类网络在公开数据集cataract测试集上提升2.5%,相较于其他轻量级分类网络在眼底疾病多分类领域具有较高的准确率以及较强的鲁棒性。     

基于改进ResNeXt的肺癌病理图像分类

针对肺癌病理图像的自动分类,提出一种改进的卷积神经网络,引入一种新型卷积结构。以ResNeXt残差网络作为基础网络模型,使用新型卷积involution替代部分传统卷积层,解决传统卷积核的感受野小和通道之间信息比较冗余的问题。实验结果表明,该网络模型在LC25000数据集的肺癌病理图像分类任务中,肺良性图像、肺腺癌图像和肺鳞状细胞癌图像准确率分别达到100.00%、99.47%、99.47%,整个数据集准确率达到99.47%,表明改进的网络模型可以提高对肺癌病理图像分类的准确率。     

多层自适应聚合的自监督小样本图像分类

目的 在图像分类领域,小样本学习旨在利用从大规模数据集中训练到的知识来处理仅包含少量有标记训练样本的下游分类任务。通常情况下,下游任务只涉及新类样本,由于元训练阶段会构造大量任务随机抽取训练集中不同类别的样本且训练集与测试集类别间存在领域间隙,因此模型训练周期长且可能对训练集过拟合,以致元知识无法迁移到测试集,进而导致模型泛化性差。针对以上问题,提出一种多层自适应聚合的自监督小样本图像分类模型。方法 首先使用分组卷积对残差块进行改进,减少神经网络参数量,降低训练难度,缩短训练时间;然后采用多层自适应聚合的方法改进骨干网络,对网络各层语义信息加以提炼聚合,自适应分配各层权重,将聚合后的特征图作为后续分类的依据;最后加入自监督对比学习结合有监督学习挖掘样本自身潜在的信息,从而提升样本特征表达能力。结果 在mini-ImageNet数据集和CUB(Caltech-UCSD birds-200-2011)数据集上与当前主流模型进行分类效果对比实验,与baseline相比,所提模型的准确率在mini-ImageNet数据集的5-way 1-shot与5-way 5-shot实验上分别提升了6.3...     

基于卷积神经网络与迁移学习的碳钢石墨化自动评级研究

为实现碳钢石墨化的智能化评级,基于卷积神经网络与迁移学习的方法构建了碳钢金相图像的自动分类模型;首先通过几何变换和像素调整的数据增强方法建立了碳钢石墨化图像数据集;然后采用统一扩展网络宽度、深度和分辨率方式来协调精度与效率的轻量级EfficientNet网络作为主干特征提取网络,构建碳钢石墨化图像评级模型,并在训练阶段利用迁移学习与参数微调的方法来提高模型的训练效率;最后使用测试数据集对模型的分类精度与复杂度进行了验证实验,结果表明该模型能快速准确地对碳钢石墨化程度进行自动评级,在仅需12 MB内存的情况下,便可实现97.01%的评级准确率,单幅金相图像的平均检测时间也仅需10.27 ms,满足现场检测的精度与实时性要求。     

基于卷积神经网络的乳腺癌良恶性诊断

为了提高乳腺癌病理图像良恶性诊断的准确率,提出了一个基于卷积神经网络(CNN)对乳腺癌病理图像的诊断方法。利用这种方法,能够快速地对乳腺癌病理图像自动进行良恶性诊断。乳腺癌病理图像具有非常复杂的结构,利用VGG16架构的卷积神经网络对病理图像进行特征提取,利用数据增强的方法扩充数据集,使用迁移学习,将在ImageNet数据集上训练得到的权重作为该网络的初始化参数,该模型在乳腺癌数据集Breakhis上得到的准确率可以达到95%,而在经过解冻部分训练层、调整学习率等优化操作之后,分类准确率最高可以达到99%。实验结果表明,优化后的方法在乳腺癌良恶性诊断准确率方面有很大的提高。     

面向医学图像分割的半监督条件生成对抗网络

医学图像分割是计算机辅助诊断的关键技术.青光眼作为全球第二大致盲眼病,其早期筛查和临床诊断依赖于眼底图的视盘和视杯的准确分割.但传统的视盘和视杯分割方法采用人工构建特征,模型泛化能力差.近年来,基于卷积神经网络的端对端学习模型可通过自动发现特征来分割视盘和视杯,但由于标注样本有限,模型难以训练.提出一个基于半监督条件生成对抗网络的视盘和视杯两阶段分割模型——CDR-GANs.该模型的每个分割阶段均由语义分割网络、生成器和判别器构成,通过对抗学习,判别器引导语义分割网络和生成器学习眼底图及其分割图的联合概率分布.在真实数据集ORIGA上的实验结果表明,CDR-GANs在均交并比（mean intersection over union,简称MIoU）、CDR绝对误差（absolute CDR error）和实际分割效果这些指标上明显优于现有模型.     

基于深度学习的图像分类搜索系统

图像分类是根据图像的信息将不同类别的图像区分开来,是计算机视觉中重要的基本问题,也是图像检测、图像分割、物体跟踪、行为分析等其他高层视觉任务的基础。深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像、声音和文本。该系统基于Caffe深度学习框架,首先对数据集进行训练分析构建深度学习网络,提取数据集图像特征信息,得到数据对应的分类模型,然后以bvlc-imagenet训练集模型为基础,对目标图像进行扩展应用,实现"以图搜图"Web应用。