基于数字孪生与迁移学习的结构光条纹图像分析（特邀）

近年来,深度学习技术广泛应用于计算光学三维成像的研究中。在条纹投影轮廓术中,通过训练深度学习网络,可从单幅条纹图像中恢复高精度的相位信息。然而,为了训练神经网络模型,通常需要耗费大量的时间成本和人力成本来采集训练数据集。为了解决该问题：首先,建立数字孪生条纹投影系统,并利用域随机化技术对虚拟照明光栅进行增强,使用计算机进行虚拟扫描,生成大量仿真光栅条纹图像;其次,利用仿真光栅图像对U-Net神经网络进行预训练;最后,引入迁移学习,采用少量真实光栅条纹图像对神经网络进行参数微调。由于U-Net的结构特殊性,提出并分析了“从左至右”“从上至下”“全局微调”等3种U-Net神经网络微调策略。实验结果表明,采用“从上至下”策略微调U-Net“瓶颈”网络模块的方法可获得最佳的迁移学习结果,神经网络的相位预测精度可得到显著提升。相比于使用大量真实数据进行训练,所述方法仅利用20%的数据就可训练神经网络获得高精度的相位重建结果。     

一种应用在生物医学图像分割的融合模型

近年来,深度学习给医学图像分割带来了突破。U-Net和Residual U-Net是这方面最突出的深度网络,是医学影像界最流行的架构。尽管在多模态医学图像分割方面整体表现突出,但研究发现在原有网络的基础上还可以进行提升。因此,提出了一种融合的思想,并在U-Net和Residual U-Net对提出的思想进行了实验。为尽可能减少模型的参数量,研究采用了共享的策略,将参数量控制在合理的范围内。最后,比较了提出的融合模型与经典的U-Net和Residual U-Net在细胞边缘分割数据集和乳腺分割两个数据集上表现的效果。仿真结果表明融合后的模型比融合前的模型有了更好的表现。     

基于AW-Net的轮毂射线图像分割算法北大核心CSCD

针对传统方法下的汽车轮毂内部缺陷检测效率低、精度达不到工业标准的问题,本文提出了一种基于改进U-Net神经网络的轮毂X射线图像缺陷分割方法AW-Net。该方法通过三级跳跃连接的方式级联两个U型网络对图像特征进行深度提取。同时在跳跃连接的过程中融合注意力机制以解决小目标的变化情况容易被漏检的问题,并通过实验验证结合使用多种激活函数来实现更精准的轮毂X射线图像语义分割,增加网络的拟合能力,提高网络的鲁棒性。实验结果表明:改进后的算法在本文构建数据集的汽车轮毂内部缺陷的误判率为2.73%,漏判率为0,识别率达到93%以上,其分割精度高于传统图像分割网络全卷积网络(fully convolutional network, FCN)和U-Net,且本方法边缘分割更加平坦,满足现代轮毂内部缺陷无损检测的需要。     

基于深度学习的可见光图像舰船目标检测与识别

为探究深度卷积神经网络在舰船检测与识别中的应用,研究了基于深度学习方法的可见光图像舰船目标检测与识别,总结了适用的可见光图像舰船数据集与针对舰船目标的网络优化方法.研究表明,迁移学习、先验框改进、特征优化等方法均能提升舰船检测与识别的准确率.未来应结合多源特征的融合,对轻量化舰船识别、细粒度舰船分类等方向进行研究.     

太阳Hα空间望远镜信噪比分析

太阳Hα空间望远镜是国际上首次实现全日面Hα单色像(包括Hα线心和线翼3个波段)的空间观测望远镜,对太阳物理研究有着重要的意义。信噪比是定量评价空间望远镜成像质量和工作稳定性的重要指标,因此信噪比的计算和估计对太阳Hα空间望远镜的研制和使用至关重要。本文从太阳Hα空间望远镜工作原理和能量传递的角度出发,建立了信噪比计算模型,推导了信噪比计算公式。在此基础上计算了信噪比以及曝光时间区间,给出了最佳工作状态下单像元和像元合并情况下曝光时间分别为5ms和10ms。实验结果表明,计算值和测量值误差在1%以内,由此可以验证该信噪比计算模型的准确性和实用性。     

基于注意力门残差网络的遥感影像道路提取

针对遥感影像道路提取出现的无关噪声多,道路不连续问题,本文通过改进U-Net提出了基于注意力门残差网络的道路提取算法。首先,编码器部分引入残差块传递原始特征,在保证网络深度的同时,使梯度能够有效传递;其次,在连接层使用多尺度空洞卷积特征提取模块,来充分挖掘图像中的多尺度特征信息;最后,用注意力门将浅层网络信息和反卷积信息融合实现解码,以抑制浅层噪声特征。使用的数据集包括Massachusetts Roads Dataset数据集和CVPR DeepGlobe 2018道路提取挑战赛数据集。实验结果表明,该算法可以有效提升道路分割的效果。     

基于机器学习的头发自动分割研究进展

头发分割是图像分割领域的一大挑战,头发的自动分割对辅助性别分类、身份识别、医疗影像分析以及头部重构、AR染发等都有着重要的意义.基于机器学习方法对头发进行自动化分割是该领域的常用方法,具有效率高性能好的优点.文章梳理了基于早期机器学习的传统头发自动分割方法与基于深度学习的头发自动分割方法的发展历程,重点分析了贝叶斯网络图模型、区域生长算法、聚类算法、图割算法等传统分割方法以及全连接神经网络、全卷积神经网络、U-Net、MobileNet等基于深度学习的分割方法,并归纳对比各方法的分割效果、优缺点和发展方向.基于深度学习的头发分割方法需要使用大体量的数据集对网络进行训练,文章整理了头发分割常用公开数据集的各项属性,并对各方法使用不同数据集的各项分割性能进行对比.在此基础上,对基于机器学习的头发自动分割所面临的困难和挑战进行梳理和分析,针对存在的问题提出解决思路,对该领域的发展前景加以展望.     

融合自监督和自注意力的输电线语义分割网络

要解决无人机在空中飞行过程中遭遇输电线时存在的避障难的问题,关键之一是要解决对输电线的语义分割中存在的长距离图像分割不连续的问题.为此,提出了一种添加自注意力模块来改进U-Net的语义分割算法,用于输电线的语义分割.通过自注意力模块提取U-Net不同尺度上的全局特征,提高对跨越全局的输电线特征的捕捉能力.为进一步优化训练过程,提出最大池化标签下采样,增强对不平衡类别输电线的学习能力;提出卷积神经网络图像掩码建模自监督预训练,提高预训练权重的质量.此外,为在大规模的输电线数据集上进行验证,对TTPLA输电线输电塔数据集实例分割标签进行处理,制作了TTPLA输电线语义分割数据集.实验表明,改进的网络通过捕捉全局特征的自注意力机制、优化的深度监督过程和自监督预训练,对比原版U-Net具有更高的分割精度.在TTPLA输电线语义分割数据集的测试中,与原版U-Net相比,其IoU指标提高了2.32%,达到了71.45%.证明算法增强了图像中长距离输电线语义特征之间的联系,提高了输电线语义分割的完整性,提升了无人机的避障能力.     

基于Grassmann流形几何深度网络的图像集识别方法

近年来,深度学习以其强大的非线性计算能力在目标检测和识别任务中取得了巨大的突破。现有的深度学习网络几乎都是以数据的欧氏结构为前提,而在计算机视觉中许多数据都具有严格的流形结构,如图像集可表示为Grassmann流形。基于数据的流形几何结构来设计深度学习网络,将微分几何理论与深度学习理论相结合,提出一种基于Grassmann流形的深度图像集识别网络。同时在模型训练过程中,使用基于矩阵链式法则的反向传播算法来更新模型,并将权值的优化过程转换为Grassmann流形上的黎曼优化问题。实验结果表明:该方法不仅在结果上识别准确率得到了提高,同时在训练和测试速度上也有一个数量级的提升。     

基于U-Net和胶囊网络的合成孔径雷达图像语义分割

图像语义分割作为一种像素级分类技术,已应用于合成孔径雷达(SAR)图像的解译领域中.U-Net是一种端到端的图像语义分割网络,具有典型的编码-解码结构.其中,编码部分主要由卷积层和池化层组成,可以有效提取图像中的目标特征,但难以获取目标的位置和方向等信息.胶囊网络是一种能够获取目标姿态(位置、大小、方向)等信息的神经网络,因此,提出了一种基于U-Net和胶囊网络的SAR图像语义分割方法.此外,考虑到SAR图像数据集较小的特点,将U-Net的编码部分设计成视觉几何组(VGG16)结构,将预训练的VGG16模型直接迁移至编码部分.为了验证本方法的有效性,在两个极化SAR图像数据集上开展了建筑物目标的分割实验.结果 表明,相比U-Net,本方法的精确率、召回率、F1分数和交并比更高,且能减少网络模型的训练时间.