Residual neural network-based fully convolutional network for microstructure segmentation

ABSTRACT

In this study, microstructures of weldment produced using carbon steel A516 grade 60 were analysed via a deep learning approach to measure the fraction of acicular ferrite which considerably influences on mechanical properties of carbon steel. The fully convolutional network was used to conduct the image segmentation. Submerged arc welding was used for welding, and the dataset was constructed using optical microscope. The model was compiled with ResNet, which is the state-of-the-art classifier used as an encoder. The model is trained to distinguish acicular ferrite from microstructures of dataset images and then estimate its accuracy. As a result, the mean intersection over union, which is a metric commonly used to evaluate image segmentation, was shown to be higher than 85%.     

基于改进R-FCN的交通标志检测

为在交通标志检测过程中同时满足精度和速度的需求,建立一种改进的基于区域全卷积网络（R-FCN）的交通标志检测模型。通过K-means聚类算法对数据集进行分析,选择合适的锚点框。对特征提取网络ResNet101进行结构简化,只使用前25层来提取特征,以缩短检测时间。在模型中引入可变形卷积和可变形位置敏感RoI池化层,以提高模型对交通标志的感应能力。模型训练过程中使用在线困难样本挖掘策略从而减少简单样本数量。在交通标志检测数据集GTSDB上的实验结果表明,该模型对交通标志位置信息较敏感,AP₅₀和AP₇₅指标分别达到97.8%和94.7%,检测时间缩至48 ms,检测精度与速度优于Faster R-CNN、R-FCN等模型。     

基于残差时域注意力神经网络的交通模式识别算法

交通模式识别是用户行为识别中的一个重要分支,其目的是对用户所处的交通模式进行准确判断。针对现代智慧城市交通系统对在移动设备环境下精准感知用户交通模式的需求,提出了一种基于残差时域注意力神经网络的交通模式识别算法。首先,通过具有较强局部特征提取能力的残差网络提取传感器时序中的局部特征;然后,采用基于通道的注意力机制对不同传感器特征进行重校准,并针对不同传感器的数据异构性进行注意力重校准;最后,利用具有更广感受野的时域卷积网络（TCN）提取传感器时序中的全局特征。采用数据丰富度较高的宏达通讯（HTC）交通模式识别数据集来对已有的交通模式识别算法和所提出的残差时域注意力模型进行评估,实验结果表明,所提出的残差时域注意力模型在对现代移动嵌入式设备的计算开销友好的前提下具有高达96.07%的准确率,且对单一类别均具有高于90%的召回率与精确率,验证了该模型的准确性与鲁棒性。所提模型可以作为一种支持移动智能终端运算的交通模式识别应用于智能交通出行、智慧城市等领域。     

基于多尺度特征提取的交通模式识别算法

针对普适交通模式的场景感知功耗高、场景复杂的问题,提出一种融合残差网络（ResNet）和带孔卷积的交通模式识别算法。首先,使用快速傅里叶变换（FFT）将一维传感器数据转换为二维频谱图像;然后,使用主成分分析（PCA）算法对频谱图像降采样;最后,使用ResNet挖掘交通模式的局部特征,使用带孔卷积挖掘交通模式的全局特征,从而实现对八种交通模式进行识别。与决策树、随机森林、AlexNet等八种算法在实验中的对比评估结果显示,融合ResNet和带孔卷积的交通模式识别算法在静止、走路、跑步等八类交通模式上均有最高准确率。该算法具有良好识别精度和鲁棒性。     

基于金字塔场景分析网络改进的语义分割算法

图像语义分割是图像识别中的一个经典难题,是机器视觉研究的一个热点。但在实际应用中,会出现语义标签预测不准确、所分割对象与背景之间边缘信息损失问题,这已逐渐成为了图像理解的瓶颈。据此,提出了一种基于金字塔场景分析网络（PSPNet）的网络改进结构,在特征学习模块中将输入图在原残差网络（ResNet）的基础上通过在网络内部增加卷积、池化操作,进一步学习各个层次特征,将所学习到的多个低层次特征图与高层次特征图相加,得到新的具有更多空间位置信息的特征图;为得到丰富的上下文信息,利用PSPNet的金字塔池化结构,将特征图中全局上下文信息与不同尺度局部上下文信息相结合,进行卷积和上采样,得到最终预测图。仿真实验结果表明,所改进的方法在PASCAL VOC 2012测试集中平均交并比（Mean Intersection over Union,MIoU）达到78.5%,较基准算法提升了1.7%。     

卷积神经网络的贴片电阻识别应用

贴片电阻由于其体积微小、性能稳定等独特的性质,在当今智能化的电子设备中被广泛使用。为保证贴片电阻的出厂质量,需要对其进行缺陷识别、极性方向识别、正反面识别和种类识别,目前很大程度上依靠人工肉眼进行识别检测,效率低、容易误检、成本高。本文针对传统图像识别方法的局限性,结合近年来卷积神经网络在图像识别方面所取得的巨大成就,基于AlexNet模型、GoogLeNet模型、ResNet模型思想设计了3种深度适宜、可训练参数约4×10⁶（百万）的卷积神经网络,克服了当前主流卷积神经网络模型由于可训练参数过多、模型层数太深导致在贴片电阻识别应用中识别速度不能满足实时性要求、泛化识别准确率低的问题。实验表明,3种模型的识别准确率均超过90%,最高识别准确率达到95%,识别速度达到0.203 s/张（256像素×256像素,CORE I5）。因此,本文设计的3种卷积神经网络可根据具体实际需求进行选用,在实践中具有极强的可行性和可推广性,同时也在提升企业生产效率和产品质量方面具有重要意义。     

基于YOLOv3与ResNet50的摄影机器人人脸识别跟踪系统

虚拟演播室下,针对需要摄影机器人来自动完成对主持人的识别并对其进行镜头跟踪的任务,提出一种在基于YOLOv3完成人脸检测的基础上,构建ResNet50网络,对主持人进行人脸识别及镜头跟踪的系统。为提高其在开放集上人脸识别的精度,基于CASIA-FaceV5与PubFig数据集构建人脸训练集,在改进的ResNet50模型上完成模型的联合监督训练。结合摄影机器人运动控制算法进行实验,实验表明该系统具有较好的识别精度与实时性,能够满足虚拟演播室下摄影机器人人脸跟踪要求。     

基于多期相注意力融合网络的肝脏病灶CT影像分类研究

肝脏病灶是指肝脏疾病集中的部位或是综合病症、感染的主要部位。由于不同类型的多期相肝脏病灶计算机断层扫描（CT）影像存在异病同影或同病异影的情况,导致同一类型的CT影像结构变化较大,传统方法难以提取丰富的图像特征信息,肝脏病灶分类准确率有待提高。提出一种多期相注意力融合网络MAFNet,使用单期相分支表征单期相病灶图像特征,并在融合分支中采用中期融合的方式,融合单期相分支中提取出的特征映射,从而充分提取图像中不同层次的特征。利用多期相注意力模块提取单期相分支中肝脏病灶的加权特征,重新组织多期相肝脏病灶的特征映射,以保持不同单期相图像信息,表达3个期相影像的时序增强模式,得到更准确的分类结果。实验结果表明,基于该网络的分类方法能充分利用多期相肝脏CT影像的时序特征,有效捕捉同一患者不同期相的信息,肝脏病灶CT影像分类的平均准确率为90.99%。     

基于注意力机制的多方向文本检测

针对多方向排列的文本因其尺度变化大、复杂背景干扰而导致检测效果仍不甚理想的问题,本文提出了一种基于注意力机制的多方向文本检测方法。首先,考虑到自然场景下干扰信息多,构建文本特征提取网络(text feature information ResNet50,TF-ResNet),对图像中的文本特征信息进行提取;其次,在特征融合模型中加入文本注意模块(text attention module, TAM),抑制无关信息的同时突出显示文本信息,以增强文本特征之间的潜在联系;最后,采用渐进扩展模块,逐步融合扩展前部分得到的多个不同尺度的分割结果,以获得精确检测结果。本文方法在数据集CTW1500、ICDAR2015上进行实验验证和分析,其F值分别达到80.4%和83.0%,比次优方法分别提升了2.0%和2.4%,表明该方法在多方向文本检测上与其他方法相比具备一定的竞争力。     

基于Mask R-CNN卷积神经网络的虹膜分割

针对虹膜图像中存在眼镜遮挡、模糊、角度偏差等不同噪声因素,我们设计了一种基于Mask R-CNN的卷积神经网络(convolutional neural network, CNN),命名为Mask-INet,用于虹膜分割.该网络在特征提取阶段为特征金字塔添加了一条自底向上的路径,既提高了底层到顶层特征的定位信息,增强语义信息融合,又进一步加快了底层到顶层的传播效率,有效提升对虹膜特征提取的准确性.为了进一步挖掘特征图中的特征信息,在掩模预测分支阶段,我们引入上采样和CBAM网络(convolutional block attention module),利用上采样提高特征图的空间分辨率,利用CBAM网络让特征图中的显著信息更加显著,增强对特征的判别性.该方法在NIR-ISL 2021比赛提供的虹膜数据集进行了验证.在相同实验条件下与该赛事的冠军相比,该方法的各项指标均优于其网络.与基线Mask R-CNN相比,该方法的Dice相似系数、平均交并比、召回率分别提升了8.53%、11.97%、8.88%,提升了虹膜分割效果.