基于卷积神经网络的自然背景字符识别

随着计算机视觉技术的发展,自然背景中字符的识别在图片检索、视频检索、无人车识别周围场景信息等领域都扮演了不可或缺的角色。相对于手写字符、打印字符的识别,自然背景字符的识别有着光照强度变化大、背景纹理复杂、字体样式和颜色多变等特点,这都给识别带来了巨大的挑战。主要是基于Le Net-5的网络结构设计了一种适合于识别自然背景字符的卷积神经网络,由于在这一领域以往的研究工作的基准数据集是较小的数据集(Chars74K-15),为了便于比较,实验也是基于同样的数据集。但因为卷积神经网络是在巨大数据量的驱动下才会有良好的效果,因此还提出了一种预处理方式和fine-tune相结合用于解决自然背景字符图片数据量较小的问题。     

基于卷积神经网络的缅甸语分词方法

音节是缅甸语的最小构词单位。当前主流的基于统计的分词方法效果严重依赖于预先标注的训练样本集规模及人工方式选取特征的质量,然而,缅甸语属于稀缺资源语言,分词语料标注及特征选取面临较大困难。该文提出一种基于卷积神经网络的缅甸语分词方法,首先将缅甸语音节结构特征应用于缅甸语音节词向量特征分布式表示,然后基于卷积神经网络将音节及其上下文的特征进行融合,得到有效的特征表示,并通过深层网络的逐层特征优化自动学习到缅甸语分词的有效特征向量,最后利用softmax分类器来对构成缅甸语词汇的音节序列标记进行预测。实验结果表明,该方法取得了较好的效果。     

基于知识蒸馏的特定知识学习

在传统知识蒸馏框架中,教师网络将自身的知识全盘传递给学生网络,而传递部分知识或者特定知识的研究几乎没有。考虑到工业现场具有场景单一、分类数目少的特点,需要重点评估神经网络模型在特定类别领域的识别性能。基于注意力特征迁移蒸馏算法,提出了三种特定知识学习算法来提升学生网络在特定类别分类中的分类性能。首先,对训练数据集作特定类筛选以排除其他非特定类别的训练数据;在此基础上,将其他非特定类别视为背景并在蒸馏过程中抑制背景知识,从而进一步减少其他无关类知识对特定类知识的影响;最后,更改网络结构,即仅在网络高层抑制背景类知识,而保留网络底层基础图形特征的学习。实验结果表明,通过特定知识学习算法训练的学生网络在特定类别分类中能够媲美甚至超越参数规模六倍于它的教师网络的分类性能。     

基于知识蒸馏的超分辨率卷积神经网络压缩方法

针对目前用于超分辨率图像重建的深度学习网络模型结构深且计算复杂度高，以及存储网络模型所需空间大，进而导致其无法在资源受限的设备上有效运行的问题，提出一种基于知识蒸馏的超分辨率卷积神经网络的压缩方法。该方法使用一个参数多、重建效果好的教师网络和一个参数少、重建效果较差的学生网络。首先训练好教师网络，然后使用知识蒸馏的方法将知识从教师网络转移到学生网络，最后在不改变学生网络的网络结构及参数量的前提下提升学生网络的重建效果。实验使用峰值信噪比（PSNR）评估重建质量的结果，使用知识蒸馏方法的学生网络与不使用知识蒸馏方法的学生网络相比，在放大倍数为3时，在4个公开测试集上的PSNR提升量分别为0.53 dB、0.37 dB、0.24 dB和0.45 dB。在不改变学生网络结构的前提下，所提方法显著地改善了学生网络的超分辨率重建效果。     

基于集成知识蒸馏的肺病分析

新冠肺炎以来,肺部疾病引起了人们更大的关注.肺音的特征与诊断是肺病理学中重要的组成部分.现有的肺音分析工作主要是对肺音的类型进行分类,分类肺病的研究较少.另外,单个分类模型无法在保护隐私的前提下融合多方数据,复杂的模型也难以保证分类的实时性.针对这些问题,本文提出集成知识蒸馏的肺疾病分类模型.首先从肺音音频中提取梅尔频谱特征,然后建立多个二分类卷积神经网络模型作为教师模型,最后通过集成知识蒸馏技术,将多个教师模型的知识集成到一个精简的多分类学生模型上.实验表明,该模型能够在预测准确率达95%的情况下,参数量比教师模型减少79%,预测速度提升20%.在同等条件下,时耗仅有MobileNet–v3–small模型的6%,实现实时性肺疾病分析.     

基于表格的手写体字符识别技术研究

在分析了目前光学字符识别技术发展及发应用的基础上，给出一种基于表格的手写体字符识别解决方案，该方案包括图图像预处理，特征提取和分类器等三个关键的处理过程，然后，重点研究了利用神经网络构建分类器的技术和神经网络应用的两个阶段。     

基于改进知识蒸馏的多天候车辆检测方法

为提高多天候下的车辆检测效果,本文提出一种基于改进知识蒸馏方法的卷积网络训练框架。该网络框架利用复杂CNN(Convolutional Neural Network)作为教师网络、轻量CNN作为学生网络,在不增加新训练数据集和略微增加轻量CNN参数量的同时提高轻量CNN多天候下车辆检测的效果。该知识蒸馏方法采用特殊的数据增强方法产生含有多天候特征的数据集,将不含天气特征的原始图片投入教师网络,将对应含有天气特征的增强图片投入学生网络训练。由于不含天气特征的图片能够提供更多的信息,相较于一般知识蒸馏方法,该种训练方式能使学生网络对教师网络的输出信息进行更有效的学习。最终,经过在天气数据增强后的BDD100k数据集上进行训练和多天候车辆检测的性能测试,在本文知识蒸馏卷积网络框架下训练的学生网络模型目标检测的能力和在多天候环境下检测精度的稳定性得到了提高;在DAWN多天候数据集上进行多个网络的泛化能力对比测试表明,本文改进的知识蒸馏卷积网络框架在平均查准率（Average precision,AP）和检测速度上均取得了一定的优势。     

基于卷积神经网络的车牌字符识别

车牌字符识别是智能车牌识别系统中的重要组成部分。针对车牌字符类别多、背景复杂影响正确识别率的问题,提出了一种基于卷积神经网络（CNN）的车牌字符识别方法。首先对车牌字符图像进行大小归一化、去噪、二值化、细化、字符区域居中等预处理,去除复杂背景,得到简单的字符形状结构;然后,利用所提出的CNN模型对预处理后的车牌字符集进行训练、识别。实验结果表明,所提方法能够达到99.96%的正确识别率,优于其他三种对比方法。说明所提出的CNN方法对车牌字符具有很好的识别性能,能满足实际应用需求。     

卷积神经网络压缩中的知识蒸馏技术综述

近年来,卷积神经网络(CNN)凭借强大的特征提取和表达能力,在图像分析领域的诸多应用中取得了令人瞩目的成就.但是,CNN性能的不断提升几乎完全得益于网络模型的越来越深和越来越大,在这个情况下,部署完整的CNN往往需要巨大的内存开销和高性能的计算单元(如GPU)支撑,而在计算资源受限的嵌入式设备以及高实时要求的移动终端上...     

基于条件生成对抗网络与知识蒸馏的单幅图像去雾方法

生成对抗网络广泛应用于图像去雾领域,但通常需要较大的计算量和存储空间,从而限制了其在移动设备上的应用。针对该问题,提出一种基于条件生成对抗网络与知识蒸馏的去雾方法KD-GAN。将频率信息作为去雾的附加约束条件,通过傅里叶变换、拉普拉斯算子、高斯滤波器分别滤除原始图像的高频或低频信息,生成对应的高频和低频图像,并将融合得到的图像作为判别器的输入,以改进雾天图像的去雾效果。在此基础上,将原重型教师网络的知识迁移到具有较少权值参数的轻量型学生网络生成器中,并对轻量型学生网络进行训练,使其以更快的收敛速度达到与教师网络相近的去雾性能。在OTS和HSTS数据集上的实验结果验证了该方法的有效性,在学生网络的参数规模仅为教师网络1/2的条件下,学生网络在迭代第3×10⁴次时,生成器输出图像的峰值信噪比和结构相似性已接近于教师网络迭代第5×10⁴次时的数值,训练速度加快了约1.67倍。     

基于知识蒸馏与模型集成的事件论元抽取方法

目前先进的事件论元抽取方法通常使用BERT模型作为编码器,但BERT巨大的参数量会降低效率,使模型无法在计算资源有限的设备中运行。提出一种新的事件论元抽取方法,将事件论元抽取教师模型蒸馏到2个不同的学生模型中,再对2个学生模型进行集成。构造使用BERT模型和图卷积神经网络的事件论元抽取教师模型,以及2个分别使用单层卷积神经网络和单层长短期记忆网络的学生模型。先通过均方误差损失函数对学生模型和教师模型的中间层向量进行知识蒸馏,再对分类层进行知识蒸馏,使用均方误差损失函数和交叉熵损失函数让学生模型学习教师模型分类层的知识和真实标签的知识。在此基础上,利用加权平均的方法对2个学生模型进行集成,从而提升事件论元抽取性能。使用ACE2005英文数据集进行实验,结果表明,与学生模型相比,该方法可使事件论元抽取F1值平均提升5.05个百分点,推理时间和参数量较教师模型减少90.85%和99.25%。     

基于多粒度特征蒸馏的遥感图像场景分类研究

深度神经网络广泛应用于遥感图像场景分类任务中并能大幅提高分类精度,但隐藏层数较少的神经网络在标记数据不足的遥感场景分类中泛化能力较低,而隐层较多的网络往往需要较大的计算量和模型存储空间,限制了其在嵌入式设备上的应用.提出一种针对遥感图像场景分类的多粒度特征蒸馏方法,将深度网络不同阶段的特征与最终的类别概率同时作为浅层模...     

基于OCR的纵向文字校对的研究与实现*

提出一种基于OCR识别的文字纵向校对的实现方法,在文字信息处理、图像显示和校对过程中提出了自己的算法和策略,对数组结构及其读写方法进行了较细致的分析。以汉字的纵向校对为例,实验表明该方法具有很快的计算速度,对一个有经验的校对人员而言,通过纵校和横校的结合可以使差错率控制在万分之三以内。     

基于知识蒸馏的YOLOv3算法研究

知识蒸馏作为一种模型压缩方法,将大网络（教师网络）学到的知识传递给小网络（学生网络）,使小网络获得接近大网络的精度。知识蒸馏在图像分类任务上获得不错的效果,但在目标检测上的研究较少,且有待提高。当前目标检测中主要基于特征提取层进行知识蒸馏,该类方法存在两个问题,第一,没有对教师网络传递知识的重要程度进行度量,第二,仅对特征提取层进行蒸馏,教师网络的知识未充分传递给学生网络。针对第一个问题,通过引入信息图作为蒸馏的监督信号,强化了学生网络对教师网络重点知识的学习;针对第二个问题,对特征提取层和特征融合层的输出同时进行蒸馏,使学生网络更充分地学习教师网络传递的知识。实验结果表明,以YOLOv3为检测模型,在不改变学生网络结构的基础上,平均类别精度（mAP）提升9.3个百分点。     

基于拓扑一致性对抗互学习的知识蒸馏

针对基于互学习的知识蒸馏方法中存在模型只关注教师网络和学生网络的分布差异, 而没有考虑其他的约束条件, 只关注了结果导向的监督, 而缺少过程导向监督的不足, 提出了一种拓扑一致性指导的对抗互学习知识蒸馏方法(Topology-guided adversarial deep mutual learning, TADML). 该方法将教师网络和学生网络同时训练, 网络之间相互指导学习, 不仅采用网络输出的类分布之间的差异, 还设计了网络中间特征的拓扑性差异度量. 训练过程采用对抗训练, 进一步提高教师网络和学生网络的判别性. 在分类数据集CIFAR10、CIFAR100和Tiny-ImageNet及行人重识别数据集Market1501上的实验结果表明了TADML的有效性, TADML取得了同类模型压缩方法中最好的效果.     

基于关系型蒸馏的分步神经网络压缩方法

针对关系型知识蒸馏方法中教师网络与学生网络的层数差距过大导致蒸馏效果下降的问题,提出一种基于关系型蒸馏的分步神经网络压缩方法.该方法的要点在于,在教师网络和学生网络之间增加一个中间网络分步进行关系型蒸馏,同时在每一次蒸馏过程中都增加额外的单体信息来进一步优化和增强学生模型的学习能力,实现神经网络压缩.实验结果表明,本文的方法在CIFAR-10和CIFAR-100图像分类数据集上的分类准确度相较于原始的关系型知识蒸馏方法均有0.2％左右的提升.     

DistillBIGRU:基于知识蒸馏的文本分类模型

文本分类模型可分为预训练语言模型和非预训练语言模型,预训练语言模型的分类效果较好,但模型包含的参数量庞大,对硬件算力的要求较高,限制了其在许多下游任务中的使用。非预训练语言模型结构相对简单,推算速度快,对部署环境的要求低,但效果较差。针对以上问题,该文提出了基于知识蒸馏的文本分类模型DistillBIGRU,构建MPNetGCN模型作为教师模型,选择双向门控循环单元网络作为学生模型,通过知识蒸馏得到最终模型DistillBIGRU。在多个数据集上教师模型MPNetGCN的平均分类准确率相比BERTGCN提高了1.3%,DistillBIGRU模型在参数量约为BERT-Base模型1/9的条件下,达到了与BERT-Base模型相当的文本分类效果。     

一种基于知识蒸馏的神经网络鲁棒性迁移方法

近几年来,深度神经网络在多个领域展现了非常强大的应用能力,但是研究者们发现,通过在输入上添加难以察觉的扰动,可以改变神经网络的输出决策,这类样本被称为对抗样本.目前防御对抗样本,最常见的方法是对抗训练,但是对抗训练有着非常高的训练代价.我们提出了一种知识蒸馏的鲁棒性迁移方案(Robust-KD),结合特征图与雅克比矩阵...     

基于知识蒸馏的恶意代码家族检测方法

近年来,恶意代码变种层出不穷,恶意软件更具隐蔽性和持久性,亟需快速有效的检测方法来识别恶意样本.针对现状,文中提出了一种基于知识蒸馏的恶意代码家族检测方法,该模型通过逆向反编译恶意样本,利用恶意代码可视化技术将二进制文本转为图像,以此避免对传统特征工程的依赖.在教师网络模型中采用残差网络,在提取图像纹理深层次特征的同时...