基于transformer自适应特征向量融合的图像分类

针对目前基于transformer的图像分类模型直接应用在小数据集上性能较差的问题,本文提出了transformer自适应特征向量融合网络,该网络在特征提取器中将不同阶段的特征进行融合,减少特征信息丢失的同时获得更多不同感受野下的信息,同时利用最大池化来去除特征中的冗余信息,从而使提取的特征更具有判别性。此外,为了充分利用图像的各级特征信息来进行分类预测,本文将网络各阶段产生的特征向量进行融合,使融合后的特征向量更具有表征能力,从而减少网络对大数据集的依赖,使网络在小数据集中也能获得很好的性能。实验表明,本文提出的 算法在数据集Mini-ImageNet-100、CIFAR-100和ImageNet-1k上的TOP-1准确率分别达到了74.22%、85.86%和81.4%。在没有增加计算量的情况下,在baseline上分别提高了6.0%、3.0%和0.1%,且参数量减少了18.3%。本文代码开源在“https://github.com/xhutongxue/afvf”。     

基于人脸关键特征提取的表情识别

自然场景下人脸表情由于受遮挡、光照等因素影响,以及表情局部变化细微,导致现有人脸表情识别方法准确率较低。提出一种人脸表情识别的新方法,以ResNet18为主干网络,利用残差连接模块加深网络结构,以提取更多深层次的表情特征。通过引入裁剪掩码模块,在训练集图像上的某个区域进行掩码,向训练模型中增加遮挡等非线性因素,提升模型在遮挡情形下的鲁棒性。分别从特征图的通道和空间两个维度提取表情的关键特征,并分配更多的权重给表情变化明显的特征图,同时抑制非表情特征。在特征图输出前加入Dropout正则化策略,通过在训练中随机失活部分神经元,达到集成多个网络模型的训练效果,提升模型泛化能力。实验结果表明,与L2-SVMs、IcRL、DLP-CNN等方法相比,该方法有效提高了表情识别准确率,在2个公开表情数据集Fer2013和RAF-DB上的识别准确率分别为74.366%和86.115%。     

Deep ensemble-based hard sample mining for food recognition

Deep neural networks represent a compelling technique to tackle complex real-world problems, but are over-parameterized and often suffer from over- or under-confident estimates. Deep ensembles have shown better parameter estimations and often provide reliable uncertainty estimates that contribute to the robustness of the results. In this work, we propose a new metric to identify samples that are hard to classify. Our metric is defined as coincidence score for deep ensembles which measures the agreement of its individual models. The main hypothesis we rely on is that deep learning algorithms learn the low-loss samples better compared to large-loss samples. In order to compensate for this, we use controlled over-sampling on the identified ”hard” samples using proper data augmentation schemes to enable the models to learn those samples better. We validate the proposed metric using two public food datasets on different backbone architectures and show the improvements compared to the conventional deep neural network training using different performance metrics.     

Ubiquitous WiFi and Acoustic Sensing: Principles,Technologies, and Applications

Journal of Computer Science and Technology - With the increasing pervasiveness of mobile devices such as smartphones, smart TVs, and wearables, smart sensing, transforming the physical world into...     

基于计算机视觉的高速路面状态检测方法

路面状态检测技术是辅助高速公路监管部门及时发现结冰、积雪等不良路况的重要手段。针对传统基于硬件设备的路面状态检测技术存在成本较高、检测范围受局限等问题,提出了一种基于计算机视觉的高速路面状态检测方法。该方法首先将融合了空间注意力机制和通道注意力机制的Attention模块与具有高分割精度的U-Net网络相结合,对路面区域图像进行分割提取;之后实现了一种基于循环生成对抗网络的路面阴影消除算法,对已经提取的路面图像进行阴影消除;最后基于残差结构构建了路面状态分类器,实现高准确率的路面状态检测。实验结果表明,采用该方法可以消除路面状态检测过程中高速公路两侧景物和路面阴影对状态检测带来的干扰,实现了对路面干燥、积雪、积水和结冰4类状态的准确识别。基于高速公路监控视频进行测试时,识别率可达97.9%。     

视觉Transformer识别任务研究综述

Transformer模型在自然语言处理领域取得了很好的效果,同时因其能够更好地连接视觉和语言,也激发了计算机视觉界的极大兴趣。本文总结了视觉Transformer处理多种识别任务的百余种代表性方法,并对比分析了不同任务内的模型表现,在此基础上总结了每类任务模型的优点、不足以及面临的挑战。根据识别粒度的不同,分别着眼于诸如图像分类、视频分类的基于全局识别的方法,以及目标检测、视觉分割的基于局部识别的方法。考虑到现有方法在3种具体识别任务的广泛流行,总结了在人脸识别、动作识别和姿态估计中的方法。同时,也总结了可用于多种视觉任务或领域无关的通用方法的研究现状。基于Transformer的模型实现了许多端到端的方法,并不断追求准确率与计算成本的平衡。全局识别任务下的Transformer模型对补丁序列切分和标记特征表示进行了探索,局部识别任务下的Transformer模型因能够更好地捕获全局信息而取得了较好的表现。在人脸识别和动作识别方面,注意力机制减少了特征表示的误差,可以处理丰富多样的特征。Transformer可以解决姿态估计中特征错位的问题,有利于改善基于回归的方法性能,还减少了三维估计时深度映射所产生的歧义。大量探索表明视觉Transformer在识别任务中的有效性,并且在特征表示或网络结构等方面的改进有利于提升性能。     

用于遥感舰船细粒度检测与识别的关键子区域融合网络

目的 遥感图像中的舰船目标细粒度检测与识别在港口海域监视以及情报搜集等应用中有很高的实际应用价值,但遥感图像中不同种类的舰船目标整体颜色、形状与纹理特征相近,分辨力不足,导致舰船细粒度识别困难。针对该问题,提出了一种端到端的基于关键子区域特征的舰船细粒度检测与识别方法。方法 为了获得更适于目标细粒度识别的特征,提出多层次特征融合识别网络,按照整体、局部子区域两个层次从检测网络得到的候选目标区域中提取特征。然后结合候选目标中所有子区域的信息计算每个子区域的判别性显著度,对含有判别性组件的关键子区域进行挖掘。最后基于判别性显著度将子区域特征与整体特征进行自适应融合,形成表征能力更强的特征,对舰船目标进行细粒度识别。整个检测与识别网络采用端到端一体化设计,所有候选目标特征提取过程只需要经过一次骨干网络的计算,提高了计算效率。结果 在公开的带有细粒度类别标签的HRSC2016(high resolution ship collection)数据集L3任务上,本文方法平均准确率为77.3%,相较于不采用多层次特征融合识别网络提升了6.3%;在自建的包含45类舰船目标的FGSAID(fine-gr...     

选择并融合粗细粒度特征的细粒度图像识别

目的 在细粒度图像识别任务中,类内图像姿势方差大,需要找到类内变化小的共性,决定该任务依赖于鉴别性局部的细粒度特征;类间图像局部差异小,需要找到类间更全面的不同,决定该任务还需要多样性局部的粗粒度特征。现有方法主要关注粗细粒度下的局部定位,没有考虑如何选择粗细粒度的特征及如何融合不同粒度的特征。为此,提出一种选择并融合粗细粒度特征的细粒度图像识别方法。方法 设计一个细粒度特征选择模块,通过空间选择和通道选择来突出局部的细粒度鉴别性特征;构建一个粗粒度特征选择模块,基于细粒度模块选择后的局部,挖掘各局部间的语义和位置关系,从而获得为细粒度局部提供补充信息的粗粒度多样性特征;融合这两个模块中提取到的细粒度特征和粗粒度特征,形成互补的粗细粒度表示,以提高细粒度图像识别方法的准确性。结果 在CUB-200-2011（caltech-UCSD birds-200-2011）、Stanford Cars和FGVC-Aircraft（fine-grained visual classification aircraft） 3个公开的标准数据集上进行广泛实验,结果表明,所提方法的识别准确率分别达到90.3%、95.6%和94.8%,明显优于目前主流的细粒度图像识别方法,相较于对比方法中的最好结果,准确率相对提升0.7%、0.5%和1.4%。结论 提出的方法能够提取粗粒度和细粒度两种类型的视觉特征,同时保证特征的鉴别性和多样性,使细粒度图像识别的结果更加精准。     

身份保持约束下的面部图像超分辨率重建方法

低分辨率是影响人脸识别精度的重要因素。一种有效方法是使用图像超分辨率技术对低分辨率图像重建,生成超分辨率图像后再对其作人脸识别,从而克服低分辨率面部图像对人脸识别的限制。但是,现有超分辨率方法在重建过程中往往忽略了保持其原始身份信息,这直接影响生成图像的人脸识别结果。针对上述问题,提出了一种身份保持约束下的面部超分辨率重建方法IPNet,在提高低分辨率面部图像质量的同时,能保持重建后的面部图像身份。IPNet方法将语义分割网络和面部生成器相结合,通过语义分割网络提取低维隐码和多分辨率空间特征,进而指导面部生成器输出接近于原图的真实面部图像。在此基础上引入人脸识别网络,将身份信息整合到超分辨率方法中,从而约束重建前后的面部图像身份保持一致。实验结果表明,IPNet方法在超分辨率图像质量和身份保持上均优于其他对比方法。     

基于预训练与音素字节对编码的越南语识别

基于无监督预训练技术的wav2vec 2.0在许多低资源语种上获得了良好的性能,成为研究的热点。本文在预训练模型的基础上进行越南语连续语音识别。将语音学信息引入到基于链接时序分类代价函数（Connectionist temporal classification,CTC）的声学建模中,选取音素与含位置信息的音素作为基础单元。为了平衡建模单元数目以及模型的精细程度,采用字节对编码（Byte-pair encoding,BPE）算法生成音素子词,将上下文信息结合到声学建模过程。实验在美国NIST的BABEL任务低资源的越南语开发集上进行,所提算法相对wav2vec 2.0基线系统有明显改进,识别词错误率由37.3%降低到29.4%。