面向传统服饰的细粒度跨模态检索算法

目的 由于跨模态数据集有限和模态异构表征问题,利用跨模态检索算法解决实际应用问题一直是当前多模态研究中的一大研究方向.方法 提出了一种面向传统服饰的细粒度跨模态检索算法,解决传统服饰跨模态检索的单模态表征和跨模态表征一致的问题.在单模态特征表征方面,沿用DCMH使用深度学习的方法对初始数据进行特征提取;在跨模态表征一致方面,新增自监督语义网络,以自监督的方式对应标签信息提取细粒度信息,并将其用于图文哈希学习的监督,从而得到更好的图文哈希表征.通过在传统服饰数据集上与其他方法进行对比实验,验证算法的有效性.结论 有关此方面的应用探索,有利于解决互联网时代中国传统服饰文本、图像处理等的保护性难题,为未来纹样检索中的工作做铺垫,实现中国传统服饰的创新性传承和发展.     

基于ResNet50与迁移学习的轮毂识别

针对人工进行轮毂分拣存在的误识别问题,采用一种基于ResNet50与迁移学习的神经网络模型来识别汽车轮毂。把预训练模型参数迁移到ResNet50卷积神经网络中,修改原网络的输出层,构建基于ResNet50的迁移学习模型,通过进一步训练轮毂数据集来微调模型参数,提取轮毂的细粒度特征。通过对比AlexNet、VGG11、VGG16与ResNet50模型在未使用微调、使用微调和冻结不同数量卷积层参数时的训练效率、准确率,证明ResNet50迁移学模型在冻结前7个Bottleneck残差块参数时不仅能缩短训练时间,并能在相同迭代周期下取得更高的准确率。在该冻结策略下训练生成TL-ResNet50迁移学习模型,分别对8种轮毂进行预测,得出每种轮毂的平均准确率达到99%以上。     

面向跨模态检索的协同注意力网络模型

随着图像、文本、声音、视频等多模态网络数据的急剧增长,人们对多样化的检索需求日益强烈,其中的跨模态检索受到广泛关注。然而,由于其存在异构性差异,在不同的数据模态之间寻找内容相似性仍然具有挑战性。现有方法大都将异构数据通过映射矩阵或深度模型投射到公共子空间,来挖掘成对的关联关系,即图像和文本的全局信息对应关系,而忽略了数据内局部的上下文信息和数据间细粒度的交互信息,无法充分挖掘跨模态关联。为此,文中提出文本-图像协同注意力网络模型(CoAN),通过选择性地关注多模态数据的关键信息部分来增强内容相似性的度量。CoAN利用预训练的VGGNet模型和循环神经网络深层次地提取图像和文本的细粒度特征,利用文本-视觉注意力机制捕捉语言和视觉之间的细微交互作用;同时,该模型分别学习文本和图像的哈希表示,利用哈希方法的低存储特性和计算的高效性来提高检索速度。在实验得出,在两个广泛使用的跨模态数据集上,CoAN的平均准确率均值(mAP)超过所有对比方法,文本检索图像和图像检索文本的mAP值分别达到0.807和0.769。实验结果说明,CoAN有助于检测多模态数据的关键信息区域和数据间细粒度的交互信息,充分挖掘跨模态数据的内容相似性,提高检索精度。     

文本检测与识别在细粒度图片分类中的应用

细粒度的图片分类是深度学习图片分类领域中的一个重要分支,其分类任务比一般的图片分类要困难,因为很多不同分类图片中的特征相似度极高,没有特别鲜明的特征用以区分,因而需要优化一个传统的图片分类方法.在一般的图片分类中,通常通过提取视觉以及像素级别的特征用来训练,然而直接应用到细粒度分类上并不太适配,效果仍有待提高,可考虑利用非像素级别的特征来加以区分.因此,我们提出联合文本信息和视觉信息作用于图片分类中,充分利用图片上的特征,将文本检测与识别算法和通用的图片分类方法结合,应用于细粒度图片分类中,在Con-text数据集上的实验结果表明我们提出的算法得到的准确率有显著的提升.     

改进Mask R-CNN的细粒度车型识别算法

针对车辆型号繁多、部分型号间差异较小带来车辆分类困难的问题,构建一种基于改进的Mask R-CNN细粒度车辆型号识别算法。改进后的算法采用聚合残差-特征金字塔网络(ResNeXt-FPN)提取特征图;调整了区域建议网络(RPN)中锚(Anchor)的尺寸大小;用Soft-NMS代替了非极大值抑制算法(NMS),以提高检测精度;去除掩码分支,节省了预测时间。为了验证算法改进的效果,将其与最新的目标检测算法进行对比。实验结果证明,改进的算法提高了车辆识别的准确率,比原始算法准确率提升了2%。     

细粒度图像分类的通道自适应判别性学习方法

由于类内差异大且类间差异小,因此细粒度图像分类极具挑战性。鉴于深层特征具有很强的特征表示能力,而中层特征又能有效地补充全局特征在图像细粒度识别中的缺失信息,因此,为了充分利用卷积层的特征,本文提出细粒度图像分类的通道自适应判别性学习方法：首先在通道方向上聚集中级特征以获取目标位置;然后对通过感兴趣区域特征交互级联得到的信息进行分类;最后进行端到端的训练,无需任何边界框和零件注释。在CUB-200-2011、Stanford Cars和FGVC-Aircraft这3个公共数据集上开展大量实验,与其他方法相比,本文方法既可以保持简单性和推理效率又可提升分类准确度。     

基于改进注意力网络的转炉炼钢状态判别

转炉炼钢的状态判别对成品钢材质量的好坏有直接影响。根据人工经验的状态判别需要持续观察炉口的火焰变化,存在主观性强、成本高等问题。为了提升转炉炼钢状态判别的准确率,提出一种基于注意力机制的3D残差卷积神经网络模型。改进的通道注意力将平均池化和最大池化进行特征融合,可以推断出更精细的通道特征,空间注意力能提取到空间上的重点信息。实验结果表明,改进的模型效果好于SE、CBAM和ECA注意力模块,与未加注意力机制的3D残差模型相比,F1分数提高了1.03个百分点,准确度提高了1.06个百分点。最后通过消融实验,分析通道注意力和空间注意力对于网络模型的影响。     

一种基于SR3D网络的人体行为识别算法

针对三维卷积神经网络无法高效地提取时空特征,提出了一种基于SR3D网络的人体行为识别算法。首先,将三维残差模块的BN层和Relu激活函数放置在三维卷积层之前,更好地提取时空特征;然后,将改进的三维残差块和SE模块组合成SR3D模块,增加重要通道的利用率,提高了网络的识别率。在UCF-101和自制异常行为数据集上进行了大量实验结果表明,SR3D算法分别达到了47.7%和83.6%的识别率(top-1精度),与三维卷积网络(C3D)相比分别提高了4.6和17.3个百分点。     

HEVC帧内预测算法加速设计与实现

新一代视频编码标准获得了较高的编码效率,但同时也增加了计算量。HEVC(High Efficiency Video Coding)并行算法能够提高编码速度,开发适用于多核处理器的并行编码算法对于满足高清视频实时传输和大规模实时共享具有十分重要的意义。分析帧内预测算法在处理像素过程中数据之间的依赖关系,进行基于预测模式的细粒度并行性的设计。块与块之间采用流水线处理,减少帧内预测算法的执行时间。利用动态可编程可重构视频阵列处理器,对帧内预测算法进行验证。实验结果表明,相比于HM16.0官方测试标准,信噪比提高了10%,算法的执行时间减少了大约70%。