基于改进Transformer的布料材质识别方法研究

布料材质识别是一个极具挑战性的计算机视觉问题。针对传统识别方法存在的识别周期长、人为因素多、技术壁垒高以及有破坏性等缺点，提出了一种基于改进Transformer的布料材质识别方法，该方法利用输入的布料运动视频，通过布料运动的外观变化识别布料的材质类型。改进的Transformer模型由Transformer块和残差空间缩减块(Residual Spatial Reduction)组成，将Transformer块中的自注意力分解为时间自注意力和空间自注意力来减少计算量和运行时间，将两个残差空间缩减块添加进Transformer模型中来减少空间冗余信息和提高布料材质识别的准确率。此外，使用预训练的图像模型对视频模型初始化，可以在减少计算量的同时保持模型的高性能。在布料运动数据集上的实验结果表明，本文方法对12种不同布料材质视频的材质种类识别的准确率达到82.3%,相比其他方法，该方法的识别精度更高。