基于长短期存储的聚合增强型煤矸石视频识别模型

采用煤矸石图像识别技术进行煤矸石识别会错过一些关键目标的识别。视频目标识别模型比图像目标识别模型更贴近煤矸石识别分选场景需求，对视频数据中的煤矸石特征可以进行更广泛、更有深度的提取。但目前煤矸石视频目标识别技术未考虑视频帧重复性、帧间相似性、关键帧偶然性对模型性能的影响。针对上述问题，提出了一种基于长短期存储（LSS）的聚合增强型煤矸石视频识别模型。首先，采用关键帧与非关键帧对海量信息进行初筛。对煤矸石视频帧序列进行多帧聚合，通过时空关系网络（TRN）将关键帧与相邻帧特征信息相聚合，建立长期视频帧和短期视频帧，在不丢失关键特征信息的同时减少模型计算量。然后，采用语义相似性权重、可学习权重和感兴趣区域（ROI）相似性权重融合的注意力机制，对长期视频帧、短期视频帧与关键帧之间的特征进行权重再分配。最后，设计用于存储增强的LSS模块，对长期视频帧与短期视频帧进行有效特征存储，并在关键帧识别时加以融合，增强关键帧特征的表征能力，以实现煤矸石识别。基于枣泉选煤厂自建煤矸石视频数据集对该模型进行实验验证，结果表明：相较于记忆增强全局-局部聚合（MEGA）网络、基于流引导的特征聚合视频目标检测（FG...