| 基于双向稀疏Transformer的多变量时序分类模型 |
| |
| 引用本文： | 王慧强,陈楚皓,吕宏武,米海林.基于双向稀疏Transformer的多变量时序分类模型[J].小型微型计算机系统,2024(3):555-561. |
| |
| 作者姓名： | 王慧强 陈楚皓 吕宏武 米海林 |
| |
| 作者单位： | 哈尔滨工程大学计算机科学与技术学院 |
| |
| 摘 要： | 针对多变量时序(Multivariate Time Series, MTS)分类中长序列数据难以捕捉时序特征的问题，提出一种基于双向稀疏Transformer的时序分类模型BST(Bidirectional Sparse Transformer),提高了MTS分类任务的准确度.BST模型使用Transformer框架，构建了一种基于活跃度得分的双向稀疏注意力机制.基于KL散度构建活跃度评价函数，并将评价函数的非对称问题转变为对称权重问题.据此，对原有查询矩阵、键值矩阵进行双向稀疏化，从而降低原Transformer模型中自注意力机制运算的时间复杂度.实验结果显示，BST模型在9个长序列数据集上取得最高平均排名，在临界差异图中领先第2名35.7%,对于具有强时序性的乙醇浓度数据集(Ethanol Concentration, EC),分类准确率提高30.9%.
|
| 关 键 词： | 多变量时序分类 Transformer 双向稀疏机制 活跃度评价函数 |
|
|
