基于深度学习的船舶数据向量模型研究

近年来,航运信息化建设进程加速发展,然而由于各单位在船舶信息管理上的不统一,导致收集到的数据存在大量的相似重复数据。如果直接使用这部分数据进行数据分析,会对最终结果造成严重影响。为了解决对重复数据的检测问题,文章基于深度学习,融合FastText向量模型、BERT模型以及LDA模型,搭建多语义融合模型,对船舶数据进行向量构建,使得生成的向量包含信息更全面,提升重复检测准确率,提高船舶数据清洗效率。