基于深度学习的恶意代码可视化纹理检测方法

本文基于恶意家族代码可视化典型纹理特征，提出一种改进的R-FCN和迁移学习的深度学习检测方法，通过计算恶意纹理与背景纹理的IoU交叉比，剔除恶意纹理的相近边框，重新训练困难负样本等方法，提高了分类和定位检测精度；同时结合迁移学习方法加快模型收敛。实验结果表明，本文提出的改进方法在分类准确率、边框回归检测速率和m AP等方面优于其他恶意代码可视化纹理检测方法。