带比例因子的卷积神经网络压缩方法

针对卷积神经网络在图像分类任务中,分类准确率高但实时性差的问题。提出了一种含比例因子的“知识提取”算法。此方法在已有的“知识提取”算法上,加入了衡量样本类间相近关系的比例因子,充实了网络压缩手段,使得神经网络可以更精确地进行“知识提取”。其原理是将比例因子误差值作为代价函数的一部分参与训练调节神经网络的神经元参数,进而使得神经网络的泛化能力更加趋近于具有更好分类表现能力的压缩参考网络。结果表明,含比例因子的神经网络压缩算法可以更细致地刻画训练集的类间相近关系,拥有比原“知识提取”算法更好的训练性能,进而训练出泛化性能更强、精度更高的神经网络。实现了在网络分类准确率下降尽量小的前提下,较大程度地减少神经网络的分类耗时,以达到网络压缩的目的。