面向边缘智能的两阶段对抗知识迁移方法
2022-12-06 15:16:01   来源：    点击：

摘要: 对抗样本的出现，对深度学习的鲁棒性提出了挑战。随着边缘智能的兴起，如何在计算资源有限的边缘设备上部署鲁棒的精简深度学习模型，是一个有待解决的问题，由于精简模型无法通过常规的对抗训练获得良好的鲁棒性，提出两阶段对抗知识迁移的方法，先将对抗知识从数据向模型迁移，然后将复杂模型获得的对抗知识向精简模型迁移。对抗知识以对抗样本的数据形式蕴含，或以模型决策边界的形式蕴含具体而言、利用云平台上的GPU集群对复杂模型进行对抗训练，实现对抗知识从数据向模型迁移: 利用改进的蒸留技术将对抗知识进一步从复杂模型向精简模型的迁移，最后提升边缘设备上精简模型的鲁棒性,在 MNIST,CIFAR-10 和 CIFAR-100这3 个数据集上进行验证，实验结果表明: 提出的这种两阶段对抗知识迁移方法可以有效地提升精简模型的性能和鲁棒性，同时加快训练过程的收敛性