基于样本个体差异性的深度神经网络训练方法
2022-12-06 15:21:04   来源：    点击：

摘 要: 深度神经网络目前在许多任务中的表现已经达到甚至超越了人类的水平，但是其泛化能力和人类相比还是相去甚远。 如何提高网络的泛化性，一直是重要的研究方向之一.围绕这个方向开展的大量卓有成效的研究从扩展增强训练数据、通过正则化抑制模型复杂度、优化训练策略等角度，提出了很多行之有效的方法.这些方法对于训练数据集来说都是某种全局性质的策略。每一个样本数据都会被平等的对待。但是，每一个样太数据由于其携带的信息量、噪声等的不同、在训练过程中。对模型的拟合性能和泛化性能的影响也应该是有差异性的，针对是否一些样本在反复的迭代训练中更倾向于使得模型过度拟合。如何找到这些样本，是否可以通过对不同的样太采用差异化的抗过拟合策略使得模型获得更好的泛化性能等问题。提出了一种依据样太数据的差异性来训练深度神经网络的方法。首先使用预训练模型对每一个训练样本进行评估。判断每个样本对该模型的拟合效果:然后依据评估结果将训练集分为易使得模型过拟合的样本和普通的样本两个子集: 最后.再使用两个子集的数据对模型进行交替训练，过程中对易使得模型过拟合的子集采用更强有力的抗过拟合策略. 通过在不同的数据集上对多种深度模型进行的一系列实验，验证了该方法在典型的分类任务和细粒度分类任务中的效果，