让你搞懂 Nginx 的负载均衡

3、预训练

为了研究预训练的有效性，作者使用了ImageNet预训练的检查点。使用EfficientNet-B7作为架构用于评估，对此模型，设置了两个不同的检查点，如下所示：1)ImageNet：通过AutoAugment在检查点上训练EfficientNet-B7，在ImageNet上达到84.5%了的top-1准确率。2)ImageNet ++：采用论文《Self-training with Noisy Student improves ImageNet classification》中提出的Noisy Student方法在检查点上训练EfficientNet-B7，其中利用了额外3亿张未标记的图像，并达到了86.9%的top-1准确率。采用随机初始化训练的结果标记为Rand Init。

4、自训练

自训练是基于Noisy Student方法实现的，有三个步骤：

• 在标记的数据(例如COCO数据集)上训练teacher model。
• 使用teacher model在未标记的数据(例如ImageNet数据集)上生成伪标记。
• 训练一个student model，以联合优化人工标签和伪标签上的损失。

四、实验

1、增强和标记数据集大小对预训练的影响

作者使用ImageNet进行监督预训练，并改变带标签的COCO数据集大小以研究预训练对结果的影响。实验过程中，不仅会改变标记数据的大小，而且还使用不同增强强度的数据集，使用以EfficientNet-B7为主干网络的RetinaNe模型来进行训练。作者观察到以下几点：

• 使用高强度的数据增强时，监督预训练会损害性能：作者注意到，当他们使用如上所述的标准增强方法Augment-S1时，预训练会对结果有所帮助。但是随着增加增强的强度，预训练并未对结果有太大帮助。实际上，他们观察到，在使用最强的数据增强(Augment-S3)时，预训练会严重损害性能。
• 更多带标签的数据会降低监督预训练的价值：这不是一个新发现。我们都知道，当数据量较小时，预训练会对结果有所帮助。但是有足够数量的标记数据时，从头开始训练也不会得到很差的结果。作者发现了相同的结论，这一观点与FAIR的论文《Rethinking ImageNet Pre-training》相一致。