深圳携手华为共创世界一流“全场景智慧深圳”

在这种情况下，我们观察到自监督下的预训练会损害训练效果，但自训练仍可以提高性能。

五、学到了什么?

1、预训练和通用的特征表征

我们看到，预训练(监督以及自监督)并不总可以给结果带来更好的效果。实际上，与自训练相比，预训练总是表现不佳。这是为什么?为什么ImageNet预训练的模型对COCO数据集的目标检测效果反而不好?为什么通过自监督预训练学习表征无法提高性能?预训练并不能理解当下的任务，并可能无法适应。分类问题比目标检测问题容易得多。在分类任务上预训练的网络是否可以获得目标检测任务所需要的所有信息?用我喜欢的表达方式来说：即使这些任务只是彼此的子集，不同的任务也需要不同级别的粒度。

2、联合训练

正如作者所言，自训练范式的优势之一是它可以联合监督和自训练目标进行训练，从而解决它们之间不匹配的问题。为了解决任务间由于差异导致的不匹配问题呢，我们也可以考虑联合训练的方法，例如联合训练ImageNet和COCO这两个数据集?作者在实验中使用了与自训练相同的参数设置，发现ImageNet的预训练可获得+ 2.6AP的增益，但使用随机初始化和联合训练可获得+ 2.9AP的更大增益。而且，预训练、联合训练和自训练都是加性的。使用相同的ImageNet数据集，ImageNet的预训练获得+ 2.6AP的增益，预训练+联合训练再获得+ 0.7AP的增益，而预训练+联合训练+自训练则获得+ 3.3AP的增益。


 

但，使用ImageNet ++ 预训练时，与使用随机初始化和ImageNet预训练相比，增益相对更小。这有什么具体原因吗?是的，ImageNet ++初始化是从检查点获得的，在该检查点使用了另外3亿张未标记的图像。

3、自监督预训练 vs 自训练

有监督的 ImageNet预训练会损害最大规模数据集和高强度数据增强下的训练效果。但是自监督的预训练呢?自监督学习(不带标签的预训练)的主要目标是构建一种通用的表征，这种表征可以迁移到更多类型的任务和数据集中。为研究自监督学习的效果，作者使用了完整的COCO数据集和最高强度的增强。目的是将随机初始化与使用了SOTA自监督算法预训练的模型进行比较。在实验中使用SimCLR的检查点，然后在ImageNet上对其进行微调。由于SimCLR仅使用ResNet-50，因此RetinaNet检测器的主干网络用ResNet-50替换。结果如下：

 

互联网赋能数字订单化农业

农事帮的“数字化订单农业”服务利用现代信息技术，对农业对象、环境和全过程，进行可视化表达、数字化设计、信息化管理，使信息技术与农业各个环节实现有效融合，有效改造传统农业、转变农业生产方式。

我们依托经验丰富的农产品专业团队，深入到种植基地，从产品的品种、种植、选果等多环节进行持续的信息监测和农企户指导，有效确保产品的质量。在产品收获后，采用专业的果品分级制度、严格的分拣标准和实用的包装设计，帮助乡村特色农产品进行产品化、商品化打造，助其便于运输、销售，获得消费者青睐。