江东的笔记

Be overcome difficulties is victory

0%

怎么理解预训练模型?

“预训练“的做法一般是将大量低成本收集的训练数据放在一起,经过某种预训方法去学习其中的共性……

什么是预训练

“预训练“的做法一般是将大量低成本收集的训练数据放在一起,经过某种预训方法去学习其中的共性,然后将其中的共性“移植”到特定任务的模型中,再使用相关特定领域的少量标注数据进行“微调”,这样的话,模型只需要从”共性“出发,去“学习”该特定任务的“特殊”部分即可。

预训练的思想

预训练的思想是:模型的参数不再是随机初始化的,而是通过一些任务进行预先训练,得到一套模型参数,然后用这套参数对模型进行初始化,再进行训练

CV领域的预训练

首先对于CV领域图片分类任务,常用的深度学习模型是卷积视神经网络,对于多层的卷积神经网络来说,不同的层学到的特征是不同的,为了捕获更多的特征,浅层的感受野较小,所以浅层学到的特征往往是更加通用的,包含更多的像素点的信息,比如一些细粒度的信息:颜色、纹理、边缘等。
通常在大规模图片数据上预先获得‘通用特征’,然后再去做下游任务:
在这里插入图片描述