了解Transformer架构的前奏_什么是预训练_理解预训练---人工智能工作笔记0034

我们会先来说预训练有什么用,其实 

之前说的机器学习,其实都是跟数学相关性很大的,比如,支持向量机,回归算法,

1.最早的时候,做机器学习,就是偏数学的,比如用的决策树,支持向量机,线性回归,逻辑回归等算法.

这种是偏向数学的,偏向统计的.

然后这个深度学习,其实就是偏大数据的,需要大量的数据来训练,需要大数据支持.

但是呢实际上,很多的项目是没有大数据的支持的,比如,我们有个猫狗分类问题,

我给你100张图片,让你去训练,然后再给你一张图片,让你用你的模型分辨是猫还是狗,很显然

数量太少对吧,训练的效果好,如果给1000张,10000张还可以试试对吧.那怎么办呢?

这个时候就有人想办法,虽然我没有一个猫狗分类的,经过大量数据训练的模型,但是我知道有个别人

做好的一个鸭鹅的,用了10万张数据训练好的模型了.那就可以用这个已经做好的鹅鸭的模型来做了

比如我们成为这个鹅鸭的模型是A