> 文章列表 > 【ChatGPT】一文详解Prompt学习和微调(Prompt Learning Prompt Tuning)

【ChatGPT】一文详解Prompt学习和微调(Prompt Learning Prompt Tuning)

【ChatGPT】一文详解Prompt学习和微调(Prompt Learning  Prompt Tuning)

Self-Attention 和 Transformer 自从问世就成为了自然语言处理领域的新星。得益于全局的注意力机制和并行化的训练,基于 Transformer 的自然语言模型能够方便的编码长距离依赖关系,同时在大规模自然语言数据集上并行训练成为可能。但由于自然语言任务种类繁多,且任务之间的差别不太大,所以为每个任务单独微调一份大模型很不划算。

在 CV 中,不同的图像识别任务往往也需要微调整个大模型,也显得不够经济。Prompt Learning 的提出给这个问题提供了一个很好的方向。

目录

NLP 模型的发展

Prompt Learning

2.1 什么是 Prompt?