文章介绍了提示学习（Prompt Learning）中两种常见的策略：硬模板方法和软模板方法。硬模板方法，如PET（Pattern Exploiting Training）和LM-BFF，通过将问题建模成完形填空问题来优化模型的输出，这种方法能够显著减少对数据量的需求。相比之下，软模板方法，如P-tuning, Prefix Tuning和Soft Prompt Tuning，通过在模型输入端引入可学习的参数来提高模型的性能和灵活性。

这种分类和解释的方法不仅为我们提供了一种清晰的视角来理解不同的技术手段，而且还强调了在选择和应用这些技术时，应该根据具体的任务需求和现有资源来决定采用哪种策略。这不仅涉及到技术的优劣对比，更涉及到资源的有效利用和任务的实际效果。通过这样的深入分析和对比，我们能够更好地指导实践操作，选择最适合自己项目的技术路径。

提示学习中常见的Prompt方法可以大概分为硬模板方法和软模板方法。

硬模板方法

主要介绍PET方法和LM-BFF方法。

1. PET(Pattern Exploiting Training)

硬模板-PET(Pattern Exploiting Training)，它是一种较为经典的提示学习方法，即将问题建模成一个完形填空问题，然后优化最终的输出词。虽然 PET 也是在优化整个模型的参数，但是相比于传统的 Fine-tuning 方法，对数据量需求更少。建模方式如下（以往模型只要对$P(l|x)$建模就好了（$l$是label），但现在加入了Prompt $P$以及标签映射（称为verbalizer），所以这个问题就可以更新为）： s p ( l ∣ x ) = M ( v ( l ) ∣ P ( x ) ) s_p(l|x)=M(v(l)|P(x)) sp​(l∣x)=M(v(l)∣P(x))其中$M$表示模型，$s$相当于某个prompt下生成对应word的$logits$。再通过softmax，就可以得到概率： q p ( l ∣ x ) = e s p ( l ∣ x ) ∑ l ′ ∈ L e s p ( l ′ ∣ x ) q_p(l|x)=\\frac{e^{s_p(l|x)}}{\\sum_{l'\\in L}e^{s_p(l'|x)}} qp​(l∣x)=∑l′∈L​esp​(l′∣x)