软提示

提示微调(Prompt Tuning) 是模型微调（@khashabi2021prompt）的一种替代方法，它会固定模型权重并更新提示的参数，生成的提示被称为“软提示”。

模型微调与提示调整的对比 (Lester et al.)

上面的图表比较了模型微调和提示调整的差异。在模型微调中，你会对同一个模型在不同任务上进行微调。这将产生多个不同的模型，但无法保证能够轻松地批处理不同任务的输入。

另一方面，提示调整允许你在所有任务中使用同一个模型。你只需在推理时附加适当的提示，这样可以更容易地在不同任务之间进行批处理。这也是常规提示的优势之一。此外，通过为单个模型跨多个任务进行软提示训练，通常可以保持相同的标记长度。

工作原理

为了理解软提示背后的基本逻辑，让我们思考一下如何在给定提示What's 2+2?上进行模型推理：

对于给定的: What's 2+2?.

1) 它可能被标记为 What, 's, 2, +, 2, ?.
2) 然后，每个标记将被转换为一组值的向量。
3) 这些向量可以视为模型参数。模型可以进一步训练，仅调整这些提示的权重。

请注意，一旦我们开始更新这些权重，标记的向量就不再对应于词汇表中实际的嵌入。

提示调整对较大的模型表现更好。较大的模型也需要较少的软提示标记。但是，超过20个标记并不会产生显著的性能提高。