Self-Instruct

指令微调已经展示了在LLM训练中的非凡作用，但还是需要人来编写，于是推出了Self-Instruct框架，通过预训练语言模型自身生成的内容来提升这些模型遵循指令的能力。类似于自举（bootstrapping）的概念，通过使用模型的输出来增强模型的本身，而不完全依赖外部数据，增强模型的泛化能力，使其能更好的适应新的指令和任务。