LLM大语言模型的训练

预训练

继续预训练

微调

1. 全面微调更容易出现两个问题：模型崩溃和灾难性遗忘
2. PEFT技术本质上，是作为微调的自然正则化器
   
3.