LLM推理行为

推理的定义

1. 能利用已知的知识产生新的知识
2. 能判断一个知识的合理性
3. 能对知识的重新组织

推理应用技巧

1. 在input里面增加思维链提示，推理的示例就可以触发模型进行推理，输出详细的解题步骤
2. LLM是极度不可控的分类器，尽量直接梯度下降（优化）最终的指标，端到端得训练
3. 外挂的后处理能提升最终的性能
   1. 多次推理综合结果
   2. 降低贪心度
   3. 但是代价是更高的算力消耗，模型本身的信噪比没有提升