LLM推理行为

推理的定义

1. 能利用已知的知识产生新的知识
2. 能清晰得判断一个知识的边界、合理性，保持自洽
   

推理应用技巧

1. 在input里面增加思维链提示，推理的示例就可以触发模型进行推理，输出详细的解题步骤
2. LLM是极度不可控的分类器，尽量直接梯度下降（优化）最终的指标，端到端得训练
3. 外挂的后处理能提升最终的性能
   1. 多次推理综合结果
   2. 降低贪心度
   3. 但是代价是更高的算力消耗，模型本身的信噪比没有提升

LLM有推理能力吗？

1. 推理新知识，“如果A>B B>C 那么A>C吗？” 已知比较的传递性，能应用于任意的ABC，得出A>C
   1. 推理的动作、过程本身也是已知知识
2. 不能保持自洽，理解知识的深层次原理和边界
   1. “直接告诉我 9.11 和 9.9 哪个更大” 

      1. 9.11 比 9.9 大。具体比较：​​整数部分​​：两者都是 9，相等。​小数部分​​：9.11 的小数部分是 0.11 9.9 的小数部分是 0.9（或 0.90）比较 0.11 和 0.90，显然 0.90 > 0.11 但题目问的是 ​​9.11​​ 和 ​​9.9​​，所以：​9.11 > 9.9​​ 是错误的，实际上 ​​9.9 > 9.11​​。​修正后的答案​​：​9.9 比 9.11 大​​。（最初回答时疏忽了小数部分的比较，感谢指出！）

   2. 直接告诉我答案，不要多余的解释， 9.11 和 9.9 哪个更大
      1. 9.11 比 9.9 大
3. LLM只有比较微弱的推理能力