自然语言的内在逻辑

逻辑

1. 推断： A 是 B
2. 与或非
3. 逻辑规律： 传递性
4. 类比：判断相似性，通过类比来模仿很容易，但是分析内在原因，并描述出来，形成理论很难
   
   1. 晶体管的饱和 类比 边际效应
   2. 晶体管的放大区 类比 线性关系

逻辑规律

a与b 就是c ，这 就是一个推断的模版，推断的规律。   逻辑 的模版，   掌握这种规律，就能应用于其他领域， 这就需要高层级的抽象能力才能学到的规律

捕捉高层次的语义概念，在LLM中有效地隔离出有意义的潜在特征。

自然语言模型欠缺逻辑能力

1. 只能对样本进行回归，抽象的表示空间和样本高度一致，抽象的特征只能表示样本的概率
   1. 不能推理思考、总结规律
   2. 不能识别矛盾的样本信息
   3. A->B(30%)  A->C(20%)  A->D(25%)  A->E(25%)  B->C(100%) 那么 A的下一个最有可能的是C不是B
2. 梯度下降只能逼近样本的空间，而不进行更高层级的推理和自洽
   1. 只能模仿样本的直接表现：小孩在牙牙学语的时候不能明白“给你吃”指的是“我”，不能明白指代逻辑
   2. 没有自主意识(自洽): 询问“A的值是多少”，会回答一大段猜测和推理，其实应该能识别出缺失前提，并拒绝回答
   3. 人类通过自洽的逻辑判断来决定输出，而模型通过统计概率决定
   4. 通过约束模型对信息进行高层级的抽象，提升表达效率？
      1. 模型可以被约束，但是梯度下降的训练方式难以收敛
      2. 主要区别是，当前的梯度下降相当于强制背作文，人类学习是通过逻辑和归纳进行理解

meaning表示逻辑

1. 特殊的token
   1. 对序列进行分段，总结，推理，存储到KVcache里面
   2. 约束训练模型自动产生 特殊的token