自然语言的内在逻辑

逻辑

1. 推断： A 是 B
2. 与或非
3. 逻辑规律： 传递性
4. 类比：判断相似性，通过类比来模仿很容易，但是分析内在原因，并描述出来，形成理论很难
   
   1. 晶体管的饱和 类比 边际效应
   2. 晶体管的放大区 类比 线性关系

逻辑规律

a与b 就是c ，这 就是一个推断的模版，推断的规律。   逻辑 的模版，   掌握这种规律，就能应用于其他领域， 这就需要高层级的抽象能力才能学到的规律

捕捉高层次的语义概念，在LLM中有效地隔离出有意义的潜在特征。

自然语言模型欠缺逻辑能力

1. 只能对样本进行回归，抽象的表示空间和样本高度一致，抽象的特征只能表示样本的概率
   1. 不能推理思考、总结规律
   2. 不能识别矛盾的样本信息
   3. A->B(30%)  A->C(20%)  A->D(25%)  A->E(25%)  B->C(100%) 那么 A的下一个最有可能的是C不是B

meaning表示逻辑

1. 特殊的token
   1. 对序列进行分段，总结，推理，存储到KVcache里面
   2. 约束训练模型自动产生 特殊的token