自然语言的内在逻辑

逻辑

1. 推断： A 是 B
2. 与或非
3. 逻辑规律： 传递性
4. 类比：判断相似性，通过类比来模仿很容易，但是分析内在原因，并描述出来，形成理论很难
   
   1. 晶体管的饱和 类比 边际效应
   2. 晶体管的放大区 类比 线性关系

逻辑规律

1. 推理任务划分为三种基本类型——溯因（Abduction）、演绎（Deduction）和归纳（Induction），比如 O=P(I)
   1. 溯因任务：已知p和对应的o，求可能的i。这类任务考察模型根据结果反推条件、理解代码语义的能力。
   2. 演绎任务：已知p和i，求o。这类任务考察模型运行和理解代码逻辑的能力。
   3. 归纳任务：已知一组i-o样例，求一个统一p。这类任务考察模型归纳总结规律、生成代码的能力。
2. a与b 就是c ，这 就是一个推断的模版，推断的规律。   逻辑 的模版，   掌握这种规律，就能应用于其他领域， 这就需要高层级的抽
3. 象能力才能学到的规律
4. 捕捉高层次的语义概念，在LLM中有效地隔离出有意义的潜在特征。

自然语言模型欠缺逻辑能力

1. 只能对样本进行回归，抽象的表示空间和样本高度一致，抽象的特征只能表示样本的概率
   1. 不能推理思考、总结规律
   2. 不能识别矛盾的样本信息
   3. A->B(30%)  A->C(20%)  A->D(25%)  A->E(25%)  B->C(100%) 那么 A的下一个最有可能的是C不是B
2. 梯度下降只能逼近样本的空间，而不进行更高层级的推理和自洽
   1. 只能模仿样本的直接表现：小孩在牙牙学语的时候不能明白“给你吃”指的是“我”，不能明白指代逻辑
   2. 没有自主意识(自洽): 询问“A的值是多少”，会回答一大段猜测和推理，其实应该能识别出缺失前提，并拒绝回答
   3. 人类通过自洽的逻辑判断来决定输出，而模型通过统计概率决定
   4. 通过约束模型对信息进行高层级的抽象，提升表达效率？
      1. 模型可以被约束，但是梯度下降的训练方式难以收敛
      2. 主要区别是，当前的梯度下降相当于强制背作文，人类学习是通过逻辑和归纳进行理解

meaning表示逻辑

1. 一个序列（自然语言语句）使用meaning进行切分，表示
   1. 一段token，不只是表示一个meaning
   2. 一个meaning可以由多种表示进行表达
2.  meaning的表达树就是表示逻辑关系
   1. 隐含表达：推断，与
   2. 显示表达：非
   3. 使用逻辑树进行推理和演绎，达到“自洽”：传递性、逻辑推理
3.  特殊的token
   1. 对序列进行分段，总结，推理，存储到KVcache里面
   2. 约束训练模型自动产生 特殊的token

逻辑表示

1. 三角树形图
   1. 可以全部靠右表示，直角三角形
   2. 越高的网络层级，希望自动生成一些总结当前语义的节点
   3. 网络的中间一个地方应该变瘦？期望变瘦，约束变瘦
2. 表示语义语境逻辑的节点
   1. 自动分析和生成逻辑节点