# 自然语言的内在逻辑

### 逻辑

1. 推断： A 是 B
2. 与或非
3. 逻辑规律： 传递性
4. 类比：判断相似性，通过类比来模仿很容易，但是分析内在原因，并描述出来，形成理论很难

    1. 晶体管的饱和 类比 边际效应
    2. 晶体管的放大区 类比 线性关系

### 逻辑规律

1. 推理任务划分为三种基本类型——溯因（Abduction）、演绎（Deduction）和归纳（Induction），比如 O=P(I)
    1. 溯因任务：已知p和对应的o，求可能的i。这类任务考察模型根据结果反推条件、理解代码语义的能力。
    2. 演绎任务：已知p和i，求o。这类任务考察模型运行和理解代码逻辑的能力。
    3. 归纳任务：已知一组i-o样例，求一个统一p。这类任务考察模型归纳总结规律、生成代码的能力。
2. a与b 就是c ，这 就是一个推断的模版，推断的规律。 逻辑 的模版， 掌握这种规律，就能应用于其他领域， 这就需要高层级的抽
3. 象能力才能学到的规律
4. 捕捉高层次的语义概念，在LLM中有效地隔离出有意义的潜在特征。

### 自然语言模型欠缺逻辑能力

1. 只能对样本进行回归，抽象的表示空间和样本高度一致，抽象的特征只能表示样本的概率
    1. 不能推理思考、总结规律
    2. 不能识别矛盾的样本信息
    3. A->B(30%) A->C(20%) A->D(25%) A->E(25%) B->C(100%) 那么 A的下一个最有可能的是C不是B
2. 梯度下降只能逼近样本的空间，而不进行更高层级的推理和自洽
    1. 只能模仿样本的直接表现：小孩在牙牙学语的时候不能明白“给你吃”指的是“我”，不能明白指代逻辑
    2. 没有自主意识(自洽): 询问“A的值是多少”，会回答一大段猜测和推理，其实应该能识别出缺失前提，并拒绝回答
    3. 人类通过自洽的逻辑判断来决定输出，而模型通过统计概率决定
    4. 通过约束模型对信息进行**高层级的抽象**，提升表达效率？
        1. 模型可以被约束，但是梯度下降的训练方式难以收敛
        2. 主要区别是，当前的梯度下降相当于强制背作文，人类学习是通过逻辑和归纳进行理解

### meaning表示逻辑

1. 一个序列（自然语言语句）使用meaning进行切分，表示
    1. 一段token，不只是表示一个meaning
    2. 一个meaning可以由多种表示进行表达
2. meaning的表达树就是表示逻辑关系
    1. 隐含表达：推断，与
    2. 显示表达：非
    3. **使用逻辑树进行推理和演绎，达到“自洽”：传递性、逻辑推理**
3. 特殊的token
    1. 对序列进行分段，总结，推理，存储到KVcache里面
    2. 约束训练模型自动产生 特殊的token

### 逻辑表示

1. 三角树形图
    1. 可以全部靠右表示，直角三角形
    2. 越高的网络层级，希望自动生成一些总结当前语义的节点
    3. 网络的中间一个地方应该变瘦？期望变瘦，约束变瘦
2. 表示语义语境逻辑的节点
    1. 自动分析和生成逻辑节点

meaning4 + meaning= + meaning5 等价推断
断言表达

\### meaning或等逻辑操作是一种特殊的meaning，能对meaning进行变换
1. meaning1 + meaning或 + meaning2 = meaning2
2. meaning4 + meaning或 + meaning5 = meaning6