# 人脑的工作原理

### 特点

1. 人脑具有反馈回路，反馈回路形成正反馈，不断训练神经元，加强神经元
    1. 视觉神经能识别图像，也能通过提示想象出图像
    2. 语言作为抽象能力很强的表示工具，被充分用于协助思考，但不是智力的全部 @维特根斯坦
2. 所有的神经元时刻待命，适当的输入技能激活输出

    1. 不激活的状态需要主动抑制皮层神经的激活
    2. 闭眼睛的时候，视觉神经会**抑制**视觉皮层的激活
3. **动态**激活
    1. 神经元默认是静息状态，根据输入，逐级激活需要激活的神经元
4. 学习和实践（训练和推理）同步进行，**训推同时**进行
5. 能量不足的时候，大脑不是不能工作，而是有**低能耗模式**
    1. 低血糖时候，大脑能通过降低视觉识别的精度来降低能耗
        1. 老鼠识别天敌“猫”就可以，不用识别出来具体是哪种猫

### 训练/学习的过程

1. 贪心、模仿
2. 高层级的抽象带来高效率
3. 不断的对输入进行推理，保证自洽

### 训练的价值函数

1. 生物神经元或者说大脑的训练目标，可能是让神经元处在一个**有规律的环境**中，不能接受杂乱无章的信号，比较喜欢有规律的受控的处罚和激活
2. **能量效率，节能**
3. 只有在快要忘记的时候去努力回忆，记忆才会被深深地刻在大脑里

### 稀疏性

1. 支持非常大的处理空间：每个神经元大约有1000-10000的突触，海马体神经元更多，约98%的突触位于树突
2. 对很多（N=～10000）个输入信号处理，神经元通过学习，调整之间的固定连接，构造多个中间层的处理机制，形成高层级的抽象，实现高效动态计算。 大模型通过矩阵乘法将所有输入做映射计算。
3. 这N个信号，实际存在的实际组合样本很少，大部份组合情况是不存在的，非常稀疏，
4. 如果N个信号，只会存在一种情况，一个神经元就能表达，通过模仿、贪心学习快速进行抽象，而AI需要一个非常大矩阵乘法。
5. AI的大矩阵映射出来的结果和人类的单个抽象(语义）概念不对应
    1. 通过梯度下降求解，自然会自动提高权重的信息密度，每个单点的输出可能是多种概念的某个共同特征的激活
    2. 人类则更注重适应性和丰富性，强调保持灵活性和上下文的完整性，而LLM侧重于统计压缩，力求最大程度地减少冗余信息