人脑的工作原理

特点

1.  人脑具有反馈回路，反馈回路形成正反馈，不断训练神经元，加强神经元
   1. 视觉神经能识别图像，也能通过提示想象出图像
   2. 语言作为抽象能力很强的表示工具，被充分用于协助思考，但不是智力的全部 @维特根斯坦 
2. 所有的神经元时刻待命，适当的输入技能激活输出
   
   1. 不激活的状态需要主动抑制皮层神经的激活
   2. 闭眼睛的时候，视觉神经会抑制视觉皮层的激活
3. 动态激活
   1. 神经元默认是静息状态，根据输入，逐级激活需要激活的神经元
4. 学习和实践（训练和推理）同步进行，训推同时进行
5. 能量不足的时候，大脑不是不能工作，而是有低能耗模式
   1. 低血糖时候，大脑能通过降低视觉识别的精度来降低能耗
      1. 老鼠识别天敌“猫”就可以，不用识别出来具体是哪种猫

训练/学习的过程

1. 贪心、模仿
2. 高层级的抽象带来高效率
3. 不断的对输入进行推理，保证自洽

稀疏性

1. 支持非常大的处理空间：每个神经元大约有1000-10000的突触，海马体神经元更多，约98%的突触位于树突
2. 对很多（N=～10000）个输入信号处理，神经元通过学习，调整之间的固定连接，构造多个中间层的处理机制，形成高层级的抽象，实现高效动态计算。 大模型通过矩阵乘法将所有输入做映射计算。  
3. 这N个信号，实际存在的实际组合样本很少，大部份组合情况是不存在的，非常稀疏，  
4. 如果N个信号，只会存在一种情况，一个神经元就能表达，通过模仿、贪心学习快速进行抽象，而AI需要一个非常大矩阵乘法。
5.  AI的大矩阵映射出来的结果和人类的单个抽象(语义）概念不对应
   1. 通过梯度下降求解，自然会自动提高权重的信息密度，每个单点的输出可能是多种概念的某个共同特征的激活
   2. 人类则更注重适应性和丰富性，强调保持灵活性和上下文的完整性，而LLM侧重于统计压缩，力求最大程度地减少冗余信息