新的AI计算模型

背景

1. 计算机已经发展了很多年，很多层的划分已经非常的明确
2. 高层级的计算范式随着AI的发展，特别是LLM的发展，已经越发的清晰
   1. 传统计算机软硬件堆栈->神经网络算子->神经网络计算图->Pytorch->分布式框架->LLM->Agent->MCP
   2. 由于AI发展的太快，计算机的底层基本没有变化，只是根据AI的需要进行特定的开发
      1. 太底层，不灵活，算子及AI编译器开发消耗大量工作
      2. 软硬件结合的方式还是遵循传统计算机的经验
      3. 主流技术（CUDA）没有摆脱冯诺伊曼的架构，甚至编程模型/内存模型都没有变化
3. 需要设计一个能适应AI的计算中间层
   1. 位置：传统编译器+编程语言之上，神经网络层之下
   2. 主要抽象，数据流，数据的tensor运算等等
   3. 类似triton

计算范式

1. 范式：一些明确的简单的规则
2. 作用：提供给上下游一个明确的，稳定的操作界面、规则、接口

Boids算法及三条规则的启发

1. 能自动保持稳定，回归稳定，经过外接的扰动后能自动回归稳定
2. 稳定的变量可以是任何可以被量化和描述的
3. 稳定的状态就是处理结束的标志

玻尔兹曼机

1. E = 所有 状态*权重*状态 之和
2. 用各个节点的状态表示各个权重的计算中间值和输入输出
3. 把改变中间状态使得整体的能量最低点（稳态）作为网络前向（推理）的计算过程
4. 训练和收敛：调整权重，使得针对所有的输入都能达到一个能量最低点
5. 利用能量最低作为标识，把部分权重信息转移到状态，在推理的时候需要利用能量最低重新计算这部分权重

生命游戏

围棋