Skip to main content

新的AI计算模型

背景

  1. 计算机已经发展了很多年,很多层的划分已经非常的明确
  2. 高层级的计算范式随着AI的发展,特别是LLM的发展,已经越发的清晰
    1. 传统计算机软硬件堆栈->神经网络算子->神经网络计算图->Pytorch->分布式框架->LLM->Agent->MCP
    2. 由于AI发展的太快,计算机的底层基本没有变化,只是根据AI的需要进行特定的开发
      1. 太底层,不灵活,算子及AI编译器开发消耗大量工作
      2. 软硬件结合的方式还是遵循传统计算机的经验
      3. 主流技术(CUDA)没有摆脱冯诺伊曼的架构,甚至编程模型/内存模型都没有变化
  3. 需要设计一个能适应AI的计算中间层
    1. 位置:传统编译器+编程语言之上,神经网络层之下
    2. 主要抽象,数据流,数据的tensor运算等等
    3. 类似triton

计算范式

  1. 范式:一些明确的简单的规则
  2. 作用:提供给上下游一个明确的,稳定的操作界面、规则、接口
Boids算法及三条规则的启发
  1. 能自动保持稳定,回归稳定,经过外接的扰动后能自动回归稳定
  2. 稳定的变量可以是任何可以被量化和描述的
  3. 稳定的状态就是处理结束的标志
生命游戏
围棋