AI计算需求的抽象

算子角度

1. 信息维度映射，信息过滤，信息选择 ：Dot / GEMM  =>  Join+Reduce
2. 激活 ： ElementWise Broadcast
3. 统计、动态选择、排序 ： Reduce 、G/S
   
4. 随机数生成
5. 是不是可以把所有的计算都抽象成查找表的方式
   1. 操作的方式由操作码+密码数来指定，实际上是定义一个查找表
   2. 操作码可以是指令的imm，密码数可以是约定的，也可能是提前载入的
   3. 乘法等价？

   4. 

信息加工的角度

1. 一堆向量和另外一堆向量交叉计算相关度
   1. 存内计算只是保持一支数据更靠近计算单元
2. 一堆向量的变换

数字电路的特性

电路

1. 电路模块不能太大，所以要大量的相同功能进行组合
2. 组合带来了复杂的判断逻辑，需要流水化提高throughput
3. 流水化带来的latency需要用复杂的同步机制
   1. 微观上说，各种scoreboard，forwarding，多级调度，都是在控制pipeline的精密配合
   2. 宏观上说，mailbox，barrier是在更高的维度进行同步
4. 复杂同步对软件和应用有一定的要求
5. 以上几个因素根据不同的设计都有非常大的弹性，整体的方案设计难度大

加速芯片

1.  存储和传输
   1. 大量，大力度的并行搬运数据
   2. 各个级别的速度不一样
   3. 各个级别的暂存容量大小不一样
2. 并行计算
   1. 大量的充分的并行计算
      
   2. 大量的数据复用
   3. 卷积，矩阵乘
3. 同步