AI计算需求的抽象

算子角度

1. 信息维度映射，信息过滤，信息选择 ：Dot / GEMM  =>  Join+Reduce
2. 激活 ： ElementWise Broadcast
3. 统计、动态选择、排序 ： Reduce 、G/S
   
4. 随机数生成
5. 是不是可以把所有的计算都抽象成查找表的方式
   1. 操作的方式由操作码+密码数来指定，实际上是定义一个查找表
   2. 操作码可以是指令的imm，密码数可以是约定的，也可能是提前载入的
   3. 乘法等价？

   4. 

信息加工的角度

1. 一堆向量和另外一堆向量交叉计算相关度
   1. 存内计算只是保持一支数据更靠近计算单元
2. 一堆向量的变换

硬件的需求

1. 并行搬运数据
   1. 各个级别的速度不一样
   2. 各个级别的暂存容量大小不一样
2. 并行计算
3. 同步