Skip to main content

动态算法

  1. 动态算法
    1. 小GEMM替代大GEMM
      1. 相关性爆炸
        1. Reduce欠缺
        2. 交叉信息爆炸 
      2. 大的GEMM提供了非常大的状态空间,目标是包含所有的维度
        1. 才能使用固定路径的权重链路来完整得表达信息变换的过程
      3. 小GEMM+动态权重
        1. 使用很小的局部维度信息根据实际信息,动态得进行变换和按需要进行交叉、汇总、合并