Skip to main content

先量化 再训练

量化主流的LLM到Binary
    Lut可以进行编码压缩,降低存储需求
      实际数据touch不到的选择项可以被去除 调整顺序,编码,进行无损Lut表压缩
      原生的训练Bianry模型
      1. 非梯度下降
        1. 类脑的基于统计的训练