Skip to main content

先量化 再训练

量化主流的LLM到Binary
  1. Lut可以进行编码压缩,降低存储需求
    1. 实际数据touch不到的选择项可以被去除
    2. 调整顺序,编码,进行无损Lut表压缩
原生的训练Bianry模型
  1. 非梯度下降
    1. 类脑的基于统计的训练