Binary AI
二值 二进制 Binary 神经网络算法
背景 FPGA的基本单元是LUT(查找表)，如果把LUT看成一种逻辑运算单元 查找表的真值表可以表示静态权重 查找表的部份输入表示动态权重 FPGA的可重构特性，相对于AI处理器 可以...
先量化 再训练
量化主流的LLM到Binary Lut可以进行编码压缩，降低存储需求 实际数据touch不到的选择项可以被去除 调整顺序，编码，进行无损Lut表压缩 原生的训练Bianry模型 非梯...
语言模型究竟能记住多少内容？
论文阅读笔记：How much do language models memorize? 论文基本信息： 标题：How much do language models memorize?（语言...