AI算法的里面的“乘法”

原理

1. 特征向量
   1. 表达了一堆的对象的集合，平铺得组合在一起，没有层级结构
   2. 向量内的每个对象都被量化后并且归一化
2. 多个乘法再累加组成了线性变换
   1. Y = A X_1 + B X_2 + C X_3 + ...
3. 线性变换
   1. 表达了一个特征向量到另外一个特征的映射关系
   2. 通过按照特征/向量进行统计和汇总的方法

线性变换

8位足够满足人脑的实际精度需求

乘法 导致 不归一

乘法为了实现线性变换，为了对信号进行处理：信号通过权重进行选择

加法为了统计

神经元的内部状态是fp32，输入输出是int8

学习 => 对所有的笔记进行学习，深层kv cache

检索 => 对问题进行回答

总结 => 对问题的响应，并总结后附加到AI的记忆

乘法很贵，很浪费

1. 乘法实际上是把一个维度的信息变换到另外一个维度上，通过比例映射的方式
2. 使用移位的方式来替代乘法？
   1. 所有的向量映射方式使用固定的模式进行计算，移位=>累加=>移位 的方式
   2. 可能是量化的一种
   3. 非主流：和科学的持续进步对比，算力从来都不是问题？科学发展方向从来都是整个社会协调的结果，虽然可能不是最优的，但是一定是可行的方向。