AI算法的里面的“乘法”

原理 
 
 特征向量
 
 表达了一堆的对象的集合，平铺得组合在一起，没有层级结构 
 向量内的每个对象都被量化后并且归一化 
 
 
 多个乘法再累加组成了线性变换
 
 Y = A X_1 + B X_2 + C X_3 + ... 
 
 
 线性变换
 
 表达了一个特征向量到另外一个特征的映射关系 
 通过按照 特征/向量 进行统计和汇总的方法 
 
 
 
 线性变换 
 8位足够满足人脑的实际精度需求 
 乘法 导致 不归一 
 乘法为了实现线性变换，为了对信号进行处理：信号通过权重进行选择 
 加法为了统计 
 神经元的内部状态是fp32，输入输出是int8 
 学习 => 对所有的笔记进行学习，深层kv cache 
 检索 => 对问题进行回答 
 总结 => 对问题的响应，并总结后附加到AI的记忆 
 乘法很贵，很浪费 
 
 乘法实际上是把一个维度的信息变换到另外一个维度上，通过比例映射的方式 
 使用移位的方式来替代乘法？
 
 所有的向量映射方式使用固定的模式进行计算，移位=>累加=>移位 的方式 
 可能是量化的一种 
 非主流 ：和科学的持续进步对比，算力从来都不是问题？科学发展方向从来都是整个社会协调的结果，虽然可能不是最优的，但是一定是可行的方向。