信息压缩-封装算力-技术共识

AI的发展实际上是在追求更高的层级的信息压缩 
 
 CNN的卷积核是对图像的信息压缩 
 多层神经网络是在压缩/抽象自然语言表达的语义 
 
 不断得更高维度的压缩才是重点 
 
 用自然语言来思考是llm这一层的最大作用，自然语言天然就是一个高度压缩的表达方式 
 推理技术的加成，让自然语言完全发挥，本质上是更高一层维度的抽象/表达/压缩 
 
 大模型本身这一层封装了海量算力 
 
 大语言模型不仅仅是权重的变大，通过推理技术，表达了更庞大算力 
 大量的训练数据让大语言模型能够梯度下降收敛 
 把大量算力压缩进有限语言里面，再用语言进行推理 
 
 共识>效率 
 
 虽然（智能表达，算力，能耗）效率很关键，但是人类似乎在规模化上更符合商业叙述 
 规模化更容易让人相信，从而达成共识，也就是scaling law