信息压缩-封装算力-技术共识

AI的发展实际上是在追求更高的层级的信息压缩

1. CNN的卷积核是对图像的信息压缩
2. 多层神经网络是在压缩/抽象自然语言表达的语义

不断得更高维度的压缩才是重点

1. 用自然语言来思考是llm这一层的最大作用，自然语言天然就是一个高度压缩的表达方式
2. 推理技术的加成，让自然语言完全发挥，本质上是更高一层维度的抽象/表达/压缩

大模型本身这一层封装了海量算力

1. 大语言模型不仅仅是权重的变大，通过推理技术，表达了更庞大算力
2. 大量的训练数据让大语言模型能够梯度下降收敛
3. 把大量算力压缩进有限语言里面，再用语言进行推理

共识>效率

1. 虽然（智能表达，算力，能耗）效率很关键，但是人类似乎在规模化上更符合商业叙述
2. 规模化更容易让人相信，从而达成共识，也就是scaling law