采用样本解释复杂问题
采用数量足够多的样本来拟合一个复杂问题的可能性,也就是梯度下降
-
怎么定义、量化一个问题的,或者说领域知识的复杂性?
- 自然语言的复杂性?
- 布局布线的复杂性?
-
怎么定义一个样本对特定问题的解释的程度?
-
复杂性怎么对应到样本的数量?
-
具身智能,需要多少数据?
-
自动驾驶已经积累了那么多数据,为什么还是不行?
-
LLM的知识层次的金字塔表示
- 高度,越靠近塔顶,知识的层次越高,知识的空间越小
- 宽度,表示序列的长度,也就是上下文的长度
- 涂色,表示这个层次的知识点被激活了
- 推理之后,越高的地方被涂色,表示推理的逻辑越深,知识的层次越高
- 思维链怎么提升知识的层次?
- 模型的思维链能力是通过后训练的来实现的
- 思维链本质上也是在算概率
- 思维链是通过拉长地基,从而推倒出更高层级的知识
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 580 165" width="100%" height="auto" style="font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, 'PingFang SC', 'Microsoft YaHei', sans-serif; background-color: #ffffff;">
<defs>
<!-- 统一的等边三角形外框与裁剪路径 (顶点: 65,10; 左下: 5,113.92; 右下: 125,113.92) -->
<clipPath id="equilateral-clip">
<polygon points="65,10 5,113.92 125,113.92" />
</clipPath>
<polygon id="equilateral-outline" points="65,10 5,113.92 125,113.92" fill="none" stroke="#2c3e50" stroke-width="2" stroke-linejoin="round" />
</defs>
<!-- ================= 图 1: Input Prefill ================= -->
<g transform="translate(10, 10)">
<g clip-path="url(#equilateral-clip)">
<polygon points="5,113.92 25,79.28 45,113.92" fill="#2c3e50" />
</g>
<use href="#equilateral-outline" />
<text x="65" y="138" font-size="13" text-anchor="middle" fill="#333333">Input Prefill</text>
</g>
<!-- ================= 图 2: Decode ================= -->
<g transform="translate(150, 10)">
<g clip-path="url(#equilateral-clip)">
<polygon points="5,113.92 25,79.28 45,113.92" fill="#2c3e50" />
<polygon points="27,75.82 31,68.89 57,113.92 49,113.92" fill="#5d6d7e" />
<polygon points="33,65.43 37,58.50 69,113.92 61,113.92" fill="#85929e" />
</g>
<use href="#equilateral-outline" />
<text x="65" y="138" font-size="13" text-anchor="middle" fill="#333333">Decode</text>
</g>
<!-- ================= 图 3: Effective Limit ================= -->
<g transform="translate(290, 10)">
<g clip-path="url(#equilateral-clip)">
<polygon points="5,113.92 25,79.28 45,113.92" fill="#2c3e50" />
<polygon points="27,75.82 31,68.89 57,113.92 49,113.92" fill="#5d6d7e" />
<polygon points="33.25,65.0 65,65.0 94.75,113.92 57,113.92 31,68.89" fill="#95a5a6" />
<line x1="33.25" y1="65.0" x2="65" y2="65.0" stroke="#2c3e50" stroke-width="1.8" />
</g>
<use href="#equilateral-outline" />
<text x="65" y="138" font-size="13" text-anchor="middle" fill="#333333">Effective Limit</text>
</g>
<!-- ================= 图 4: CoT ================= -->
<g transform="translate(430, 10)">
<g clip-path="url(#equilateral-clip)">
<polygon points="5,113.92 25,79.28 45,113.92" fill="#2c3e50" />
<polygon points="27,75.82 31,68.89 57,113.92 49,113.92" fill="#5d6d7e" />
<polygon points="33.25,65.0 65,65.0 73.75,48.0 98,48.0 126.24,113.92 57,113.92 31,68.89" fill="#95a5a6" />
<polyline points="33.25,65.0 65,65.0 73.75,48.0 98,48.0" fill="none" stroke="#2c3e50" stroke-width="1.8" stroke-linejoin="round" />
</g>
<use href="#equilateral-outline" />
<text x="65" y="138" font-size="13" text-anchor="middle" fill="#333333">CoT</text>
</g>
</svg>
知识的密度,逻辑的密度,金字塔模型,和训练数据的覆盖度
其他数据
- 图像/视频里面,有没有像语言一样,有大量密集的逻辑,可以用于训练模型的一方面能力。 有足够的数据 和 问题复杂度之比