采用样本解释复杂问题


采用数量足够多的样本来拟合一个复杂问题的可能性,也就是梯度下降

  1. 怎么定义、量化一个问题的,或者说领域知识的复杂性?

    1. 自然语言的复杂性?
    2. 布局布线的复杂性?
  2. 怎么定义一个样本对特定问题的解释的程度?

  3. 复杂性怎么对应到样本的数量?

    1. 具身智能,需要多少数据?

    2. 自动驾驶已经积累了那么多数据,为什么还是不行?


LLM的知识层次的金字塔表示

  1. 高度,越靠近塔顶,知识的层次越高,知识的空间越小
  2. 宽度,表示序列的长度,也就是上下文的长度
  3. 涂色,表示这个层次的知识点被激活了
  4. 推理之后,越高的地方被涂色,表示推理的逻辑越深,知识的层次越高
  5. 思维链怎么提升知识的层次?
    1. 模型的思维链能力是通过后训练的来实现的
    2. 思维链本质上也是在算概率
    3. 思维链是通过拉长地基,从而推倒出更高层级的知识
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 580 165" width="100%" height="auto" style="font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, 'PingFang SC', 'Microsoft YaHei', sans-serif; background-color: #ffffff;">
  <defs>
    <!-- 统一的等边三角形外框与裁剪路径 (顶点: 65,10; 左下: 5,113.92; 右下: 125,113.92) -->
    <clipPath id="equilateral-clip">
      <polygon points="65,10 5,113.92 125,113.92" />
    </clipPath>
    
    <polygon id="equilateral-outline" points="65,10 5,113.92 125,113.92" fill="none" stroke="#2c3e50" stroke-width="2" stroke-linejoin="round" />
  </defs>

  <!-- ================= 图 1: Input Prefill ================= -->
  <g transform="translate(10, 10)">
    <g clip-path="url(#equilateral-clip)">
      <polygon points="5,113.92 25,79.28 45,113.92" fill="#2c3e50" />
    </g>
    <use href="#equilateral-outline" />
    <text x="65" y="138" font-size="13" text-anchor="middle" fill="#333333">Input Prefill</text>
  </g>

  <!-- ================= 图 2: Decode ================= -->
  <g transform="translate(150, 10)">
    <g clip-path="url(#equilateral-clip)">
      <polygon points="5,113.92 25,79.28 45,113.92" fill="#2c3e50" />
      <polygon points="27,75.82 31,68.89 57,113.92 49,113.92" fill="#5d6d7e" />
      <polygon points="33,65.43 37,58.50 69,113.92 61,113.92" fill="#85929e" />
    </g>
    <use href="#equilateral-outline" />
    <text x="65" y="138" font-size="13" text-anchor="middle" fill="#333333">Decode</text>
  </g>

  <!-- ================= 图 3: Effective Limit ================= -->
  <g transform="translate(290, 10)">
    <g clip-path="url(#equilateral-clip)">
      <polygon points="5,113.92 25,79.28 45,113.92" fill="#2c3e50" />
      <polygon points="27,75.82 31,68.89 57,113.92 49,113.92" fill="#5d6d7e" />
      <polygon points="33.25,65.0 65,65.0 94.75,113.92 57,113.92 31,68.89" fill="#95a5a6" />
      <line x1="33.25" y1="65.0" x2="65" y2="65.0" stroke="#2c3e50" stroke-width="1.8" />
    </g>
    <use href="#equilateral-outline" />
    <text x="65" y="138" font-size="13" text-anchor="middle" fill="#333333">Effective Limit</text>
  </g>

  <!-- ================= 图 4: CoT ================= -->
  <g transform="translate(430, 10)">
    <g clip-path="url(#equilateral-clip)">
      <polygon points="5,113.92 25,79.28 45,113.92" fill="#2c3e50" />
      <polygon points="27,75.82 31,68.89 57,113.92 49,113.92" fill="#5d6d7e" />
      <polygon points="33.25,65.0 65,65.0 73.75,48.0 98,48.0 126.24,113.92 57,113.92 31,68.89" fill="#95a5a6" />
      <polyline points="33.25,65.0 65,65.0 73.75,48.0 98,48.0" fill="none" stroke="#2c3e50" stroke-width="1.8" stroke-linejoin="round" />
    </g>
    <use href="#equilateral-outline" />
    <text x="65" y="138" font-size="13" text-anchor="middle" fill="#333333">CoT</text>
  </g>
</svg>


知识的密度,逻辑的密度,金字塔模型,和训练数据的覆盖度


其他数据

  1. 图像/视频里面,有没有像语言一样,有大量密集的逻辑,可以用于训练模型的一方面能力。 有足够的数据 和 问题复杂度之比

Revision #1
Created 2026-11-16 08:39:26 UTC by Colin
Updated 2026-11-16 08:39:26 UTC by Colin