# 采用样本解释复杂问题

<br />

采用数量足够多的样本来拟合一个复杂问题的可能性，也就是梯度下降

1. 怎么定义、量化一个问题的，或者说领域知识的复杂性？

   1. 自然语言的复杂性？
   2. 布局布线的复杂性？
2. 怎么定义一个样本对特定问题的解释的程度？
3. 复杂性怎么对应到样本的数量？
   1. 具身智能，需要多少数据？&#x20;
   2. 自动驾驶已经积累了那么多数据，为什么还是不行？

      <br />

#### LLM的知识层次的金字塔表示

1. 高度，越靠近塔顶，知识的层次越高，知识的空间越小
2. 宽度，表示序列的长度，也就是上下文的长度
3. 涂色，表示这个层次的知识点被激活了
4. 推理之后，越高的地方被涂色，表示推理的逻辑越深，知识的层次越高
5. 思维链怎么提升知识的层次？
   1. 模型的思维链能力是通过后训练的来实现的
   2. 思维链本质上也是在算概率
   3. 思维链是通过拉长地基，从而推倒出更高层级的知识

```svg
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 580 165" width="100%" height="auto" style="font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, 'PingFang SC', 'Microsoft YaHei', sans-serif; background-color: #ffffff;">
  <defs>
    <!-- 统一的等边三角形外框与裁剪路径 (顶点: 65,10; 左下: 5,113.92; 右下: 125,113.92) -->
    <clipPath id="equilateral-clip">
      <polygon points="65,10 5,113.92 125,113.92" />
    </clipPath>
    
    <polygon id="equilateral-outline" points="65,10 5,113.92 125,113.92" fill="none" stroke="#2c3e50" stroke-width="2" stroke-linejoin="round" />
  </defs>

  <!-- ================= 图 1: Input Prefill ================= -->
  <g transform="translate(10, 10)">
    <g clip-path="url(#equilateral-clip)">
      <polygon points="5,113.92 25,79.28 45,113.92" fill="#2c3e50" />
    </g>
    <use href="#equilateral-outline" />
    <text x="65" y="138" font-size="13" text-anchor="middle" fill="#333333">Input Prefill</text>
  </g>

  <!-- ================= 图 2: Decode ================= -->
  <g transform="translate(150, 10)">
    <g clip-path="url(#equilateral-clip)">
      <polygon points="5,113.92 25,79.28 45,113.92" fill="#2c3e50" />
      <polygon points="27,75.82 31,68.89 57,113.92 49,113.92" fill="#5d6d7e" />
      <polygon points="33,65.43 37,58.50 69,113.92 61,113.92" fill="#85929e" />
    </g>
    <use href="#equilateral-outline" />
    <text x="65" y="138" font-size="13" text-anchor="middle" fill="#333333">Decode</text>
  </g>

  <!-- ================= 图 3: Effective Limit ================= -->
  <g transform="translate(290, 10)">
    <g clip-path="url(#equilateral-clip)">
      <polygon points="5,113.92 25,79.28 45,113.92" fill="#2c3e50" />
      <polygon points="27,75.82 31,68.89 57,113.92 49,113.92" fill="#5d6d7e" />
      <polygon points="33.25,65.0 65,65.0 94.75,113.92 57,113.92 31,68.89" fill="#95a5a6" />
      <line x1="33.25" y1="65.0" x2="65" y2="65.0" stroke="#2c3e50" stroke-width="1.8" />
    </g>
    <use href="#equilateral-outline" />
    <text x="65" y="138" font-size="13" text-anchor="middle" fill="#333333">Effective Limit</text>
  </g>

  <!-- ================= 图 4: CoT ================= -->
  <g transform="translate(430, 10)">
    <g clip-path="url(#equilateral-clip)">
      <polygon points="5,113.92 25,79.28 45,113.92" fill="#2c3e50" />
      <polygon points="27,75.82 31,68.89 57,113.92 49,113.92" fill="#5d6d7e" />
      <polygon points="33.25,65.0 65,65.0 73.75,48.0 98,48.0 126.24,113.92 57,113.92 31,68.89" fill="#95a5a6" />
      <polyline points="33.25,65.0 65,65.0 73.75,48.0 98,48.0" fill="none" stroke="#2c3e50" stroke-width="1.8" stroke-linejoin="round" />
    </g>
    <use href="#equilateral-outline" />
    <text x="65" y="138" font-size="13" text-anchor="middle" fill="#333333">CoT</text>
  </g>
</svg>

```

<br />

知识的密度，逻辑的密度，金字塔模型，和训练数据的覆盖度

<br />

#### 其他数据

1. 图像/视频里面，有没有像语言一样，有大量密集的逻辑，可以用于训练模型的一方面能力。 有足够的数据 和 问题复杂度之比