算力单元

算力单元详细设计

把 [[Pipe]] 第 6 节 §208 的算力单元抽象展开到 RTL 起手前。每个计算实例 = 一条 engine pipe 实例。

0. 与 DMA 的同构关系

算力单元与 [[DMA]] 结构同构：都是"engine pipe 集合 + sync pool + 控制接口 + 共享数据 fabric master"。差别仅在执行通路：

下文凡是结构与 DMA 一致的，引用 [[DMA]] 不重复展开；只描述差异。

1. 顶层参数

2. 顶层框图

                    ┌────────────────── 算力单元 ────────────────┐
ctrl_s ──────────► │ ctrl 解码 + 路由 ─► CU Pool Mgr            │
ctrl_s ◄────────── │                  ─► Sync Pool              │
                   │                                              │
                   │   ┌───────── CU[0] ─────────────┐            │
ctrl_m ◄───────────┤   │  cmd queue (SRAM, Q_MAX)    │            │
ctrl_m ──────────► │   │  完成计数器                  │            │
                   │   │  执行 FSM                    │            │
                   │   │  in/out 地址生成器           │            │
                   │   │  L0 vreg[]  treg[]           │            │
                   │   │  计算阵列(标量/向量/2D MAC)   │            │
                   │   │  Notify FIFO                 │            │
                   │   └─┬─────────────────┬──────────┘            │
                   │     │                 │                       │
                   │   CU[1] ...        CU[N_CU-1]                 │
                   │     │                 │                       │
noc_rd ◄───────────┤   NoC 读仲裁 ◄──── 各 CU 的 LOAD 通路         │
noc_wr ◄───────────┤   NoC 写仲裁 ◄──── 各 CU 的 STORE 通路        │
                   └─────────────────────────────────────────────────┘

3. 顶层端口

完全复用 [[DMA]] §3 的端口。差别：

• noc_rd_* / noc_wr_* 可对接任意被动单元（L1、DRAM），目标由 cmd_desc 内的 in/out handle.unit_addr 决定
• ctrl_s_* / ctrl_m_* 协议完全一致

4. cmd_desc 字段编码

总宽 ≤ 1024 bit。与 [[DMA]] §4 同构，差别在 op + 专属参数区。

src_b_* 仅对二元算子（MAC / VEC_ALU）有效；一元算子（激活、reduce）写 0。

5. 控制总线协议

完全同 [[DMA]] §5。多 beat PSEND 同样 8 × 128 bit。opcode 表共享。

6. CU Pool 管理器

结构同 [[DMA]] §6。差别：

• meta[N_CU] 多一个 cu_class 字段（标量 / 向量 / MAC，若异质例化）
• PALLOC 时 params.cu_class 必须与本实例 class 匹配；不匹配视为软件错（行为未定义）

7. CU 执行通路（×N_CU）

7.1 命令队列

完全同 [[DMA]] §7.1。

7.2 完成计数器

完全同 [[DMA]] §7.2。

7.3 执行 FSM

                  ┌────────────────────────────────────┐
                  ▼                                    │
            ┌─────────┐  queue 非空           ┌────────┴───┐
            │  IDLE   ├─────────────────────► │   FETCH    │
            └─────────┘                       └────────┬───┘
                                                       ▼
                                              ┌────────────┐
                                              │  WAIT_IN   │
                                              └────────┬───┘
                                          all in 到位   │
                                                       ▼
                                              ┌────────────────────┐
                                              │  ISSUE 流水         │
                                              │   ├─ LOAD  (L1→L0) │
                                              │   ├─ COMPUTE       │
                                              │   └─ STORE (L0→L1) │
                                              │   (loop_count 次)   │
                                              └────────┬───────────┘
                                                       ▼
                                              ┌────────────┐
                                              │  NOTIFY    │
                                              └────────┬───┘
                                                       ▼
                                              ┌────────────┐
                                              │  DONE      │  count++ tail++
                                              └────────┬───┘
                                                       └──► IDLE

7.4 L0 寄存器组

实现：vreg 用 register file（small），treg 用 SRAM macro（一个 treg ≈ 8×8×8 = 512 bit，N_L0_TEN = 4 时 2 KiB）。treg SRAM 端口配 2R/1W 满足 MAC 2 输入 1 累加。

vreg 与 treg 物理分离 —— 二者访问宽度差很大。

7.5 计算阵列

三类阵列共存（每个实例可裁掉某类，按 cu_class 决定）：

7.5.1 标量

• 1 lane，宽度 max(dtype_in, dtype_out) ≤ 32 bit
• op：ADD/SUB/MUL/SHIFT/CMP/SELECT/BIT
• latency 1 cycle，throughput 1/cycle

7.5.2 向量

• VEC_LANE 路并行 INT8 ALU + 16-bit accumulator option
• op：lane-wise ADD/SUB/MUL/MAC/CMP，跨 lane REDUCE_SUM/MAX/MIN
• latency 1-2 cycle，throughput 1/cycle
• elementwise activation：LUT 表（4 KiB ROM/SRAM）实现 ReLU / GELU / sigmoid 等

7.5.3 2D MAC

• MAC_M × MAC_K systolic 阵列
• 单元：INT8 × INT8 → INT16 partial → 累加进 MAC_ACC_W 寄存器
• 输入：A treg (M × K), B treg (K × N，本设计 N = MAC_M)；权重和激活方向可在 cmd_desc 内对调
• 输出：C treg (M × N)，累加进已有 treg（accum_mode）
• pipeline depth = MAC_K + 2 cycle
• 每 cycle 注入一行 A、一列 B；MAC_M = MAC_K = 8 时 8 cycle 填满，第 9 cycle 起每 cycle 一个稳态结果

下溢 / 上溢 / round：cmd_desc.dtype_out 与 accum_mode 决定输出阶段的 saturate + truncate / round_to_nearest。专用硬件块（输出后处理 stage）实现。

7.6 LOAD/COMPUTE/STORE inner-loop 流水

把一条 cmd 拆成 loop_count 次 micro-op，三级流水：

cycle:  N   N+1   N+2   N+3   N+4   N+5
        │    │     │     │     │     │
LOAD    op0  op1   op2   op3   op4   op5
COMPUTE      op0   op1   op2   op3   op4
STORE              op0   op1   op2   op3

• L0 寄存器组作为级间 buffer：LOAD 写、COMPUTE 读 + 写、STORE 读
• 软件用 l0_a_reg / l0_b_reg / l0_c_reg 指定不同 op 用哪些 reg，硬件按 op_id % N_L0_REG 做 cyclic 调度避免读写冲突
• leading 2 cycle 只 LOAD（COMPUTE/STORE 等数据）；tailing 2 cycle 只 STORE
• inner-loop 内不可中断 / 不可被外部 stall（除 NoC backpressure）

7.7 in / out 地址生成器

每实例 3 个独立累加器（A、B、C）。复用 [[DMA]] §7.4 的累加器实现。差别：

• 目标地址落在被动单元（L1 / DRAM）的地址空间内
• inner-loop 由 loop_count 驱动，与 shape[3] 一起决定终止
• 地址生成单次给一个 NoC 请求；burst 长度 = 一拍 L0 寄存器宽度 / NOC_W（典型 1 beat）

7.8 Notify FIFO

完全同 [[DMA]] §7.6。

8. Sync Pipe Pool

完全同 [[DMA]] §8。

9. 共享资源仲裁

9.1 NoC 读 / 写

结构同 [[DMA]] §9.1。NoC 主端可对接 L1 / DRAM；对接 L1 时可按低延迟假设缩 outstanding 深度，对接 DRAM 时按 DRAM 延迟特性配置。

9.2 ctrl_m 主端

完全同 [[DMA]] §9.2。

9.3 ctrl_s 解码路由

完全同 [[DMA]] §9.3。差别：PALLOC 时 params.cu_class 决定走哪个 cu_class 的子池。

10. 跨子模块协议要点

10.1 CU ↔ pending wait CAM

同 [[DMA]] §10.1。

10.2 CU ↔ ctrl_m

同 [[DMA]] §10.2。

10.3 CU ↔ NoC（对接被动单元）

• LOAD：CU 发 noc_rd_req 给被动单元（L1 / DRAM，master），地址按 §7.7 生成；resp 数据按 req_id 路由到 CU 的 L0 写口
• STORE：CU 发 noc_wr_req + wr_data 给被动单元；不等 ack（fire-and-forget），NOTIFY 中的 COUNT_DELTA 由 CU 内部 FSM 在 STORE 流水尾部排出（保证落到目标单元后才发，由 NoC 同 id 同地址保序保证）

10.4 同 cmd_desc 内 in 与 out 包含同一 pipe

参见 [[Pipe]] §289：合法用法。硬件执行顺序：

1. WAIT_IN 阶段查询该 pipe 的 count ≥ in 阈值
2. LOAD 阶段读被动单元（数据已在）
3. COMPUTE
4. STORE 阶段写被动单元
5. NOTIFY 阶段：对该 pipe 先发 COUNT_DELTA(-in_delta)，再发 COUNT_DELTA(+out_delta)

被动单元端按到达顺序应用即可。In-place 累加的语义保证依赖 NoC 同 id 同地址保序。

11. 复位与启动

L0 不复位的影响：未 LOAD 就 COMPUTE 是软件 bug，硬件不阻止；结果未定义。

12. 调试可观测点

同 [[DMA]] §12，加：

13. 待规格化参数

1. N_CU 与异质组合（如 1 个 2D MAC 实例 + 2 个向量实例 + 1 个标量实例 vs 同质）
2. VEC_LANE / MAC_M / MAC_K 实际规模 —— 直接决定算力
3. dtype 支持集合（INT4 / FP8 / FP16 / BF16）
4. MAC 阵列拓扑（systolic 1D vs 2D，weight-stationary vs output-stationary）
5. L0 寄存器组的实际端口数（FMA 用 3R+1W 还是分段 2R+1W）
6. inner-loop 流水级数（3 级 vs 4 级，多一级换 stall 余裕）
7. 输出 round / saturate 硬件块的位宽
8. 是否例化激活函数 LUT 共享还是 per-CU 独立

14. 关联回 Pipe 抽象