Skip to main content

Transformer黑盒

  1. 通过不断的训练、运行来对模型的权重进行解析--逆训练
    1. 生成出一系列的最核心的,最有效的样本的数据集,用于蒸馏其他的模型
  2. 改变单点,添加探针的方式来推断输出的逻辑
    1. 特定样本下各个权重的梯度(对结果的影响力)组成一张针对一个样本的逻辑地图
    2. 通过统计大量样本在单点的情况分析出模型的抽象图
  3. 从最后的输出逻辑往前面推理的方式来推断模型的输出逻辑