Transformer黑盒

问题

1. Transformer是怎么组织和表达自然语言的？

可能的方向

1.  通过不断的训练、运行来对模型的权重进行解析--逆训练
   1. 生成出一系列的最核心的，最有效的样本的数据集，用于蒸馏其他的模型
2. 从单点，添加探针的方式来推断输出的逻辑
   1. 特定样本下各个权重的梯度（对结果的影响力）组成一张针对一个样本的逻辑地图
   2. 通过统计大量样本在单点的情况分析出模型的抽象图
3. 从最后的输出逻辑往前面推理的方式来推断模型的输出逻辑
4. 找到整个模型的最边缘的知识点，最终的知识点，不会被其他知识使用的知识点，唯一的
   1. 判断激活这个知识点的输入的概率的分布情况