# 无监督训练

统计模型
rank_tree表达了一短句子的逻辑分割，一段句子的分割，语意的组合，是抽象的一种，
两个不一样的表示表达的是同一个语义怎么办？ 腿短的是狗，腿长的也是狗，有些逻辑不是组合能表达的
怎么表达白猫黑猫都是猫的逻辑？
#### 抽象的标准

1. 统计的历史无矛盾（前后言行一致），前后表达没有矛盾， **自洽**
2. 统计的优秀（合理的抽象），**抽象要有代表性，有共性而不是专用**
    1. 相互之间有逻辑关系，自洽
    2. 充分抽象，孤立的比较不合理
3. 能抽象所有的语意，包括各种逻辑
4. 输出抽象的分类的分数
    1. class 128 x 128 x 128 x 128
    2. 分布如果平均则弱化，尖峰则强化

#### 无监督抽象

1. new的不喜欢，但是多次出现后就记录了，就不是new了
2. 频率高的权重越来越高
3. 频率低的权重越来越低
4. 动态统计
5. 不同级别的抽象，要求的频率不一样
6. 合理的抽象，输出一个一样的label,loss最小,怎么线性？
7. 不合理的抽象，输出一个0的label,loss很大,怎么线性？
#### 实现1：统计模型

1. 使用独立的一个网络对无监督的推理结果进行统计，并给出统计结果
2. 统计模型也会不断的更新
3. 统计模型实现学习过程中的策略
4. 推理模型实现学习过程中的“第六感”

#### 实现2：梯度

1. 激活层：同时包含 度量+激活 双重功能有矛盾
2. attention的选择功能，替代了激活层的激活功能，所以激活层可以简化，可以使用sigmoid等
3. 梯度代表尺度scale，权重和效果的比例
    1. 梯度高，特征比较吻合实际
    2. 梯度低的激活项：反向move step，主动遗忘，竞争
    3. 梯度高的激活项：正向move step，主动加强
    4. 怎么定量得判断，而不是无脑得增强最好，屏蔽最差？怎么能自动收敛？
4. 应该增加一个对梯度的分布的约束，倾向于高效推理路径，明确的逻辑结果
5. 最终形成大量的权重，但是通过动态的推理计算过程达到高效

梯度值的规律研究。 同一个权重的不同点的梯度可能非常夸张。

一个卷积核，或者一个向量的权重，代表了这个特征的单位，其整个的平均梯度，代表了这个特征的影响力

### 研究梯度

1. 在某个状态停下来，分析每个weight和grad以及中间状态，都生成灰度图
2.