无监督
统计模型
rank_tree表达了一短句子的逻辑分割，一段句子的分割，语意的组合，是抽象的一种，
两个不一样的表示表达的是同一个语义怎么办？ 腿短的是狗，腿长的也是狗，有些逻辑不是组合能表达的
怎么表达白猫黑猫都是猫的逻辑？
抽象的标准
- 统计的历史无矛盾（前后言行一致），前后表达没有矛盾， 自洽
- 统计的优秀（合理的抽象），抽象要有代表性，有共性而不是专用
- 相互之间有逻辑关系，自洽
- 充分抽象，孤立的比较不合理
- 能抽象所有的语意，包括各种逻辑
- 输出抽象的分类的分数
- class 128 x 128 x 128 x 128
- 分布如果平均则弱化，尖峰则强化
无监督抽象
1. new的不喜欢，但是多次出现后就记录了，就不是new了
2. 频率高的权重越来越高
3. 频率低的权重越来越低
4. 动态统计
5. 不同级别的抽象，要求的频率不一样
6. 合理的抽象，输出一个一样的label,loss最小,怎么线性？
7. 不合理的抽象，输出一个0的label,loss很大,怎么线性？
实现1：统计模型
- 使用独立的一个网络对无监督的推理结果进行统计，并给出统计结果
- 统计模型也会不断的更新
- 统计模型实现学习过程中的策略
- 推理模型实现学习过程中的“第六感”
实现2：梯度
- 激活层：同时包含 度量+激活 双重功能有矛盾
- attention的选择功能，替代了激活层的激活功能，所以激活层可以简化，可以使用sigmoid等
- 梯度代表尺度scale，权重和效果的比例
- 梯度高，特征比较吻合实际
- 梯度低的激活项：反向move step，主动遗忘，竞争
- 梯度高的激活项：正向move step，主动加强
- 怎么定量得判断，而不是无脑得增强最好，屏蔽最差？怎么能自动收敛？
- 应该增加一个对梯度的分布的约束，倾向于高效推理路径，明确的逻辑结果
- 最终形成大量的权重，但是通过动态的推理计算过程达到高效
梯度值的规律研究。 同一个权重的不同点的梯度可能非常夸张。
一个卷积核，或者一个向量的权重，代表了这个特征的单位，其整个的平均梯度，代表了这个特征的影响力
研究梯度
- 在某个状态停下来，分析每个weight和grad以及中间状态，都生成灰度图
No Comments