无监督训练

统计模型
rank_tree表达了一短句子的逻辑分割，一段句子的分割，语意的组合，是抽象的一种，
两个不一样的表示表达的是同一个语义怎么办？ 腿短的是狗，腿长的也是狗，有些逻辑不是组合能表达的
怎么表达白猫黑猫都是猫的逻辑？ 
 抽象的标准 
 
 统计的历史无矛盾（前后言行一致），前后表达没有矛盾， 自洽 
 统计的优秀（合理的抽象）， 抽象要有代表性，有共性而不是专用 
 
 相互之间有逻辑关系，自洽 
 充分抽象，孤立的比较不合理 
 
 
 能抽象所有的语意，包括各种逻辑 
 输出抽象的分类的分数
 
 class 128 x 128 x 128 x 128 
 分布如果平均则弱化，尖峰则强化 
 
 
 
 无监督抽象 
 
 new的不喜欢，但是多次出现后就记录了，就不是new了 
 频率高的权重越来越高 
 频率低的权重越来越低 
 动态统计 
 不同级别的抽象，要求的频率不一样 
 合理的抽象，输出一个一样的label,loss最小,怎么线性？ 
 不合理的抽象，输出一个0的label,loss很大,怎么线性？ 
 
 实现1：统计模型 
 
 使用独立的一个网络对无监督的推理结果进行统计，并给出统计结果 
 统计模型也会不断的更新 
 统计模型实现学习过程中的策略 
 推理模型实现学习过程中的“第六感” 
 
 实现2：梯度 
 
 激活层：同时包含 度量+激活 双重功能有矛盾 
 attention的选择功能，替代了激活层的激活功能，所以激活层可以简化，可以使用sigmoid等 
 梯度代表尺度scale，权重和效果的比例
 
 梯度高，特征比较吻合实际 
 梯度低的激活项：反向move step，主动遗忘，竞争 
 梯度高的激活项：正向move step，主动加强 
 怎么定量得判断，而不是无脑得增强最好，屏蔽最差？怎么能自动收敛？ 
 
 
 应该增加一个对梯度的分布的约束，倾向于高效推理路径，明确的逻辑结果 
 最终形成大量的权重，但是通过动态的推理计算过程达到高效 
 
 梯度值的规律研究。 同一个权重的不同点的梯度可能非常夸张。 
 一个卷积核，或者一个向量的权重，代表了这个特征的单位，其整个的平均梯度，代表了这个特征的影响力 
 研究梯度 
 
 在某个状态停下来，分析每个weight和grad以及中间状态，都生成灰度图