梯度下降

 

1. 梯度下降的每个step，都需要把所有的loss“汇总”
   1. 包含所有batch，所有的loss function，以及在多个step之间，多个epoch之间
   2. 等价于对数据集的统计、回归、拟合，最终效果只能达到统计上的意义
      
   3. 训练效率低，有用信息密度低、容易被坏数据平均
2. 相对于人脑
   1. 缺乏思维的贪心原则
   2. 缺少“自恰”的自主意识的判断