Skip to main content

为什么Pytorch开始制约AI了

  1. 这个想法比较超前了,但是已经有苗头了
  2. pytorch已经显得臃肿,不适合大模型的特定需求
    1. 需求变化了,已经不是CNN的时代了,虽然在拼命搞静态图和并行库
    2. 一个开源框架统一市场后一段时间,就会开始因为臃肿而不适合新的需求,所以就需要大胆重构
    3. 和numpy等通用接口差异越来越大,学习成本增加
  3. 为啥JAX在大模型巨头玩家中的份额这么高呢?
    1. 大模型框架对原来的那种生态,可能要求没那么高,反倒对性能调试调优的效率要求高
    2. JAX的简单,合理的功能抽象(更加符合第一性原理)才是用户的青睐点,pytorch也是靠这个取胜tensorflow的
    3. 使用Numpy作为接口,一个计算行业的底层的优秀抽象设计
    4. 简介、静态图、自动并行是核心优势
      1. 兜兜转转多年,静态图又要风生水起了?
      2. 一个技术成熟到一定程度后,技术路线就会固定化,适合静态计算来提高效率