Skip to main content

AI突破的可能

新的信号处理方法

  1. 非常高的等价算力
  2. 高效率
    1. 单bit
    2. 非数学直接等价(乘加)的计算:查找表
    3. 处理好,抽象好,不可避免的动态特性
    4. 训练受梯度下降算法严格绑定,受数学约束,不太容易改变,但是推理可以
      1. 传统的多个乘法,表示成特定的逻辑运算或者最复杂的LUT
      2. 根据特定模型而动态配置的固定的物理计算逻辑电路
  3. 非传统数字电路
    1. 存算
    2. 模拟
    3. 光子

新算法

  1. 充分利用大算力,减少数据流动
    1. 上下文无关:必要的中间结果的流动,但是权重固定,有点像存算
    2. 上下文相关:自然的,固定的broadcast网络
  2. 更高的并行化
    1. 更细粒度,更高规模的并行,而不需要同步
  3. 减少动态性
    1. 支持数据动态,但是减少结构化动态
算法的上层要求
  1. 一个足够复杂的处理系统,能同时输入很多数据,输出很多数据
  2. 能够被按照意愿进行调整

新的计算范式

梯度下降
  1. 信号处理过程必须是线性的
  2. 目标是明确的
  3. 充分的精细的梯度下降(训练)代表在当前权重下的最优解

数据的组织方式

  1. 无缝包含各种类型的数据
  2. 人类不可读的数据信息