Skip to main content

AI突破的可能

新的信号处理方法

  1. 非常高的等价算力
  2. 高效率
    1. 单bit
    2. 非数学直接等价(乘加)的计算:查找表
  3. 非传统数字电路
    1. 存算
    2. 模拟
    3. 光子

新算法

  1. 充分利用大算力,减少数据流动
    1. 上下文无关:必要的中间结果的流动,但是权重固定,有点像存算
    上下文相关:自然的,固定的broadcast网络 更高的并行化
    1. 更细粒度,更高规模的并行,而不需要同步
    减少动态性
      支持数据动态,但是减少结构化动态
      算法的上层要求
      1. 一个足够复杂的处理系统,能同时输入很多数据,输出很多数据
      2. 能够被按照意愿进行调整
      Boids算法及三条规则的启发
      1. 能自动保持稳定,回归稳定,经过外接的扰动后能自动回归稳定
      2. 稳定的变量可以是任何可以被量化和描述的
      3. 稳定的状态就是处理结束的标志
      梯度下降
      1. 信号处理过程必须是线性的
      2. 目标是明确的
      3. 充分的精细的梯度下降(训练)代表在当前权重下的最优解

      数据的组织方式

      1. 无缝包含各种类型的数据
      2. 人类不可读的数据信息