AI突破的可能
新的信号处理方法
- 非常高的等价算力
- 高效率
- 单bit
- 非数学直接等价(乘加)的计算:查找表
- 处理好,抽象好,不可避免的动态特性
- 训练受梯度下降算法严格绑定,受数学约束,不太容易改变,但是推理可以
- 传统的多个乘法,表示成特定的逻辑运算或者最复杂的LUT
- 根据特定模型而动态配置的固定的物理计算逻辑电路
- 非传统数字电路
- 存算
- 模拟
- 光子
新算法
- 充分利用大算力,减少数据流动
- 上下文无关:必要的中间结果的流动,但是权重固定,有点像存算
- 上下文相关:自然的,固定的broadcast网络
- 更高的并行化
- 更细粒度,更高规模的并行,而不需要同步
- 减少动态性
- 支持数据动态,但是减少结构化动态
算法的上层要求
- 一个足够复杂的处理系统,能同时输入很多数据,输出很多数据
- 能够被按照意愿进行调整
新的计算范式
梯度下降
- 信号处理过程必须是线性的
- 目标是明确的
- 充分的精细的梯度下降(训练)代表在当前权重下的最优解
数据的组织方式
- 无缝包含各种类型的数据
- 人类不可读的数据信息
No comments to display
No comments to display