AGI基础方法
AI突破的可能
新的信号处理方法 非常高的等价算力 高效率 单bit 非数学直接等价(乘加)的计算:查找表 处理好,抽象好,不可避免的动态特性 训练受梯度下降算法严格绑定,受数学约束,不太容...
计算模型
背景 计算机已经发展了很多年,很多层的划分已经非常的明确 高层级的计算范式随着AI的发展,特别是LLM的发展,已经越发的清晰 传统计算机软硬件堆栈->神经网络算子->神经网络计算图...
自洽后就有意识了吗?
自洽能力对于人工智能的重要性 当前AI还不能轻易的实现自洽能力,甚至在在KV cache内的自洽性还存在挑战,权重范围内只能根据概率来输出 意识会去维护一个最本质的目的,不断检验当前...
动态算法
Transformer类算法,依赖大维度的信息变换,相关性爆炸 也就是尺寸很大的矩阵乘法,虽然很适合现代GPU的加速 大的GEMM提供了非常大的状态空间,目标是包含所有的维度 使用...
短期记忆和长期记忆
一种误解 短期记忆是临时记忆,只是记忆的一部分关键信息 短期记忆 大脑的意识存在于短期记忆 是一个不断变化的,不断被更改的状态存储器 存储的是对当前状态的高度浓缩的,高度抽...
通用Agent的发展
Agent的需求背景 这些本应被封装为「日常AI工作流」的能力,却仍被塞进一个通用聊天框里手工完成。 这正是留给AI创业者的机会,我们不该让普通人用临时脚本搭建自己的「购房智能代理」,而...
一种理想的智能架构
新架构 生物脑、人脑的组成要素:逻辑能力、长期记忆、短期记忆 长期记忆相当于硬盘,短期记忆相当于内存,计算能力相当ALU 大语言模型相当于语言ALU,KVcache相当于寄存器,权...