Recently Updated Pages
记忆
为什么需要记忆 人脑有非常强大的记忆系统和索引能力,管理着非常庞大的信息,能够准确联想起来非常多的记忆 因为大脑容量限制,记忆是人类在当前信息爆炸的社会的最重要瓶颈,其他的还有类似:推理...
CoT & 强化学习
--用推理的“临时态”实现短暂的意识 背景和方法 众所周知,o1在推理阶段采用了一种思维链(Chain of Thought)的方法,将推理过程分解为多个离散的步骤。o1能够规划其推理步骤,...
AI思维笔记
需求 作为第二大脑,思维助手,能帮助思考、总结 提升所有人的智力水平 带无限记忆的AI 通过Agent(人工算法+LLM)的方式实现高层级抽象、意识、复杂逻辑。Agent的不断运...
二值 二进制 Binary 神经网络算法
背景FPGA的基本单元是LUT(查找表),如果把LUT看成一种逻辑运算单元查找表的真值表可以表示静态权重查找表的部份输入表示动态权重FPGA的可重构特性,相对于AI处理器可以把部份或者全部的动态...
自然语言的内在逻辑
逻辑 推断: A 是 B 与或非 逻辑规律: 传递性 类比:判断相似性,通过类比来模仿很容易,但是分析内在原因,并描述出来,形成理论很难 晶体管的饱和 类比 边际效应 晶体管...
数学理解
数学总是在发明各种定义,并且在定义的基础上寻找特定的规律 如果生活的一种现象符合某种数学的定义,那么就可以用已经证明的规律进行计算/推到 从而对抽象的事物用数学工具进行计算 比如说...
GMP
目标 软硬件结合 大量依靠软件优化,发挥最大的物理效率,同工艺下架构效率达2倍 算法和硬件协同优化,同模型精度条件下效率达4倍 DRAM或者多机的不确定数据延迟直接整合到...
架构的力量
什么样的架构设计是优秀的 工作效率 高效的开发效率 高效的使用 有效 能很好的满足多方需求 能快速、清晰的进行配置 合理的接口 生命力 支持不断...
Transformer黑盒
问题 Transformer是怎么组织和表达自然语言的? 可能的方向 通过不断的训练、运行来对模型的权重进行解析--逆训练 生成出一系列的最核心的,最有效的样本的数据集,用于蒸馏其他的模...
命名
命名的重要性 好的设计从命名开始 怎么在团队内统一命名规则 制定规则和培训