Recently Updated Pages
记忆方法学
要求 需要设计一个健壮的系统,流程化,体系化,理论支撑 多层级的架构,层级解耦,独立迭代,不断增强 尽量端到端 本质上需要的能力和处理流程 语义解析,对“输入”的自...
架构/微架构
设计 标量寄存器和向量寄存器统一,支持自动进行转换 异步单元(SP-PU-L1-DMA)之间都采用异步机制,依赖转移到异步目标 统一的同步机制 静态分配同步资源 原生软硬件支持...
主流的产品
高通® QCS6490 https://docs.radxa.com/dragon/q6a 全志 A733 SoC https://docs.radxa.com/cub...
电路(硬件微架构)的难点和优势
难点、不适合 难以做复杂的算法(调度、分析、统计) 难以做逻辑深度比较深的计算 latency的长和不确定,模块间的时间不确定性 需要大量实现“异步”逻辑 消耗大量的面积 ...
命名
命名的重要性 好的设计从命名开始 研究表明,最优秀的设计师会设计出更快、更小、更简单的结构,而且设计过程也更轻松。伟大的结构和一般的结构之间差了一个数量级——Fred Brooks,Jr...
自洽后就有意识了吗?
自洽能力对于人工智能的重要性 当前AI还不能轻易的实现自洽能力,甚至在在KV cache内的自洽性还存在挑战,权重范围内只能根据概率来输出 意识会去维护一个最本质的目的,不断检验当前...
记忆远远不止记录,而是倍增器
定位 专业的知识/信息工具 可以进行日常的快速记录,语音,视频,片段 专业的课堂笔记,领域专业学习,精心组织,不断修改优化 用户只要通过随笔的方式,连续得进行记录 ...
大容量统计算法,AI的效果悖论
看起来现在的大模型已经无所不能,LLM的语言能力,nano banana的图像,Sora的视频等等 能生成几乎是任意的数字内容,其实在早几年的CV(卷积网络)时代就已经有过一次惊艳了。 但是...
AI突破的可能
新的信号处理方法 非常高的等价算力 高效率 单bit 非数学直接等价(乘加)的计算:查找表 处理好,抽象好,不可避免的动态特性 训练受梯度下降算法严格绑定,受数学约束,不太容...
GMP
背景 适应未来的AI计算需求 存储足够量的权重,但是明显的热点内容访问 强动态性,大范围、多次的随机动态访问 节能、低带宽需求,高效率数据流 低延迟 目标...
梯度下降-拟合高层次的信息
拟合高层次信息的体现 如果不能很好的拟合高层次的信息 容易出现过拟合现象 dropout早期用于防止过拟合,适用于多epoch的场景,不适用于LLM 权重会反复摇摆,...
LLM信息空间的映射
乘法 两个32bit的浮点数乘法,相当于32位的bit向量做空间映射 每个bit代表了特殊的含义,指数、尾数以及对应的档位 乘法不能充分利用32位的所有表达空间,精度越低的数据信息利用...
攻击 LLM
目的 破坏模型本身的一些设定,窃取一些隐藏在权重里面的信息。 LARGO 潜在空间优化:首先,研究者们并不直接修改问题文本,而是在模型的「大脑」内部,也就是高维的 ...
记忆
为什么需要记忆 人脑有非常强大的记忆系统和索引能力,管理着非常庞大的信息,能够准确联想起来非常多的记忆 记忆是AGI的一种重要能力 因为大脑容量限制,记忆是人类在当前信息爆...
结构化表达的方式和方法
结构:整体类似一个金字塔一样的结构 由一个论点、结论、观点、结果作为节点 每个节点可以由多个小的节点进行解释、细化、证明、拆分步骤、原因、罗列、导致结果 可以从金字塔顶尖不断往下进...
爬虫
使用OCR进行信息收集,格式化 适应性强,灵活,更接近人眼
acquire release 实现内存一致性
背景 在单线程场景中,CPU 通常会保证程序顺序(Program Order) 的可见性,即单线程内的指令会按照代码编写的顺序执行(或看起来像是按顺序执行)存储器读写的结果也会符合单线程的...
Memory Consistency and Cache Coherence 定义
1. Memory Consistency(内存一致性) 定义:内存一致性是指多核或多处理器系统中,多个处理器对共享内存的访问顺序是否一致,以及这些访问操作是否满足特定的规则或模型。 ...
Nand flash
LUN → CE → Die → Plane → Bank → Block → Page Block 是擦除操作的最小单位 Page 是读写操作的最小单位,常见的Nand Flas...
昂贵的共识
论点:社会达成一个共识是要付出巨大的代价的 共识是什么,有什么作用 学历是最简单的共识 认可是昂贵的共识 资本家讨厌不确定性,宁愿支持有成功经验的普通人,也不愿意投资看似有前途的新人...