Search Results

乘法 两个32bit的浮点数乘法，相当于32位的bit向量做空间映射 每个bit代表了特殊的含义，指数、尾数以及对应的档位 乘法不能充分利用32位的所有表达空间，精度越低的数据信息利用率越高 多层映射（等高线） 每一层的所有的hidden status的集合，表示了当前的所有信息（语义） 每经过一层相当于把一种向量空间的表示，映射到另外一个向量空间 每一次梯度下降都优化一点映射关系，增加不同类的距离，减少同类的距离 对输入的hidden status理解得越深刻（抽象得越高级），映射分隔得越准确，输出的结...

蛋白质结构可能有 10 的 300 次方种，这些都远远超过宇宙中的原子数量， 所有的因素都考虑进去，尝试的空间远远大于宇宙的时空 那么为什么生命能够形成？ 自然进化规律，没有上帝和高级策略，本质上都是在随机尝试 那么为什么能在短短的时间内，快速进化出一种可行的生命形式？ 是什么原因最终促进了生命的形成？ 虽然生命怎么形成的没有最终的定论，但是生命的演化过程是清晰的 物竞天择，适者生存 但是，本质上还是在随机，这里面有个很重要的前提 那就是“继承”，或者说“进化”的前提是继承原来的优势 在原来的基...

新的信号处理方法 非常高的等价算力 高效率 单bit 非数学直接等价（乘加）的计算：查找表 处理好，抽象好，不可避免的动态特性 训练受梯度下降算法严格绑定，受数学约束，不太容易改变，但是推理可以 传统的多个乘法，表示成特定的逻辑运算或者最复杂的LUT 根据特定模型而动态配置的固定的物理计算逻辑电路 非传统数字电路 存算 针对性的算法端到端实现，避免为了实现传统数学定义而引入的各种负责度 精度/误差 复杂的ADC及数据矫正 复杂的偏移和预处理、后处理 模拟 光子 新算法 充分利用大...

推理的定义 能利用已知的知识产生新的知识 能清晰得判断一个知识的边界、合理性，保持自洽 推理应用技巧 在input里面增加思维链提示，推理的示例就可以触发模型进行推理，输出详细的解题步骤 LLM是极度不可控的分类器，尽量直接梯度下降（优化）最终的指标，端到端得训练 外挂的后处理能提升最终的性能 多次推理综合结果 降低贪心度 但是代价是更高的算力消耗，模型本身的信噪比没有提升 LLM有推理能力吗？ 推理新知识，“如果A>B B>C 那么A>C吗？” 已知比较的传递性，能应用于任意的ABC，得出A>C ...

拟合高层次信息的体现 如果不能很好的拟合高层次的信息 容易出现过拟合现象 dropout早期用于防止过拟合，适用于多epoch的场景，不适用于LLM 权重会反复摇摆，不能锁定高级的语义抽象，高级语义样本本来就少 每次梯度下降是每个权重单独改变，不能确保综合效果比原来更好 ？？？ 影响因素 模型的表达空间的大小 高层级数据的规模 不能拟合高层次信息的原因 信息不够，不直接 RoPE替代绝对位置编码，提供了直接的相对位置关系，自然语言的相对位置非常重要 模型参数不够 模型结构不好 没...

准则 能够持续学习 建立世界模型并进行规划的能力 能够进行新的高层级的抽象 能够进行“元”概念的学习和泛化 心智，意识 理解自我、个体的概念 维持自洽的基本能力 行动的目标都是内源性，外部不会直接给定一个明确的目标 创新 创新的原理，需要形成递归抽象的思维方式和能力 维护自洽，需要能做到实时动态的递归抽象

社会活动是人类的基本需求 人类行为活动的目标不再是温饱之后，需要一种新的奖励形式，那就是社会的“认同”、“认可” 所有的社会属性都可以转换成“认可度”，财物、声誉、名望、游戏等级、公司领导等等都是认可的一种表现 从这个出发，社会交往是一个体现认可度的重要途径和形式， 除了哪些比较正式的，比如，共和国勋章、捐赠榜等等，广大人民还需要在更细的领域得到认可（奖励） 所以不断得对社会交往的形式提出了升级的需求 目前来说，社交已经转换为以互联网为基本形式的一种具体途径，比如，电视、论坛、博客、推文、长短视频 但...

方法学 要求 需要设计一个健壮的系统，流程化，体系化，理论支撑 多层级的架构，层级解耦，独立迭代，不断增强 尽量端到端 本质上需要的能力和处理流程 语义解析，对“输入”的自然语言的表达的含义 -> LLM 计算语义的相似度 查找已有的通用知识和专有知识 计算语义逻辑，理解问题 判断表示同一个语义的不同表达 逻辑推理、选择 汇总结果进行输出 -> LLM 需要存储和计算那个层级的信息？ RAG只是向量化存储原文，无计算能力 LLM权重存储和计算自然语言的高层级抽象 ...

难点、不适合 难以做复杂的算法（调度、分析、统计） 难以做逻辑深度比较深的计算 latency的长和不确定，模块间的时间不确定性 需要大量实现“异步”逻辑 消耗大量的面积 需要很大的buffer存储用于状态footprint 消耗大量的面积 增加外部控制的复杂度 PC需要对所有的操作异步化 降低实时性 为了高频、增加很多级流水线 浪费大量用于同步的逻辑 容易撞到功耗墙 latency的延长和不确定性 优势、适合 并行任务非常适合，适合简单的、重复的、大量的计算，比如MMU 带宽足...

结构：整体类似一个金字塔一样的结构 由一个论点、结论、观点、结果作为节点 每个节点可以由多个小的节点进行解释、细化、证明、拆分步骤、原因、罗列、导致结果 可以从金字塔顶尖不断往下进行拆分多个层级 做法 合理得根据逻辑进行归纳抽象和分类 归纳法：时间，空间，原因，步骤拆分 演绎法：大前提，小前提，逻辑步骤 避免遗漏、重叠、空洞的表达 叙事技巧：背景、冲突、疑问 工具 Markdown有序列表

背景 计算机已经发展了很多年，很多层的划分已经非常的明确 高层级的计算范式随着AI的发展，特别是LLM的发展，已经越发的清晰 传统计算机软硬件堆栈->神经网络算子->神经网络计算图->Pytorch->分布式框架->LLM->Agent->MCP 由于AI发展的太快，计算机的底层基本没有变化，只是根据AI的需要进行特定的开发 太底层，不灵活，算子及AI编译器开发消耗大量工作 软硬件结合的方式还是遵循传统计算机的经验 主流技术（CUDA）没有摆脱冯诺伊曼的架构，甚至编程模型/内存模型都没有变化 需要设计...

LUN → CE → Die → Plane → Bank → Block → Page​ Block 是擦除操作的最小单位 Page 是读写操作的最小单位,常见的Nand Flash多数是2KB,最新的是4KB、8KB 硬件电路只支持 “一次性操作一个 Page 的所有单元”，因此读写必须以 Page 为单位。 写入前必须先擦除对应的Block 栅极堆叠（Gate-Stacked） 和沟道堆叠（Channel-Stacked）两种结构均需解决 “垂直互联”，如何连接不同层的字线 WL 和位线 BL WL BL ...

共识有哪些？ 流浪地球的计划和数字人的竞争 电动车方案，中国的锂电池，日本的氢能 股价 论点：社会达成一个共识是要付出巨大的代价的 共识是什么，有什么作用 学历是最简单的共识 认可是昂贵的共识 资本家讨厌不确定性，宁愿支持有成功经验的普通人，也不愿意投资看似有前途的新人 有硅谷的经验的杨植麟看似完美，实际上缺乏创新力，很快就抓不到重点 Nature等杂志、 计算机等顶会、硅谷的成熟创业氛围 提供的共识足够资本家认可 还有哪些隐形的共识？ 小圈子 信任 共识比创新重要？ 一项技术的推进不仅仅是其先...

太，在这里其实表达的是个贬义词，描述一个不合适的前提 在科技领域，所有的技术其实都要求其合适性 在2025年的今天，大家还在争论激光雷达对于自动驾驶的必要性 马斯克认为，路是给人修的，那么汽车也应该像人一样得去看路，而不是靠激光雷达 这个观点有几个前提， 摄像头的成本远远低于激光雷达 就算有激光雷达，摄像头也必不可少  他相信人工智能很快会有长足的进步 反方观点则认为，当前的技术状况需要激光雷达才能达到可用性。 因为修好了那么多马路，所以轮子才适合，如果当时科技已经发展到了，飞机随便飞，那...

量化主流的LLM到Binary Lut可以进行编码压缩，降低存储需求 实际数据touch不到的选择项可以被去除 调整顺序，编码，进行无损Lut表压缩 原生的训练Bianry模型 非梯度下降 类脑的基于统计的训练

如果现在的AI技术发展到了，能把一个人的所有记忆，思想，想法，性格，爱好，脾气都完全复制和实现， 那么这样一个物体还是我吗？这能称作是永生了吗？ 能：相当于两个“机器”同时维护一个“我”这样的意识，如果一个因为身体原因，下线了，那么另外一个可以继续工作 不能：要达到我的概念，需要唯一的意识，如果两个主体共同维持一个意识，那其实是两个意识在做一个共同的任务？ 能：两个“机器”不一定有独立的意识，两个机器共享一个“意识”，但是有不同的躯干 不能：怎么保证，两个机器之间的意识同步？怎么保证不会被另外复制一份独立...

背景 在单线程场景中，CPU 通常会保证程序顺序（Program Order） 的可见性，即单线程内的指令会按照代码编写的顺序执行（或看起来像是按顺序执行）存储器读写的结果也会符合单线程的预期 即使CPU有乱序功能，也会通过scoreboard等方式来处理data hazard，address hazard等，确保单线程内的内存访问都是保续的。即使现代的CPU都是超标量处理器。 但在多线程或多处理器（multi-hart）场景中，要实现多线程同时正确的对一个内存操作就会遇到问题 乱序执行（Out-of-O...

使用OCR进行信息收集，格式化 适应性强，灵活，更接近人眼