Recently Updated Pages

DRAM 电容 带宽不是很高 需要刷新，会有颠簸 SRAM 面积和功耗不能和工艺平行 类型 Cpu register Flip Flops 每个bit都有一读一写 L1/L2 SRAM ...

OpenSMART https://github.com/hyoukjun/OpenSMART/tree/master connect https://users.ece.cmu.edu/~mp...

LUN → CE → Die → Plane → Bank → Block → Page​ Block 是擦除操作的最小单位 Page 是读写操作的最小单位,常见的Nand Flash多数是2...

Cache写机制分为write through和write back两种。 Write-through: Write is done synchronously both to the cach...

逻辑 推断： A 是 B 与或非 逻辑规律： 传递性 类比：判断相似性，通过类比来模仿很容易，但是分析内在原因，并描述出来，形成理论很难 晶体管的饱和 类比 边际效应 晶体管的...

一个信息交换的界面 专业的知识/信息工具 可以进行日常的快速记录，语音，视频，片段 专业的课堂笔记，领域专业学习，精心组织，不断修改优化 记录多维度的信息，时间，前后逻辑关系，个人学习/...

背景 小众评测，避免各种开源的测试题目泄漏，数据污染问题 能客观、精确得反映出模型的能力 尽量反映其基础逻辑能力，而不是一些需要特殊数据训练才能获得的能力 镜像文字识别 基于知识类的 ...

抽象 抽象出高效的，合理的，可复用的底层抽象 抽象出高效的、非常抽象的高层级概念，并应用于看起来毫不相关领域 记忆**：**记忆及快速的索引 类比：强大的类比功能 神经训练的收敛过程可...

意识的解释 意识，可以解释成 对自我的一种认可，我是我，一般说一个智能具有意识，表示能表现出“自我”的行为。 自我是一套复杂价值观、行为规则，是一种关于人文、社会、基本生存等的复杂算法的高层级...

神经元 可以被输入激活，激活后可以激活其他的连接的神经元 记忆区神经元 大部分时间是静息状态 逻辑推理神经元 视觉识别、语音识别，皮肤传感器等，人脸识别等等 正向，顺序激活，快速，没...

1. 最底层的“目标函数”：生存与节能 (Survival & Energy Efficiency) 生物脑的一切高级功能都服从于这个终极指令。大脑只占人体重量的 2%，却消耗了 20% 的能量...

特点 人脑具有反馈回路，反馈回路形成正反馈，不断训练神经元，加强神经元 视觉神经能识别图像，也能通过提示想象出图像 语言作为抽象能力很强的表示工具，被充分用于协助思考，但不是智力的全部 @...

拟合高层次信息的体现 如果不能很好的拟合高层次的信息 容易出现过拟合现象 dropout早期用于防止过拟合，适用于多epoch的场景，不适用于LLM 权重会反复摇摆，不能锁定高级的语义...

问题 Transformer是怎么组织和表达自然语言的？ 可能的方向 通过不断的训练、运行来对模型的权重进行解析--逆训练 生成出一系列的最核心的，最有效的样本的数据集，用于蒸馏其他的模...

模型生成不真实或非事实陈述的现象 即模型中的主导知识可以在文本生成过程中，掩盖那些不太突出的知识，从而导致模型编造不准确的细节 由于权重表达的信息有限，只能对大量的知识进行归类抽象表...

智能的定义 和人脑的区别和差异 “性能差异” 场景：通过对一段句子进行划分、分句、解析起表达的意思 我的祖国是中国： 我/的/祖国/是/中国 => 我的/祖国/是/中国 => 我的祖国/是中...

注：作为术语的“tokenization”在中文中尚无共识的概念对应，本文档采用英文表达以利说明。 Qwen-7B采用UTF-8字节级别的BPE tokenization方式，并依赖tikt...

NSA致力于实现硬件对齐的推理加速，通过特定的算法设计减少内存访问和硬件调度瓶颈，NSA 速度在64k inference相较 Flash Attention 前向加速9倍，反向加速6倍 NS...

MLA 的核心思想是通过低秩联合压缩技术，减少 K 和 V 矩阵的存储开销 相对于传统的 MHA，主要引入了 W^{DKV} 把 h_{t} 压缩了，并在推理时候缓存压缩后的数据，而不是 kv...

推理的定义 能利用已知的知识产生新的知识 能清晰得判断一个知识的边界、合理性，保持自洽 推理应用技巧 在input里面增加思维链提示，推理的示例就可以触发模型进行推理，输出详细的解题步骤 ...