Recently Updated Pages

被修饰的汇编指令成为“原子的” 本身是原子指令，比如“XCHG”和“XADD”汇编指令 本身不是原子指令，但是被LOCK指令前缀修饰后成为原子指令，比如LOCK CMPXCHG 被修饰的汇...

1. Memory Consistency（内存一致性） 定义：内存一致性是指多核或多处理器系统中，多个处理器对共享内存的访问顺序是否一致，以及这些访问操作是否满足特定的规则或模型。 关...

TSO（Total Store Ordering）是一个被广泛使用的内存模型 并在x86架构中使用，RISC-V也提供了TSO扩展，即RVTSO，人们普遍认为x86内存模型等同于TSO，然而I...

模型算法 科研 企业商用 数据收集、标注 软件框架 科研 商业部署 加速芯片 云训练芯片 云推理 边沿推理 云服务 基础软件框架 硬件 服务 应用 各种AI云服务 ...

两个基本概念 自由索引（Free indices）和求和索引（Summation indices）： 自由索引，出现在箭头右边的索引，比如上面的例子就是 i 和 j； 求和索引，只出现在箭头左...

背景 在单线程场景中，CPU 通常会保证程序顺序（Program Order） 的可见性，即单线程内的指令会按照代码编写的顺序执行（或看起来像是按顺序执行）存储器读写的结果也会符合单线程的预期...

DRAM 电容 带宽不是很高 需要刷新，会有颠簸 SRAM 面积和功耗不能和工艺平行 类型 Cpu register Flip Flops 每个bit都有一读一写 L1/L2 SRAM ...

OpenSMART https://github.com/hyoukjun/OpenSMART/tree/master connect https://users.ece.cmu.edu/~mp...

LUN → CE → Die → Plane → Bank → Block → Page​ Block 是擦除操作的最小单位 Page 是读写操作的最小单位,常见的Nand Flash多数是2...

Cache写机制分为write through和write back两种。 Write-through: Write is done synchronously both to the cach...

逻辑 推断： A 是 B 与或非 逻辑规律： 传递性 类比：判断相似性，通过类比来模仿很容易，但是分析内在原因，并描述出来，形成理论很难 晶体管的饱和 类比 边际效应 晶体管的...

一个信息交换的界面 专业的知识/信息工具 可以进行日常的快速记录，语音，视频，片段 专业的课堂笔记，领域专业学习，精心组织，不断修改优化 记录多维度的信息，时间，前后逻辑关系，个人学习/...

背景 小众评测，避免各种开源的测试题目泄漏，数据污染问题 能客观、精确得反映出模型的能力 尽量反映其基础逻辑能力，而不是一些需要特殊数据训练才能获得的能力 镜像文字识别 基于知识类的 ...

神经元 可以被输入激活，激活后可以激活其他的连接的神经元 记忆区神经元 大部分时间是静息状态 逻辑推理神经元 视觉识别、语音识别，皮肤传感器等，人脸识别等等 正向，顺序激活，快速，没...

特点 人脑具有反馈回路，反馈回路形成正反馈，不断训练神经元，加强神经元 视觉神经能识别图像，也能通过提示想象出图像 语言作为抽象能力很强的表示工具，被充分用于协助思考，但不是智力的全部 @...

拟合高层次信息的体现 如果不能很好的拟合高层次的信息 容易出现过拟合现象 dropout早期用于防止过拟合，适用于多epoch的场景，不适用于LLM 权重会反复摇摆，不能锁定高级的语义...

问题 Transformer是怎么组织和表达自然语言的？ 可能的方向 通过不断的训练、运行来对模型的权重进行解析--逆训练 生成出一系列的最核心的，最有效的样本的数据集，用于蒸馏其他的模...

模型生成不真实或非事实陈述的现象 即模型中的主导知识可以在文本生成过程中，掩盖那些不太突出的知识，从而导致模型编造不准确的细节 由于权重表达的信息有限，只能对大量的知识进行归类抽象表...

智能的定义 和人脑的区别和差异 “性能差异” 场景：通过对一段句子进行划分、分句、解析起表达的意思 我的祖国是中国： 我/的/祖国/是/中国 => 我的/祖国/是/中国 => 我的祖国/是中...

注：作为术语的“tokenization”在中文中尚无共识的概念对应，本文档采用英文表达以利说明。 Qwen-7B采用UTF-8字节级别的BPE tokenization方式，并依赖tikt...