Recently Updated Pages

逻辑 推断： A 是 B 与或非 逻辑规律： 传递性 类比：判断相似性，通过类比来模仿很容易，但是分析内在原因，并描述出来，形成理论很难 晶体管的饱和 类比 边际效应 晶体管的...

一个信息交换的界面 专业的知识/信息工具 可以进行日常的快速记录，语音，视频，片段 专业的课堂笔记，领域专业学习，精心组织，不断修改优化 记录多维度的信息，时间，前后逻辑关系，个人学习/...

背景 小众评测，避免各种开源的测试题目泄漏，数据污染问题 能客观、精确得反映出模型的能力 尽量反映其基础逻辑能力，而不是一些需要特殊数据训练才能获得的能力 镜像文字识别 基于知识类的 ...

抽象 抽象出高效的，合理的，可复用的底层抽象 抽象出高效的、非常抽象的高层级概念，并应用于看起来毫不相关领域 记忆**：**记忆及快速的索引 类比：强大的类比功能 神经训练的收敛过程可...

神经元 可以被输入激活，激活后可以激活其他的连接的神经元 记忆区神经元 大部分时间是静息状态 逻辑推理神经元 视觉识别、语音识别，皮肤传感器等，人脸识别等等 正向，顺序激活，快速，没...

特点 人脑具有反馈回路，反馈回路形成正反馈，不断训练神经元，加强神经元 视觉神经能识别图像，也能通过提示想象出图像 语言作为抽象能力很强的表示工具，被充分用于协助思考，但不是智力的全部 @...

拟合高层次信息的体现 如果不能很好的拟合高层次的信息 容易出现过拟合现象 dropout早期用于防止过拟合，适用于多epoch的场景，不适用于LLM 权重会反复摇摆，不能锁定高级的语义...

问题 Transformer是怎么组织和表达自然语言的？ 可能的方向 通过不断的训练、运行来对模型的权重进行解析--逆训练 生成出一系列的最核心的，最有效的样本的数据集，用于蒸馏其他的模...

模型生成不真实或非事实陈述的现象 即模型中的主导知识可以在文本生成过程中，掩盖那些不太突出的知识，从而导致模型编造不准确的细节 由于权重表达的信息有限，只能对大量的知识进行归类抽象表...

智能的定义 和人脑的区别和差异 “性能差异” 场景：通过对一段句子进行划分、分句、解析起表达的意思 我的祖国是中国： 我/的/祖国/是/中国 => 我的/祖国/是/中国 => 我的祖国/是中...

注：作为术语的“tokenization”在中文中尚无共识的概念对应，本文档采用英文表达以利说明。 Qwen-7B采用UTF-8字节级别的BPE tokenization方式，并依赖tikt...

NSA致力于实现硬件对齐的推理加速，通过特定的算法设计减少内存访问和硬件调度瓶颈，NSA 速度在64k inference相较 Flash Attention 前向加速9倍，反向加速6倍 NS...

MLA 的核心思想是通过低秩联合压缩技术，减少 K 和 V 矩阵的存储开销 相对于传统的 MHA，主要引入了 W^{DKV} 把 h_{t} 压缩了，并在推理时候缓存压缩后的数据，而不是 kv...

推理的定义 能利用已知的知识产生新的知识 能清晰得判断一个知识的边界、合理性，保持自洽 推理应用技巧 在input里面增加思维链提示，推理的示例就可以触发模型进行推理，输出详细的解题步骤 ...

预训练 1. 继续预训练 微调 全面微调更容易出现两个问题：模型崩溃和灾难性遗忘 PEFT技术本质上，是作为微调的自然正则化器 数据集的质量和筛选，对微调的成功起着重要作用：一个大趋势是质量比...

乘法 两个32bit的浮点数乘法，相当于32位的bit向量做空间映射 每个bit代表了特殊的含义，指数、尾数以及对应的档位 乘法不能充分利用32位的所有表达空间，精度越低的数据信息利用率越高 ...

Attention计算 对一个Softmax计算的切片 def softmax(x): x_max = x.max() x_exp = torch.exp(x - x_max)...

## data flow query -> "你好" | to...

通过复杂的人工设计的算法影响模型的功能和性能 人类总是能在更高的维度来指导模型 模型的自我学习能力还是不理想 最后的瓶颈会是人类设计算法的复杂性，需要另外一种更通用、简单的方法来替代Trans...

--用推理的“临时态”实现短暂的意识 背景和方法 众所周知，o1在推理阶段采用了一种思维链（Chain of Thought）的方法，将推理过程分解为多个离散的步骤。o1能够规划其推理步骤，评估...