Recently Updated Pages

背景 计算机已经发展了很多年，很多层的划分已经非常的明确 高层级的计算范式随着AI的发展，特别是LLM的发展，已经越发的清晰 传统计算机软硬件堆栈->神经网络算子->神经网络计算图->Pyt...

自洽能力对于人工智能的重要性 当前AI还不能轻易的实现自洽能力，甚至在在KV cache内的自洽性还存在挑战，权重范围内只能根据概率来输出 意识会去维护一个最本质的目的，不断检验当前的成果，...

一种误解 短期记忆是临时记忆，只是记忆的一部分关键信息 短期记忆 大脑的意识存在于短期记忆 是一个不断变化的，不断被更改的状态存储器 存储的是对当前状态的高度浓缩的，高度抽象的表示 可能...

Transformer类算法，依赖大维度的信息变换，相关性爆炸 也就是尺寸很大的矩阵乘法，虽然很适合现代GPU的加速 大的GEMM提供了非常大的状态空间，目标是包含所有的维度 使用固定路径的...

新的信号处理方法 非常高的等价算力 高效率 单bit 非数学直接等价（乘加）的计算：查找表 处理好，抽象好，不可避免的动态特性 训练受梯度下降算法严格绑定，受数学约束，不太容易改变，但是推理...

动态性 Transformer的“动态性决策”体现 Attention 本质上是利用dot计算，进行动态对信息的选取和重组 增加模型表达的非线性能力，利用有限的参数量表示（覆盖）更大的向量空...

统计模型 rank_tree表达了一短句子的逻辑分割，一段句子的分割，语意的组合，是抽象的一种， 两个不一样的表示表达的是同一个语义怎么办？ 腿短的是狗，腿长的也是狗，有些逻辑不是组合能表达的 ...

梯度下降的每个step，都需要把所有的loss“汇总” 包含所有batch，所有的loss function，以及在多个step之间，多个epoch之间 等价于对数据集的统计、回归、拟合，...

当前状态: 1.情绪:(感到吃惊和不安) 2.注意力: (全神贯注地关注膝盖的伤口,想弄清楚伤口的具体情况) 3.当前在思考什么: (在想伤口是如何形成的?流血的严重性如何?是否需要处理?) 4...

目的 破坏模型本身的一些设定，窃取一些隐藏在权重里面的信息。 LARGO 潜在空间优化：首先，研究者们并不直接修改问题文本，而是在模型的「大脑」内部，也就是高维的 embedding ...

前OpenAI首席科学家、SSI创始人 为什么AI正在从“Scaling时代”迈入“算法创新”时代？ 在旧金山湾区的核心技术圈层，随着计算集群规模的指数级扩张以及模型参数的爆炸式增长，智力过剩的...

VLA（Vision - Language - Action）：视觉 - 语言 - 动作模型 视觉编码器 + 语言编码器 -> 多模态融合与推理引擎 -> 动作解码器/头 范式一：端到端...

营销 月之暗面的目标是C端，为了让C端用户能够理解“长文本”这个技术名词，杨植麟用了更形象的比喻“支持更长的上下文”意味着大模型拥有更大的“内存”。这个世界已经被计算机、手机教育过了，每个普通人...

RWKV-V7 采用了动态状态演化（Dynamic State Evolution），超越了 attention / linear attention 范式 TC0 表达能力的根本限制。RWKV...

原理 特征向量 表达了一堆的对象的集合，平铺得组合在一起，没有层级结构 向量内的每个对象都被量化后并且归一化 多个乘法再累加组成了线性变换 Y = A X_1 + B X_2 + C ...

2D Transformer是一种基于Transformer架构的神经网络，专门用于处理二维数据，如图像。Transformer最初是在自然语言处理（NLP）领域提出的，用于处理序列数据。然而，...

Adam核心计算流程 ​初始化参数 初始化一阶矩（动量）向量 m0​=0 和二阶矩（梯度平方的指数平均）向量 v0​=0。 设定超参数：学习率 η（默认0.001）、动量衰减因子 β1​（...

参考链接 https://www.eet-china.com/mp/a307681.html https://blog.csdn.net/GLSWN8829/article/details/13...

测量线性稳压器的 2nV/√ Hz噪声和 120dB 电源抑制 https://www.analog.com/en/resources/app-notes/an-159.html [an-159...

锂电池/电动车使用规则 磷酸铁锂，因为不能从电压判断电量，经常充满一次，为了更好得平衡电池，电池间的平衡比满电的损害更小 由于磷酸铁锂的每个电池的自放电、能量回收充电的速度不一样，所以时间一长...