Recently Updated Pages
CUDA指令和架构
A100显卡上的tensorcore有自己的私有寄存器吗，微架构探索 https://zhuanlan.zhihu.com/p/620257581 乘影GPGPU架构文档手册v2.01.p...
Open GPGPU
Ventus GitHub - THU-DSP-LAB/ventus-gpgpu: GPGPU processor supporting RISCV-V extension, develope...
C++ SIMD
The support for these instructions is wide but not universal. Both Intel and AMD support thecompa...
锂电池/电动车使用规则
磷酸铁锂，因为不能从电压判断电量，经常充满一次，为了更好得平衡电池，电池间的平衡比满电的损害更小 由于磷酸铁锂的每个电池的自放电、能量回收充电的速度不一样，所以时间一长需要平衡校准 ...
示波器SDS800XHD破解
参考链接 https://www.eet-china.com/mp/a307681.html https://blog.csdn.net/GLSWN8829/article/details/...
测量线性稳压器的 2nV/√ Hz噪声和 120dB 电源抑制
https://www.analog.com/en/resources/app-notes/an-159.html an-159.pdf AN159_Layout_Files.zip ...
婴幼儿中的喘鸣
https://www.msdmanuals.cn/home/children-s-health-issues/respiratory-disorders-in-infants-and-chil...
switch教程
【大气层双系统制作教程】 https://www.bilibili.com/video/BV16M411X79n/?share_source=copy_web 【腾讯文档】switch问题...
TTT - Learning to (Learn at Test Time)
研究人员设计了一类新的序列建模层，其中隐藏状态是模型，更新规则是自监督学习的一个步骤。 由于更新测试序列上隐藏状态的过程，相当于在测试时训练模型，因此此类新层称为测试时训练（TTT）层。 ...
Mamba
SSM Mamba的定位 SSM/S4的中间变量为定长，所以必须使用最大的容量来表达整个句子的信息，要不然句子长了就存储不下，这又导致训练难 SSM/S4缺乏动态性（att...
改进大规模训练稀疏自编码器的方法
Ref ：https://mp.weixin.qq.com/s/iZHPnnIncVFa8QJOuH8qFg 神经网络中的激活通常表现出不可预测和复杂的模式，且每次输入几乎总会引发很密集的激活...
Transformer in CV
MEGALODON https://arxiv.org/pdf/2404.08801.pdf Vision Mamba https://github.com/hustvl/Vim/ ...
AI算法的里面的“乘法”
原理 特征向量 表达了一堆的对象的集合，平铺得组合在一起，没有层级结构 向量内的每个对象都被量化后并且归一化 多个乘法再累加组成了线性变换 Y = A X_1 + ...
Transformer NLP到底有没有智能？
智能的定义 和人脑的区别和差异 “性能差异” 场景：通过对一段句子进行划分、分句、解析起表达的意思 我的祖国是中国： 我/的/祖国/是/中国 => 我的/祖国/是/中国 => 我...
KV Cache
https://zhuanlan.zhihu.com/p/662498827
query@key
Attention是不是必须的
RNN容易梯度消失：梯度消失的本质问题是，网络太深了，这里的深代表信息表达的层级而不是拓扑，resnet就是解决这个问题 Transformer 的强大之处同时也是它的弱点：Transform...
新方法
Llama 3 128K token 的分词器，这种分词器在编码语言时更加高效，这使得模型的性能得到了显著提升 分组查询注意力（GQA）技术 在训练过程中，我们让模型处理最多 8,19...
Tokenization
注：作为术语的“tokenization”在中文中尚无共识的概念对应，本文档采用英文表达以利说明。 Qwen-7B采用UTF-8字节级别的BPE tokenization方式，并依赖tikt...
ChatGLM3典型计算图
## data flow ``` query -> "你好" | ...