Recently Updated Pages

公理化思维，以第一性原理为根基，运用逻辑去找到超出我们认知极限问题的答案，进而建立起他理性思维体系。 古希腊哲学中的“原型”以中间的推理逻辑为实体，东方文明中的“原型”以结论为实体，这种微...

形象思维并不仅仅属于艺术家，它也是科学家进行科学发现和创造的一种重要的思维形式。例如，物理学中所有的形象模型，像电力线、磁力线、原子结构的汤姆生模型或卢瑟福小太阳系模型，都是物理学家抽象思维和形...

RAG的过程 拆分文本成文本块 拆分算法： 使用嵌入模型进行向量化 对一段文本使用一堆维度很多的向量进行表示 存入向量数据库 对输入进行向量化 使用传统...

背景 Etched提出，GPU在过去四年间效率并没有变得更好，只是变得更大了：芯片每平方毫米的的TFLOPS几乎持平。 「干净数据+大模型」和「脏数据+大模型」的效果，不会有太大差异。 ...

sudo，创建文件 /etc/wpa_supplicant.conf，填入，不能乱改“空格” ctrl_interface=/var/run/wpa_supplicant ap_sc...

预训练 1.  继续预训练 微调 全面微调更容易出现两个问题：模型崩溃和灾难性遗忘 PEFT技术本质上，是作为微调的自然正则化器 数据集的质量和筛选，对微调的成功起着重要作用：一...

数学总是在发明各种定义，并且在定义的基础上寻找特定的规律 如果生活的一种现象符合某种数学的定义，那么就可以用已经证明的规律进行计算/推到 从而对抽象的事物用数学工具进行计算 比如说...

问题 Transformer是怎么组织和表达自然语言的？ 可能的方向 通过不断的训练、运行来对模型的权重进行解析--逆训练 生成出一系列的最核心的，最有效的样本的数据集，用于蒸馏其他的模...

背景、需求自动根据输入信息进行结构化建模让AI进行一种更通用，哲学上完备的方法，类似于，面向对象对编程技术的抽象自然语言等抽象概念的结构化通用抽象引擎， 通用NP问题解决通用基础计算单元，算法基...

Adam核心计算流程 ​初始化参数 初始化一阶矩（动量）向量 m0​=0 和二阶矩（梯度平方的指数平均）向量 v0​=0。 设定超参数：学习率 η（默认0.001）、动量衰减因...

MLA 的核心思想是通过低秩联合压缩技术，减少 K 和 V 矩阵的存储开销 相对于传统的MHA，主要引入了𝑊𝐷𝐾𝑉把ht压缩了，并在推理时候缓存压缩后的数据，而不是kv，kv是使用WU...

Attention计算 对一个Softmax计算的切片 def softmax(x): x_max = x.max() x_exp = torch.exp(x - x...

NSA致力于实现硬件对齐的推理加速，通过特定的算法设计减少内存访问和硬件调度瓶颈，NSA 速度在64k inference相较 Flash Attention 前向加速9倍，反向加速6倍 ...

OpenSMART https://github.com/hyoukjun/OpenSMART/tree/master connect https://users.ece.cmu.edu/...

DRAM 电容 带宽不是很高 需要刷新，会有颠簸 SRAM 面积和功耗不能和工艺平行 类型 Cpu register Flip Flops 每个bit都有一读一写 ...

Cache写机制分为write through和write back两种。Write-through: Write is done synchronously both to the cache...

算子角度 信息维度映射，信息过滤，信息选择 ：Dot / GEMM  =>  Join+Reduce 激活 ： ElementWise Broadcast 统计、动态选择、排序 ： R...

哲学的本质本身就是一个哲学问题 胡适的描述是：凡研究人生切要的问题，从根本上着想，要寻一个根本的解决：这种学问叫做哲学 对哲学的主题亦存在许多看法。一些人认为哲学是对问题本身过程的观察。[1...

两个基本概念 自由索引（Free indices）和求和索引（Summation indices）： 自由索引，出现在箭头右边的索引，比如上面的例子就是 i 和 j； 求和索引，只出现...

使用python语法进行module的定义 python语法用来描述module之间的关系和 定义latch的存储器 定义module的算法和输入输出 配置一些固定的规格参数 ...