Recently Updated Pages

115200 / | \ 10240 ...

meaning数据集是一个模仿自然语言，以及抽象表达的数据集。 115200 / | ...

为什么需要记忆 人脑有非常强大的记忆系统和索引能力，管理着非常庞大的信息，能够准确联想起来非常多的记忆 记忆是AGI的一种重要能力 因为大脑容量限制，记忆是人类在当前信息爆...

动态性 Transformer的“动态性决策”体现 Attention 本质上是利用dot计算，进行动态对信息的选取和重组 增加模型表达的非线性能力，利用有限的参数量表示（覆盖）更...

抽象 抽象出高效的，合理的，可复用的底层抽象 抽象出高效的、非常抽象的高层级概念，并应用于看起来毫不相关领域 记忆：记忆及快速的索引 类比：强大的类比功能 神经训练...

模型算法 科研 企业商用 数据收集、标注 软件框架 科研 商业部署 加速芯片 云训练芯片 云推理 边沿推理 云服务 基础软件框...

背景FPGA的基本单元是LUT(查找表)，如果把LUT看成一种逻辑运算单元查找表的真值表可以表示静态权重查找表的部份输入表示动态权重FPGA的可重构特性，相对于AI处理器可以把部份或者全部的动态...

梯度下降的每个step，都需要把所有的loss“汇总” 包含所有batch，所有的loss function，以及在多个step之间，多个epoch之间 等价于对数据集的统计、回归、...

特点  人脑具有反馈回路，反馈回路形成正反馈，不断训练神经元，加强神经元 视觉神经能识别图像，也能通过提示想象出图像 语言作为抽象能力很强的表示工具，被充分用于协助思考，但不是智力...

开源项目 微软的Graph RAG 蚂蚁开发了首个对外开源的Graph RAG框架，蚂蚁全自主的开源产品：DB-GPT[50] + OpenSPG[42] + TuGraph[46] ...

RWKV-V7 采用了动态状态演化（Dynamic State Evolution），超越了 attention / linear attention 范式 TC0 表达能力的根本限制。RWKV...

公理化思维，以第一性原理为根基，运用逻辑去找到超出我们认知极限问题的答案，进而建立起他理性思维体系。 古希腊哲学中的“原型”以中间的推理逻辑为实体，东方文明中的“原型”以结论为实体，这种微...

形象思维并不仅仅属于艺术家，它也是科学家进行科学发现和创造的一种重要的思维形式。例如，物理学中所有的形象模型，像电力线、磁力线、原子结构的汤姆生模型或卢瑟福小太阳系模型，都是物理学家抽象思维和形...

RAG的过程 拆分文本成文本块 拆分算法： 使用嵌入模型进行向量化 对一段文本使用一堆维度很多的向量进行表示 存入向量数据库 对输入进行向量化 使用传统...

sudo，创建文件 /etc/wpa_supplicant.conf，填入，不能乱改“空格” ctrl_interface=/var/run/wpa_supplicant ap_sc...

命名的重要性 好的设计从命名开始 怎么在团队内统一命名规则 制定规则和培训

--用推理的“临时态”实现短暂的意识 背景和方法 众所周知，o1在推理阶段采用了一种思维链（Chain of Thought）的方法，将推理过程分解为多个离散的步骤。o1能够规划其推理步骤，...

预训练 1.  继续预训练 微调 全面微调更容易出现两个问题：模型崩溃和灾难性遗忘 PEFT技术本质上，是作为微调的自然正则化器 数据集的质量和筛选，对微调的成功起着重要作用：一...

数学总是在发明各种定义，并且在定义的基础上寻找特定的规律 如果生活的一种现象符合某种数学的定义，那么就可以用已经证明的规律进行计算/推到 从而对抽象的事物用数学工具进行计算 比如说...

问题 Transformer是怎么组织和表达自然语言的？ 可能的方向 通过不断的训练、运行来对模型的权重进行解析--逆训练 生成出一系列的最核心的，最有效的样本的数据集，用于蒸馏其他的模...