Skip to main content

Recently Updated Pages

现代汉语:语法解析

算法&模型 记忆和语言

现代汉语语法解析 一份独立的现代汉语语法概览。目的是把汉语作为一种语言系统本身讲清楚,不服务任何具体的工程下游。 视角偏功能 / 类型学,参考朱德熙《语法讲义》、吕叔湘《现代汉语八百词》、Li...

Updated 4 months ago by Colin

记忆对于LLM的意义

算法&模型 记忆和语言

记忆是实现人性化的必要条件 稳定的长期记忆 现有模型的推理能力已经足够强,真正缺的是稳定的长期记忆。 我们需要那么多智能体协作,恰恰是因为一个智能体记不住所有事情。 图数据库 AI 缺...

Updated 4 months ago by Colin

RAG

算法&模型 记忆和语言

RAG RAG的过程 拆分文本成文本块 拆分算法: 使用嵌入模型进行向量化 对一段文本使用一堆维度很多的向量进行表示 存入向量数据库 对输入进行向量化 使用传统的向量距离计算算法进...

Updated 4 months ago by Colin

算力单元

AI加速芯片 GMP

算力单元详细设计 把 [[Pipe]] 第 6 节 §208 的算力单元抽象展开到 RTL 起手前。每个计算实例 = 一条 engine pipe 实例。 0. 与 DMA 的同构关系 算力单元...

Updated 4 months ago by Colin

记忆方法学

算法&模型 记忆和语言

方法学 要求 需要设计一个健壮的系统,流程化,体系化,理论支撑 多层级的架构,层级解耦,独立迭代,不断增强 尽量端到端 本质上需要的能力和处理流程 语义解析,对“输入”的自然语言...

Updated 4 months ago by Colin

终极意义

基本问题

人生的意义从来都不在于实现了什么,达到什么,不在于说经济物质或者是科技的进步。 人生的意义就是在于在一个以人性为前提的规则下,怎么更好地服务人性,解读人性,发展人性 所有的发展不管是科技的进步...

Updated 4 months ago by Colin

Transformer

算法&模型 Transformer

特点 精细的抽象,记忆空间特别大 大数据,大算力,大模型 scaling特性,可以训练很大的模型,用很多数据获得更多智能 “硬件彩票”,高强度对着GPU设计,能打满GPU利用率 ...

Updated 4 months ago by Colin

AI 影响下的工程开发流程

基本问题

AI影响下的工程开发流程 引言 AI(特别是大语言模型与代码助手)正在重塑工程开发的底层流程。这种重塑不是简单的"工具升级",而是对协作单位、职责边界、交付物形态的重新定义。本报告围绕五个核心问...

Updated 4 months ago by Colin

基于关键词的知识图

算法&模型 智能体

基于关键词的知识图:核心思想 本文不涉及任何代码、接口或落地形式,只解释这套知识组织方式背后的思想模型。 一、要解决的问题 人类积累知识的过程不是堆数据,而是给概念起名字、把概念挂到已有的概念...

Updated 4 months ago by Colin

理想架构-Harness12对照分析

算法&模型 智能体

《一种理想的智能体编排架构》× Harness 12 组件 对照分析 分析对象:Agent/design/一种理想的智能体编排架构.md 对照标准:Agent/design/Agent-Har...

Updated 4 months ago by Colin

x86的多核宽松内存一致性模型

计算机体系结构 Memory Consistency and Cache Coherence

被修饰的汇编指令成为“原子的” 本身是原子指令,比如“XCHG”和“XADD”汇编指令 本身不是原子指令,但是被LOCK指令前缀修饰后成为原子指令,比如LOCK CMPXCHG 被修饰的汇...

Updated 4 months ago by Colin

Memory Consistency and Cache Coherence 定义

计算机体系结构 Memory Consistency and Cache Coherence

1. Memory Consistency(内存一致性) 定义:内存一致性是指多核或多处理器系统中,多个处理器对共享内存的访问顺序是否一致,以及这些访问操作是否满足特定的规则或模型。 关...

Updated 4 months ago by Colin

TSO(Total Store Ordering)内存模型

计算机体系结构 Memory Consistency and Cache Coherence

TSO(Total Store Ordering)是一个被广泛使用的内存模型 并在x86架构中使用,RISC-V也提供了TSO扩展,即RVTSO,人们普遍认为x86内存模型等同于TSO,然而I...

Updated 4 months ago by Colin

人工智能的产业

计算机体系结构

模型算法 科研 企业商用 数据收集、标注 软件框架 科研 商业部署 加速芯片 云训练芯片 云推理 边沿推理 云服务 基础软件框架 硬件 服务 应用 各种AI云服务 ...

Updated 4 months ago by Colin

einsum

计算机体系结构

两个基本概念 自由索引(Free indices)和求和索引(Summation indices): 自由索引,出现在箭头右边的索引,比如上面的例子就是 i 和 j; 求和索引,只出现在箭头左...

Updated 4 months ago by Colin

acquire release 实现内存一致性

计算机体系结构

背景 在单线程场景中,CPU 通常会保证程序顺序(Program Order) 的可见性,即单线程内的指令会按照代码编写的顺序执行(或看起来像是按顺序执行)存储器读写的结果也会符合单线程的预期...

Updated 4 months ago by Colin

RAM

计算机体系结构

DRAM 电容 带宽不是很高 需要刷新,会有颠簸 SRAM 面积和功耗不能和工艺平行 类型 Cpu register Flip Flops 每个bit都有一读一写 L1/L2 SRAM ...

Updated 4 months ago by Colin

NoC

计算机体系结构

OpenSMART https://github.com/hyoukjun/OpenSMART/tree/master connect https://users.ece.cmu.edu/~mp...

Updated 4 months ago by Colin

Nand flash

计算机体系结构

LUN → CE → Die → Plane → Bank → Block → Page​ Block 是擦除操作的最小单位 Page 是读写操作的最小单位,常见的Nand Flash多数是2...

Updated 4 months ago by Colin

Cache写机制 Write-through与Write-back

计算机体系结构

Cache写机制分为write through和write back两种。 Write-through: Write is done synchronously both to the cach...

Updated 4 months ago by Colin