Skip to main content

Recently Updated Pages

CUDA指令和架构

AI加速芯片

A100显卡上的tensorcore有自己的私有寄存器吗,微架构探索 https://zhuanlan.zhihu.com/p/620257581 乘影GPGPU架构文档手册v2.01.pdf ...

Updated 4 months ago by Colin

Cuda Pipeline 同步机制

AI加速芯片

pipeline 它实现上是一个proxy pattern, cuda::pipeline是每个thread访问pipeline_shared_state的proxy pipeline_sha...

Updated 4 months ago by Colin

AI计算需求的抽象

AI加速芯片

算子角度 信息维度映射,信息过滤,信息选择 :Dot / GEMM => Join+Reduce 激活 : ElementWise Broadcast 统计、动态选择、排序 : Reduce ...

Updated 4 months ago by Colin

AI加速芯片架构的动态性支持讨论

AI加速芯片

动态性的级别划分 数据内容不同动态 算子数据的尺寸动态 大部分非GPGPU的DSA架构都支持得不好,有各种问题 同步开销大,同步资源管理难,存储资源浪费,程序代码大 等问题 不同的数据地...

Updated 4 months ago by Colin

通用的抽象

基本问题

背景、需求 自动根据输入信息进行结构化建模 让AI进行一种更通用,哲学上完备的方法,类似于,面向对象对编程技术的抽象 自然语言等抽象概念的结构化 通用抽象引擎, 通用NP问题解决 通用基础计算...

Updated 4 months ago by Colin

C++ SIMD

AI加速芯片

The support for these instructions is wide but not universal. Both Intel and AMD support the comp...

Updated 4 months ago by Colin

无所畏惧

基本问题

无所畏惧、没有牵挂、不再害怕 这个可能是人生追求的最终形态 不管是通过和自己和解,还是世界和你和解,最终的目的总是“和解“ 大脑的本能,不能克服的本能,就是根据当前的所有状态,决定下一步的...

Updated 5 months ago by Colin

卷积计算的测试

算法&模型 大模型评测

下面这个卷积网络,的算力需求大概是多少 Mops , 权重是多少K 个 注意 stride , pooling 以及 深度可分离卷积 的参数 请直接输出一个表格, 输入是 16000...

Updated 6 months ago by Colin

Theory of Space

基本问题

研究人员将 Theory of Space 定义为三个紧密耦合的核心能力: 构建(Construct):在部分可观测的迷雾中主动迈出脚步,收集局部观察,并在内部表征中拼凑出一张全局一致...

Updated 6 months ago by Colin

视觉就应该是卷积

算法&模型

先说观点,当前所有的科研人员都研究Transformer去了,但是卷积才是视觉的最高效的特征提取(编码)算法。

Updated 7 months ago by Colin

AI的效果悖论/骗局

基本问题

现象 看起来现在的大模型已经无所不能,LLM的语言能力,nano banana的图像,Sora的视频等等 能生成几乎是任意的数字内容,其实在早几年的CV(卷积网络)时代就已经有过一次惊艳了。...

Updated 7 months ago by Colin

提示词-prompt-自然语言接口

算法&模型

虽然我认为研究LLM心理学是没有意义的行为,但是更好得让工具为你服务是我的目的 prompt 最好是正面的,不要通过否定的方式来提示,而是采用直接的表达方式 尽量准确,详细得描述要求,举...

Updated 7 months ago by Colin

Meaning Dataset 详细介绍文档

算法&模型 meaning

目录 概述 核心概念 语义层级结构 Rank 编码机制 序列生成机制 特殊功能机制 数据示例 概述 Meaning Dataset 是一个模仿自然语言结构和抽象表达的数据集。它通过层级化的...

Updated 7 months ago by Colin

Andrej Karpathy 2025年演讲与访谈深度解读:从大语言模型到Agent的演进

算法&模型

OpenAI 前创始成员安德烈·卡帕西(Andrej Karpathy)在2025年的全年演讲与公开访谈。他为我们揭示了 AI 从大语言模型到 Agent 演进的核心逻辑、工程现实与未来路径。 ...

Updated 7 months ago by Colin

氛围

基本问题

这个词首先被用在了编程的领域,很奇怪的是编程本来是一件很精确的工作,追求准确无误的工作,但是“氛围编程”这个词语还是流行起来了, 那么这还是必然的还是无奈? 随着LLM基本搞定自然语言的理解...

Updated 8 months ago by Colin

LLM心理行为学的研究

基本问题

随着LLM的爆火,很多科研人员投入研究LLM表现出来的行为 特别是一些心理学方面的表现,比如: 谄媚 自信/不自信 固执己见/被质疑就动摇 从原理上说,本质上都是数学的统计概率...

Updated 8 months ago by Colin

语言的向量化

算法&模型

方式1,向量通过罗列的方式,表示所有信息的程度 向量维度足够多的时候,虽然能完整表达语义,但是效率非常低,每个语义只能激活很少的维度 不是每个维度都需要很高的表示精度, 方式2,向...

Updated 8 months ago by Colin

架构/微架构

AI加速芯片 GMP

设计 标量寄存器和向量寄存器统一,支持自动进行转换 异步单元(SP-PU-L1-DMA)之间都采用异步机制,依赖转移到异步目标 统一的同步机制 静态分配同步资源 原生软硬件支持...

Updated 9 months ago by Colin

完美复制一个我,那还是我吗?

基本问题

如果现在的AI技术发展到了,能把一个人的所有记忆,思想,想法,性格,爱好,脾气都完全复制和实现, 那么这样一个物体还是我吗?这能称作是永生了吗? 能:相当于两个“机器”同时维护一个“我”这样...

Updated 11 months ago by Colin

太快和太慢

基本问题

太,在这里其实表达的是个贬义词,描述一个不合适的前提 在科技领域,所有的技术其实都要求其合适性 在2025年的今天,大家还在争论激光雷达对于自动驾驶的必要性 马斯克认为,路是给人修的,那么...

Updated 11 months ago by Colin