Recently Updated Pages
好奇心的底层原理
我们都知道好奇心对于动物的意义,而且也符合达尔文的生物进化理论, 好奇心的生理基础是大脑中多巴胺系统与前额叶皮层的协同作用,形成 “探索→获得信息→奖赏→持续探索” 的正反馈循环。 但是大脑...
Meaning Dataset 详细介绍文档
目录 概述 核心概念 语义层级结构 Rank 编码机制 序列生成机制 特殊功能机制 数据示例 概述 Meaning Dataset 是一个模仿自然语言结构和抽象表达的数据集。它通过层级化的...
Andrej Karpathy 2025年演讲与访谈深度解读:从大语言模型到Agent的演进
OpenAI 前创始成员安德烈·卡帕西(Andrej Karpathy)在2025年的全年演讲与公开访谈。他为我们揭示了 AI 从大语言模型到 Agent 演进的核心逻辑、工程现实与未来路径。 ...
氛围
这个词首先被用在了编程的领域,很奇怪的是编程本来是一件很精确的工作,追求准确无误的工作,但是“氛围编程”这个词语还是流行起来了, 那么这还是必然的还是无奈? 随着LLM基本搞定自然语言的理解...
LLM心理行为学的研究
随着LLM的爆火,很多科研人员投入研究LLM表现出来的行为 特别是一些心理学方面的表现,比如: 谄媚 自信/不自信 固执己见/被质疑就动摇 从原理上说,本质上都是数学的统计概率...
语言的向量化
方式1,向量通过罗列的方式,表示所有信息的程度 向量维度足够多的时候,虽然能完整表达语义,但是效率非常低,每个语义只能激活很少的维度 不是每个维度都需要很高的表示精度, 方式2,向...
架构/微架构
设计 标量寄存器和向量寄存器统一,支持自动进行转换 异步单元(SP-PU-L1-DMA)之间都采用异步机制,依赖转移到异步目标 统一的同步机制 静态分配同步资源 原生软硬件支持...
完美复制一个我,那还是我吗?
如果现在的AI技术发展到了,能把一个人的所有记忆,思想,想法,性格,爱好,脾气都完全复制和实现, 那么这样一个物体还是我吗?这能称作是永生了吗? 能:相当于两个“机器”同时维护一个“我”这样...
太快和太慢
太,在这里其实表达的是个贬义词,描述一个不合适的前提 在科技领域,所有的技术其实都要求其合适性 在2025年的今天,大家还在争论激光雷达对于自动驾驶的必要性 马斯克认为,路是给人修的,那么...
仿真人脑的基本条件
准则 能够持续学习 建立世界模型并进行规划的能力 能够进行新的高层级的抽象 能够进行“元”概念的学习和泛化 心智,意识 理解自我、个体的概念 维持自洽的基本能力 行动...
人类社交的更高层次的需求
社会活动是人类的基本需求 人类行为活动的目标不再是温饱之后,需要一种新的奖励形式,那就是社会的“认同”、“认可” 所有的社会属性都可以转换成“认可度”,财物、声誉、名望、游戏等级、公司领导等...
生命和AGI的开发
蛋白质结构可能有 10 的 300 次方种,这些都远远超过宇宙中的原子数量, 所有的因素都考虑进去,尝试的空间远远大于宇宙的时空 那么为什么生命能够形成? 自然进化规律,没有上帝和高级策略...
附带meaning tree信息的数据集
115200 / | \ 10240 ...
第一性原理及公理化思维
公理化思维,以第一性原理为根基,运用逻辑去找到超出我们认知极限问题的答案,进而建立起他理性思维体系。 古希腊哲学中的“原型”以中间的推理逻辑为实体,东方文明中的“原型”以结论为实体,这种微...
Triton
高层次Kernel开发语言Triton The aim of Triton is to provide an open-source environment to write fast cod...
边缘视觉的软件/硬件方案
软件 iree的路线 https://github.com/openxla/iree 兼容CUDA/OpenCL的路线, CuPBoP , Vortex Open GPGPU ...
测量线性稳压器的 2nV/√ Hz噪声和 120dB 电源抑制
https://www.analog.com/en/resources/app-notes/an-159.html an-159.pdf AN159_Layout_Files.zip ...
锂电池/电动车使用规则
磷酸铁锂,因为不能从电压判断电量,经常充满一次,为了更好得平衡电池,电池间的平衡比满电的损害更小 由于磷酸铁锂的每个电池的自放电、能量回收充电的速度不一样,所以时间一长需要平衡校准 ...
TTT - Learning to (Learn at Test Time)
研究人员设计了一类新的序列建模层,其中隐藏状态是模型,更新规则是自监督学习的一个步骤。 由于更新测试序列上隐藏状态的过程,相当于在测试时训练模型,因此此类新层称为测试时训练(TTT)层。 ...
Mamba
SSM Mamba的定位 SSM/S4的中间变量为定长,所以必须使用最大的容量来表达整个句子的信息,要不然句子长了就存储不下,这又导致训练难 SSM/S4缺乏动态性(att...