Search Results

SVO 语义矢量算子手册 一、核心哲学 1.0 基本原则：自然语言投影（最高约束） SVO 是自然语言的格式化投影。 它不是独立于自然语言的形式化系统——而是给自然语言添加最少符号，把隐含结构显式化。语序、词项、修饰关系尽量保留原句；只在歧义、辖域、命题关系等必须显式化的地方引入符号。 合法性检验的唯一标准：算式按结合律回读为自然语言，应与原句语义接近。读不回去的算式就是错的，即使它通过了所有形式规则。 本手册 §二 至 §七 的所有具体规则都是"辅助工具"，不是"凌驾检验"。当具体规则与原句表达冲突时，除硬性约...

AI 需要明确的信息 它擅长什么、为什么、边界在哪 背景：AI 写代码这类「明确、定义清楚」的活又快又稳，碰到模糊的事就时灵时不灵。 疑问：它擅长的到底是「编程」，还是背后更一般的东西？本质是什么？该把任务改成什么样？边界又在哪？ 论点：AI 不真创新，只是在「它的内嵌空间」和「你的要求」之间取一个最优中点。要求越明确，中点越被拉到你要的那个点上——这就是它为什么需要明确的信息；而当要求拴不上、残差扛不住、或样本不够密时，中点拉不动，那就是它的边界 一、AI 擅长「明确、定义类」的问题——代码是典型 在明确、...

直觉并不落后 从 AI 的边界，看人的位置 背景：AI 越来越强——能作诗、能生成视频、能写代码，看着像要无所不能。 疑问：可它到底止于哪、为什么？而它够不到的地方，是不是恰恰是人最该站的位置？ 论点：直觉与第一性原理不落后，正是人超越「解题机器」的关键 一、AI 是台越来越强的「解题机器」 现在已经成的 作词、作诗 视频生成与修改：关羽弹吉他、名人虚构照片 应用大爆发：编程、问答、领域知识（金融/医疗/法律）、生活服务、信息娱乐、企业加速、科研、工业自动化、教育 还会更强——能力三要素都还有巨大空间 ...

AI的发展实际上是在追求更高的层级的信息压缩 CNN的卷积核是对图像的信息压缩 多层神经网络是在压缩/抽象自然语言表达的语义 从压缩的角度来看，就是用这个模型来压缩真实文本，平均还要花多少bit，才能把下一个token写出来？ 不断得更高维度的压缩才是重点 用自然语言来思考是llm这一层的最大作用，自然语言天然就是一个高度压缩的表达方式 推理技术的加成，让自然语言完全发挥，本质上是更高一层维度的抽象/表达/压缩 大模型本身这一层封装了海量算力 大语言模型不仅仅是权重的变大，通过推理技术，表达了更庞大算力...

我们都知道现在的深度神经网络有大量的信息是冗余的，利用这个冗余进行提高效率的计数有，稀疏计算、低精度量化等等技术。 乘法本来就是一种数学上的定义，可以理解成一种最简单的信息处理方法、公式 硬件实现FP32单元实际上是按照数学定义的浮点计算去等价， 神经网络不像科学计算，其在算法设计上就不需要这么高的精度表达 神经网络算法本身就没有办法用到这么高的精度 可以从两个方面来看一下这个问题 硬件为什么FP32就是浪费？ 为什么科学计算就是需要FP32甚至是FP64，而神经网络是没有办法？还是没有必要？ 训练过程是在...

开始于卷积神经网络 依稀记得AI框架的鼻祖是caffe 后面的pytorch和tensorflow的出现逐渐把深度神经网络的引用慢慢推向成熟 后面就开始进入到了框架的竞争和底层图编译框架的竞争 tensorflow vs pytorch mlir vs tvm 我们都知道胜者是mlir+pytorch 因为这两个分别代表了两个需求的极致 mlir的在图编译以及不同硬件体系对接上的优势 pytorch在上层易用性上的优势 总结 其实不仅仅是框架的技术路线的竞争，也深深影响了国内AI加速芯...

马丁格尔策略（Martingale Strategy），俗称“加倍赌注法”或“倍投法”，是博弈论和金融学中最著名、最古老，但也最危险的资金管理策略之一。 它的基本逻辑非常直观：“只要我无限翻倍，输多少次都能在一把里全部赢回来。” 为什么翻倍这个工具那么的特殊，在很多地方都可以看到？隐隐约约好像代表了一个很复杂的概念，虽然表面上看起来很简单。 翻倍是什么 X2 把过去的历史的一个完全的总结，表达 一笔勾销，我们最后赌一次 指数爆炸，“棋盘上的麦粒”（或“国王与国际棋盘的故事”） 翻倍代表了一种什么样子的机制？ ...

当下做主的，是临时判断和情绪 有趣的现象：等红灯的时候，掏出手机看了一眼，发现自己买的股票跌得很厉害，一整片很绿很绿，绿得刺眼。心情一下子起了波动，乱乱的。就在这时，交通灯也变绿了——同样是绿，这一个却是"走"，该踩油门了；可内心一阵害怕，手脚发僵，不敢启动车子。 论点：人脑工作的一个有趣机制——当下做决定，占主导的是临时的判断逻辑和情绪 那一刻，理性不在台上：灯绿就走才是理性答案，可人没照它做。 真正当家的是两样东西（还互相喂）： 临时的判断逻辑——大脑当场拼出一个"现在很危险"，不去核对"股票跟开...

论文阅读笔记：How much do language models memorize? 论文基本信息： 标题：How much do language models memorize?（语言模型究竟能记住多少内容？） 作者：John X. Morris 等（由 Meta FAIR, Google DeepMind, NVIDIA 等机构的研究人员联合发表） 核心主题：大语言模型（LLM）的记忆容量量化、泛化能力与“顿悟（Grokking）”现象。 1. 研究背景与动机 (Motivation) 核心痛点：在...

目的：写给做 Agent 编排层和 harness 的人，说清楚现在的助手类 Agent 卡在哪里，以及编排层该往哪个方向做。 顶层论点：助手类 Agent 的自洽和逻辑只能维持在当前上下文里，要突破，就得把自洽、记忆和调度移到 LLM 外面的编排层。 只是一个上下文助手：Agent 工程化 当前不管是 Code、Cowork，还是比较火的 OpenClaw，这些助手类的 Agent 不外乎两个特点。 所有的自洽和逻辑都只能维持在当前的上下文 上下文可以被动态的追加、压缩、整理、拼接 外挂一些固定的处理...

20260803

transformer最成功的一点就是attention 这个就是一个最典型的动态性内化的案例，既保留了动态性，又让所有的参数都能够被用到，没有浪费参数。 没有浪费算力，又适合现有的加速芯片。 当然，这个的前提是有足够的训练数据来避免过拟合。 另外一点就是transformer的模型设计上， 需要有非常大的表达空间来对一个很长的序列文本进行抽象 Attention的动态内化，又刚好能表达这么大的表示空间 所以生成式的人工智能在训练的基础上得到了解决 换句话说，生成式人工智能可以充分的利...

智力的本质是，演算，想象？   模仿是训练的手段， 能演算才有逻辑的运行环境 有了逻辑能力，就有了语言表达能力 人类大脑多出了一个区域专门用于演算 记忆的扩散，也是演算的一种 有了演算，就可以进行决策  大脑是如何进化出“逻辑运行环境”的？ 在探讨人类与动物的本质区别时，我们往往会想到工具的使用、复杂的社会结构或是丰富的情感。但如果我们剥开这些表象，深入认知与计算的底层，人类智力的真正起点究竟在哪里？ 答案或许可以浓缩为两个字：演算。 相对于动物基于本能的反应，人类大脑完成了一次史诗级的“架构升级”——我们...

一、 神经与生理机制：大脑的“化学滤镜” 我们的精神状态底层是神经递质的化学反应，它们就像给大脑戴上了不同颜色的滤镜。 兴奋状态（如喝完咖啡）：多巴胺与“奖励预期” 咖啡因的主要作用是阻断大脑中的“疲劳信号”（腺苷），同时它会促进多巴胺（Dopamine）的释放。多巴胺并非直接带来快乐，它是动机和奖励系统的燃料。当多巴胺水平高时，大脑的“前额叶皮层”（负责计划和决策）会异常活跃，你会对未来的回报产生过度的乐观预期。这种化学状态下，大脑的算法是：“做这件事有高回报，且我有足够的能量去完成。” 因此，什么都显得可行...

核心结论:AI 是第一个自带"内部飞轮"的技术——它同时是工具、工具的制造者、工具的宣传者,三重身份互相加速,所以既真的快,也真的产生泡沫。 一、技术特殊性:左脚踩右脚为什么成立 关键点:AI 的输入和输出是同一种东西——智能劳动,以往技术做不到(蒸汽机造不了蒸汽机)。 研发闭环:AI 写代码、做实验、生成数据 → 正是造下一代 AI 的工作 → 模型越强,迭代越快 数据闭环:AI 生成的内容和用户反馈 → 回流成训练素材 资本闭环:能力展示 → 吸引投资 → 买算力 → 更强能力 → 更多投资 二、传播的自我...

代码已经变成了完全不用人类查看的产物，就像之前的汇编，编译器成熟之后，没有人再查看汇编。 当开发的时间大头变成了定义、讨论和设计系统（写代码的时间往往非常少），Git 作为人类协作的机制已经不再适合了。 Agent时代四大痛点 修改范围极大：Agent 总是端到端解决大范围问题，修改极大，产生大量冲突。 上下文有限：协同信息多或多个 Agent 自己沟通时，极易跑偏。 文档逻辑不明确：设计写成文档，无法像代码一样有明确逻辑，需要人类大量验证。 代码无需查看：代码已变成“汇编”，人类不再需要查看细节。 解决方案...