Recently Updated Pages
记忆
为什么需要记忆 人脑有非常强大的记忆系统和索引能力,管理着非常庞大的信息,能够准确联想起来非常多的记忆 记忆是AGI的一种重要能力 因为大脑容量限制,记忆是人类在当前信息爆...
爬虫
使用OCR进行信息收集,格式化 适应性强,灵活,更接近人眼
acquire release 实现内存一致性
背景 在单线程场景中,CPU 通常会保证程序顺序(Program Order) 的可见性,即单线程内的指令会按照代码编写的顺序执行(或看起来像是按顺序执行)存储器读写的结果也会符合单线程的...
Memory Consistency and Cache Coherence 定义
1. Memory Consistency(内存一致性) 定义:内存一致性是指多核或多处理器系统中,多个处理器对共享内存的访问顺序是否一致,以及这些访问操作是否满足特定的规则或模型。 ...
Nand flash
LUN → CE → Die → Plane → Bank → Block → Page Block 是擦除操作的最小单位 Page 是读写操作的最小单位,常见的Nand Flas...
完美复制一个我,那还是我吗?
如果现在的AI技术发展到了,能把一个人的所有记忆,思想,想法,性格,爱好,脾气都完全复制和实现, 那么这样一个物体还是我吗?这能称作是永生了吗? 能:相当于两个“机器”同时维护一个“我”这样...
先量化 再训练
量化主流的LLM到Binary Lut可以进行编码压缩,降低存储需求 实际数据touch不到的选择项可以被去除 调整顺序,编码,进行无损Lut表压缩 原生的训练Bia...
无监督训练
统计模型 rank_tree表达了一短句子的逻辑分割,一段句子的分割,语意的组合,是抽象的一种, 两个不一样的表示表达的是同一个语义怎么办? 腿短的是狗,腿长的也是狗,有些逻辑不是组合能表达...
太快和太慢
太,在这里其实表达的是个贬义词,描述一个不合适的前提 在科技领域,所有的技术其实都要求其合适性 在2025年的今天,大家还在争论激光雷达对于自动驾驶的必要性 马斯克认为,路是给人修的,那么...
二值 二进制 Binary 神经网络算法
背景FPGA的基本单元是LUT(查找表),如果把LUT看成一种逻辑运算单元查找表的真值表可以表示静态权重查找表的部份输入表示动态权重FPGA的可重构特性,相对于AI处理器可以把部份或者全部的动态...
光学镜头和涡轮喷气发动机的区别
结构上非常的类似:圆筒状,中间有粗有细,两头是空的 形式上:中间存在多级,都是介质从一头进,另一头出,实现一些变化 什么时候AI能自动总结出这个层面的规律 都是处理光流和气流,对其路径...
没有持续的增长,只有S型曲线式增长
世界上不存在无限增长的事情(说你呢,Scaling Law),这基本是个定则, 即使把目光拉长放到宇宙级视野里,宇宙中最大速度也不可能超过光速,宇宙它再大也总有个边界,是吧? 所以,我觉...
生物脑(人脑)的优势
抽象 抽象出高效的,合理的,可复用的底层抽象 抽象出高效的、非常抽象的高层级概念,并应用于看起来毫不相关领域 记忆:记忆及快速的索引 类比:强大的类比功能 神经训练...
仿真人脑的基本条件
准则 能够持续学习 建立世界模型并进行规划的能力 能够进行新的高层级的抽象 能够进行“元”概念的学习和泛化 心智,意识 理解自我、个体的概念 维持自洽的基本能力 行动...
自然语言的内在逻辑
逻辑 推断: A 是 B 与或非 逻辑规律: 传递性 类比:判断相似性,通过类比来模仿很容易,但是分析内在原因,并描述出来,形成理论很难 晶体管的饱和 类比 边际效应 晶体管...
人类社交的更高层次的需求
社会活动是人类的基本需求 人类行为活动的目标不再是温饱之后,需要一种新的奖励形式,那就是社会的“认同”、“认可” 所有的社会属性都可以转换成“认可度”,财物、声誉、名望、游戏等级、公司领导等...
Transformer
特点 精细的抽象,记忆空间特别大 大数据,大算力,大模型 scaling特性,可以训练很大的模型,用很多数据获得更多智能 “硬件彩票”,高强度对着GPU设计,能打满G...
LLM推理行为
推理的定义 能利用已知的知识产生新的知识 能清晰得判断一个知识的边界、合理性,保持自洽 推理应用技巧 在input里面增加思维链提示,推理的示例就可以触发模型进行推理,输出详...
架构的力量
什么样的架构设计是优秀的 工作效率 高效的开发效率 高效的使用 有效 能很好的满足多方需求 能快速、清晰的进行配置 合理的接口 生命力 支持不断...
工作方法学
遇到意见不一致的时候的处理方法 逃避,事前避免,自我保护性避免 利用制定一些规则来使得问题有统一的处理方法,使得大家达成一致 利用名义上的决策者,虽然不是管理者,平时不参与讨论,但是有...