Recently Updated Pages
AI突破的可能
新的信号处理方法 非常高的等价算力 高效率 单bit 非数学直接等价(乘加)的计算:查找表 处理好,抽象好,不可避免的动态特性 训练受梯度下降算法严格绑定,受数学约束,不太容...
新的AI计算模型
背景 计算机已经发展了很多年,很多层的划分已经非常的明确 高层级的计算范式随着AI的发展,特别是LLM的发展,已经越发的清晰 传统计算机软硬件堆栈->神经网络算子->神经网络计算图...
LLM心理行为学的研究
随着LLM的爆火,很多科研人员投入研究LLM表现出来的行为 特别是一些心理学方面的表现,比如: 谄媚 自信/不自信 固执己见/被质疑就动摇 从原理上说,本质上都是数学的统计概率...
自然语言的内在逻辑
逻辑 推断: A 是 B 与或非 逻辑规律: 传递性 类比:判断相似性,通过类比来模仿很容易,但是分析内在原因,并描述出来,形成理论很难 晶体管的饱和 类比 边际效应 晶体管...
表达的方式和方法
结构:整体类似一个金字塔一样的结构 由一个论点、结论、观点、结果作为节点 每个节点可以由多个小的节点进行解释、细化、证明、拆分步骤、原因、罗列、导致结果 可以从金字塔顶尖不断往下进...
电路(硬件微架构)的难点和优势
难点、不适合 难以做复杂的算法(调度、分析、统计) 难以做逻辑深度比较深的计算 latency的长和不确定,模块间的时间不确定性 需要大量实现“异步”逻辑 消耗大量的面积 ...
记忆方法学
要求 需要设计一个健壮的系统,流程化,体系化,理论支撑 多层级的架构,层级解耦,独立迭代,不断增强 本质上需要的能力和处理流程 语义解析,对“输入”的自然语言的表达的...
记忆agent
需求 个人工具 作为第二大脑,思维助手,能帮助思考、总结 提升所有人的智力水平 带无限的记忆,超越人类 通过Agent(人工算法+LLM)的方式实现高层级抽象、意识、复杂...
人类社交的更高层次的需求
社会活动是人类的基本需求 人类行为活动的目标不再是温饱之后,需要一种新的奖励形式,那就是社会的“认同”、“认可” 所有的社会属性都可以转换成“认可度”,财物、声誉、名望、游戏等级、公司领导等...
仿真人脑的基本条件
准则 能够持续学习 建立世界模型并进行规划的能力 能够进行新的高层级的抽象 能够进行“元”概念的学习和泛化 心智,意识 理解自我、个体的概念 维持自洽的基本能力 行动...
梯度下降-拟合高层次的信息
拟合高层次信息的体现 如果不能很好的拟合高层次的信息 容易出现过拟合现象 dropout早期用于防止过拟合,适用于多epoch的场景,不适用于LLM 权重会反复摇摆,...
LLM信息空间的映射
乘法 两个32bit的浮点数乘法,相当于32位的bit向量做空间映射 每个bit代表了特殊的含义,指数、尾数以及对应的档位 乘法不能充分利用32位的所有表达空间,精度越低的数据信息利用...
Transformer
特点 精细的抽象,记忆空间特别大 大数据,大算力,大模型 scaling特性,可以训练很大的模型,用很多数据获得更多智能 “硬件彩票”,高强度对着GPU设计,能打满G...
LLM推理行为
推理的定义 能利用已知的知识产生新的知识 能清晰得判断一个知识的边界、合理性,保持自洽 推理应用技巧 在input里面增加思维链提示,推理的示例就可以触发模型进行推理,输出详...
架构的力量
什么样的架构设计是优秀的 工作效率 高效的开发效率 高效的使用 有效 能很好的满足多方需求 能快速、清晰的进行配置 合理的接口 生命力 支持不断...
工作方法学
遇到意见不一致的时候的处理方法 逃避,事前避免,自我保护性避免 利用制定一些规则来使得问题有统一的处理方法,使得大家达成一致 利用名义上的决策者,虽然不是管理者,平时不参与讨论,但是有...
世上没有永远持续的增长,只有S型曲线式增长
世界上不存在无限增长的事情(说你呢,Scaling Law),这基本是个定则, 即使把目光拉长放到宇宙级视野里,宇宙中最大速度也不可能超过光速,宇宙它再大也总有个边界,是吧? 所以,我觉...
光学镜头和涡轮喷气发动机的区别
结构上非常的类似:圆筒状,中间有粗有细,两头是空的 形式上:中间存在多级,都是介质从一头进,另一头出,实现一些变化 什么时候AI能自动总结出这个层面的规律 都是处理光流和气流,对其路径...
生命和AGI的开发
蛋白质结构可能有 10 的 300 次方种,这些都远远超过宇宙中的原子数量, 所有的因素都考虑进去,尝试的空间远远大于宇宙的时空 那么为什么生命能够形成? 自然进化规律,没有上帝和高级策略...
M40 安装cuda和torch
设置BIOS 打开 PCIE 4G 支持 使用V100需要在BIOS内打开above 4g decoding和resize bar,关闭csm 驱动 sudo...