Skip to main content

Recently Updated Pages

AI突破的可能

算法&模型 基础方法

新的信号处理方法 非常高的等价算力 高效率 单bit 非数学直接等价(乘加)的计算:查找表 处理好,抽象好,不可避免的动态特性 训练受梯度下降算法严格绑定,受数学约束,不太容...

Updated 4 days ago by Colin

新的AI计算模型

算法&模型 基础方法

背景 计算机已经发展了很多年,很多层的划分已经非常的明确 高层级的计算范式随着AI的发展,特别是LLM的发展,已经越发的清晰 传统计算机软硬件堆栈->神经网络算子->神经网络计算图...

Updated 4 days ago by Colin

LLM心理行为学的研究

基本问题

随着LLM的爆火,很多科研人员投入研究LLM表现出来的行为 特别是一些心理学方面的表现,比如: 谄媚 自信/不自信 固执己见/被质疑就动摇 从原理上说,本质上都是数学的统计概率...

Updated 4 days ago by Colin

自然语言的内在逻辑

算法&模型 记忆和语言

逻辑 推断: A 是 B 与或非 逻辑规律: 传递性 类比:判断相似性,通过类比来模仿很容易,但是分析内在原因,并描述出来,形成理论很难 晶体管的饱和 类比 边际效应 晶体管...

Updated 4 days ago by Colin

表达的方式和方法

基本问题

结构:整体类似一个金字塔一样的结构 由一个论点、结论、观点、结果作为节点 每个节点可以由多个小的节点进行解释、细化、证明、拆分步骤、原因、罗列、导致结果 可以从金字塔顶尖不断往下进...

Updated 1 week ago by Colin

电路(硬件微架构)的难点和优势

AI加速芯片

难点、不适合 难以做复杂的算法(调度、分析、统计) 难以做逻辑深度比较深的计算 latency的长和不确定,模块间的时间不确定性 需要大量实现“异步”逻辑 消耗大量的面积 ...

Updated 1 week ago by Colin

记忆方法学

算法&模型 记忆和语言

要求 需要设计一个健壮的系统,流程化,体系化,理论支撑 多层级的架构,层级解耦,独立迭代,不断增强 本质上需要的能力和处理流程 语义解析,对“输入”的自然语言的表达的...

Updated 1 week ago by Colin

记忆agent

算法&模型 记忆和语言

需求 个人工具  作为第二大脑,思维助手,能帮助思考、总结 提升所有人的智力水平 带无限的记忆,超越人类 通过Agent(人工算法+LLM)的方式实现高层级抽象、意识、复杂...

Updated 1 week ago by Colin

人类社交的更高层次的需求

基本问题

社会活动是人类的基本需求 人类行为活动的目标不再是温饱之后,需要一种新的奖励形式,那就是社会的“认同”、“认可” 所有的社会属性都可以转换成“认可度”,财物、声誉、名望、游戏等级、公司领导等...

Updated 1 week ago by Colin

仿真人脑的基本条件

算法&模型 人脑的仿真

准则 能够持续学习 建立世界模型并进行规划的能力 能够进行新的高层级的抽象 能够进行“元”概念的学习和泛化 心智,意识 理解自我、个体的概念 维持自洽的基本能力 行动...

Updated 1 week ago by Colin

梯度下降-拟合高层次的信息

算法&模型 Transformer

拟合高层次信息的体现 如果不能很好的拟合高层次的信息 容易出现过拟合现象 dropout早期用于防止过拟合,适用于多epoch的场景,不适用于LLM 权重会反复摇摆,...

Updated 2 weeks ago by Colin

LLM信息空间的映射

算法&模型 Transformer

乘法 两个32bit的浮点数乘法,相当于32位的bit向量做空间映射 每个bit代表了特殊的含义,指数、尾数以及对应的档位 乘法不能充分利用32位的所有表达空间,精度越低的数据信息利用...

Updated 2 weeks ago by Colin

Transformer

算法&模型 Transformer

特点 精细的抽象,记忆空间特别大 大数据,大算力,大模型 scaling特性,可以训练很大的模型,用很多数据获得更多智能 “硬件彩票”,高强度对着GPU设计,能打满G...

Updated 2 weeks ago by Colin

LLM推理行为

算法&模型 Transformer

推理的定义 能利用已知的知识产生新的知识 能清晰得判断一个知识的边界、合理性,保持自洽 推理应用技巧 在input里面增加思维链提示,推理的示例就可以触发模型进行推理,输出详...

Updated 2 weeks ago by Colin

架构的力量

基本问题

什么样的架构设计是优秀的 工作效率 高效的开发效率 高效的使用 有效 能很好的满足多方需求 能快速、清晰的进行配置 合理的接口 生命力 支持不断...

Updated 3 weeks ago by Colin

工作方法学

基本问题

遇到意见不一致的时候的处理方法 逃避,事前避免,自我保护性避免 利用制定一些规则来使得问题有统一的处理方法,使得大家达成一致 利用名义上的决策者,虽然不是管理者,平时不参与讨论,但是有...

Updated 1 month ago by Colin

世上没有永远持续的增长,只有S型曲线式增长

基本问题

世界上不存在无限增长的事情(说你呢,Scaling Law),这基本是个定则, 即使把目光拉长放到宇宙级视野里,宇宙中最大速度也不可能超过光速,宇宙它再大也总有个边界,是吧? 所以,我觉...

Updated 1 month ago by Colin

光学镜头和涡轮喷气发动机的区别

基本问题

结构上非常的类似:圆筒状,中间有粗有细,两头是空的 形式上:中间存在多级,都是介质从一头进,另一头出,实现一些变化 什么时候AI能自动总结出这个层面的规律 都是处理光流和气流,对其路径...

Updated 1 month ago by Colin

生命和AGI的开发

基本问题

蛋白质结构可能有 10 的 300 次方种,这些都远远超过宇宙中的原子数量, 所有的因素都考虑进去,尝试的空间远远大于宇宙的时空 那么为什么生命能够形成? 自然进化规律,没有上帝和高级策略...

Updated 1 month ago by Colin

M40 安装cuda和torch

设置BIOS 打开 PCIE 4G 支持   使用V100需要在BIOS内打开above 4g decoding和resize bar,关闭csm 驱动 sudo...

Updated 1 month ago by Colin