Search Results

sudo，创建文件 /etc/wpa_supplicant.conf，填入，不能乱改“空格” ctrl_interface=/var/run/wpa_supplicant ap_scan=1 update_config=1 network={ ssid="Liang" psk="wifi1234" key_mgmt=WPA-PSK } 执行 wpa_supplicant -D nl80211 -i wlan0 -c /etc/wpa_...

RAG的过程 拆分文本成文本块 拆分算法： 使用嵌入模型进行向量化 对一段文本使用一堆维度很多的向量进行表示 存入向量数据库 对输入进行向量化 使用传统的向量距离计算算法进行向量数据库的检索 提取数据库的原文片段，整合成prompt，投喂给LLM打模型 对输出整理和提取 技术局限性 切片粗暴 简单分块算法 (如按段落或固定字数) 太小了没有全局信息，句子可能被截断, 影响上下文理解 太大了不能精确统计 检索不精准 向量匹配基于数字相...

开源项目 微软的Graph RAG 蚂蚁开发了首个对外开源的Graph RAG框架，蚂蚁全自主的开源产品：DB-GPT[50] + OpenSPG[42] + TuGraph[46] 跨图谱零拷贝融合，连接数据孤岛：替代实现，不断推理，建立逻辑关系 深度语义上下文关联：替代实现高级抽象 知识符号化表示，与大模型双向驱动： SPG-Reasoner逻辑规则推理，通过谓词语义和逻辑规则来定义知识之间的依赖和传递 GraphRAG过程 索引构建过程 使用文...

模型算法 科研 企业商用 数据收集、标注 软件框架 科研 商业部署 加速芯片 云训练芯片 云推理 边沿推理 云服务 基础软件框架 硬件 服务 应用 各种AI云服务 边缘AI 特定领域 基础设施：安防 自动驾驶、机器人 工业、医疗、教育、金融  

设置BIOS 打开 PCIE 4G 支持   使用V100需要在BIOS内打开above 4g decoding和resize bar，关闭csm 驱动 sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update sudo apt install nvidia-driver-550 CUDA 11.8 https://developer.nvidia.com/cuda-11-8-0-do...

随着LLM的爆火，很多科研人员投入研究LLM表现出来的行为 特别是一些心理学方面的表现，比如： 谄媚 自信/不自信 固执己见/被质疑就动摇 从原理上说，本质上都是数学的统计概率，具体的输出和训练的样本有直接的关系 本质上，这些研究是在寻找事物的规律， 本来LLM是人类在严谨的科学的基础上构建的，但是由于太过复杂，人类自己也不能搞清楚内部的思维细节 那么重点来了 这类研究是毫无意义，透过一个黑盒，研究一个毫无规律的现象的规律是愚蠢的 LLM的语言行为根本就不可控 训练的数据集数不可控...

meaning数据集是一个模仿自然语言，以及抽象表达的数据集。 115200 / | \ 10240 1100 12322 / | \ / \ / | \ 512 32 1201 245 233 3214 532 324 ...

115200 / | \ 10240 1100 12322 / | \ / \ / | \ 512 32 1201 245 233 3214 532 324 / \ / \ ...

乘法 两个32bit的浮点数乘法，相当于32位的bit向量做空间映射 每个bit代表了特殊的含义，指数、尾数以及对应的档位 乘法不能充分利用32位的所有表达空间，精度越低的数据信息利用率越高 多层映射（等高线） 每一层的所有的hidden status的集合，表示了当前的所有信息（语义） 每经过一层相当于把一种向量空间的表示，映射到另外一个向量空间 每一次梯度下降都优化一点映射关系，增加不同类的距离，减少同类的距离 对输入的hidden status理解得越深刻（抽象得越高级...

蛋白质结构可能有 10 的 300 次方种，这些都远远超过宇宙中的原子数量， 所有的因素都考虑进去，尝试的空间远远大于宇宙的时空 那么为什么生命能够形成？ 自然进化规律，没有上帝和高级策略，本质上都是在随机尝试 那么为什么能在短短的时间内，快速进化出一种可行的生命形式？ 是什么原因最终促进了生命的形成？ 虽然生命怎么形成的没有最终的定论，但是生命的演化过程是清晰的 物竞天择，适者生存 但是，本质上还是在随机，这里面有个很重要的前提 那就是“继承”，或者说“进化”的前提是继承原来的优势 在原来的基...

新的信号处理方法 非常高的等价算力 高效率 单bit 非数学直接等价（乘加）的计算：查找表 处理好，抽象好，不可避免的动态特性 训练受梯度下降算法严格绑定，受数学约束，不太容易改变，但是推理可以 传统的多个乘法，表示成特定的逻辑运算或者最复杂的LUT 根据特定模型而动态配置的固定的物理计算逻辑电路 非传统数字电路 存算 模拟 光子 新算法 充分利用大算力，减少数据流动 上下文无关：必要的中间结果的流动，但是权重固定，有点像存算 上下...

推理的定义 能利用已知的知识产生新的知识 能清晰得判断一个知识的边界、合理性，保持自洽 推理应用技巧 在input里面增加思维链提示，推理的示例就可以触发模型进行推理，输出详细的解题步骤 LLM是极度不可控的分类器，尽量直接梯度下降（优化）最终的指标，端到端得训练 外挂的后处理能提升最终的性能 多次推理综合结果 降低贪心度 但是代价是更高的算力消耗，模型本身的信噪比没有提升 LLM有推理能力吗？ 推理新知识，“如果A>B B>C 那么A>C吗？” 已知比较的传递...

拟合高层次信息的体现 如果不能很好的拟合高层次的信息 容易出现过拟合现象 dropout早期用于防止过拟合，适用于多epoch的场景，不适用于LLM 权重会反复摇摆，不能锁定高级的语义抽象，高级语义样本本来就少 每次梯度下降是每个权重单独改变，不能确保综合效果比原来更好 ？？？ 影响因素 模型的表达空间的大小 高层级数据的规模 不能拟合高层次信息的原因 信息不够，不直接 RoPE替代绝对位置编码，提供了直接的相对位置关系，自然语言的相...

准则 能够持续学习 建立世界模型并进行规划的能力 能够进行新的高层级的抽象 能够进行“元”概念的学习和泛化 心智，意识 理解自我、个体的概念 维持自洽的基本能力 行动的目标都是内源性，外部不会直接给定一个明确的目标

社会活动是人类的基本需求 人类行为活动的目标不再是温饱之后，需要一种新的奖励形式，那就是社会的“认同”、“认可” 所有的社会属性都可以转换成“认可度”，财物、声誉、名望、游戏等级、公司领导等等都是认可的一种表现 从这个出发，社会交往是一个体现认可度的重要途径和形式， 除了哪些比较正式的，比如，共和国勋章、捐赠榜等等，广大人民还需要在更细的领域得到认可（奖励） 所以不断得对社会交往的形式提出了升级的需求 目前来说，社交已经转换为以互联网为基本形式的一种具体途径，比如，电视、论坛、博客、推文、长短视频 但...

要求 需要设计一个健壮的系统，流程化，体系化，理论支撑 多层级的架构，层级解耦，独立迭代，不断增强 本质上需要的能力和处理流程 语义解析，对“输入”的自然语言的表达的含义 -> LLM 计算语义的相似度 查找已有的通用知识和专有知识 计算语义逻辑，理解问题 判断表示同一个语义的不同表达 逻辑推理、选择 汇总结果进行输出 -> LLM 需要存储和计算那个层级的信息？ RAG只是向量化存储原文，无计算能力 LLM权重存储和计算自然语言的高...

难点、不适合 难以做复杂的算法（调度、分析、统计） 难以做逻辑深度比较深的计算 latency的长和不确定，模块间的时间不确定性 需要大量实现“异步”逻辑 消耗大量的面积 需要很大的buffer存储用于状态footprint 消耗大量的面积 增加外部控制的复杂度 PC需要对所有的操作异步化 降低实时性 为了高频、增加很多级流水线 浪费大量用于同步的逻辑 容易撞到功耗墙 latency的延长和不确定性  优势、适合 并行任务非常适合，...

结构：整体类似一个金字塔一样的结构 由一个论点、结论、观点、结果作为节点 每个节点可以由多个小的节点进行解释、细化、证明、拆分步骤、原因、罗列、导致结果 可以从金字塔顶尖不断往下进行拆分多个层级 做法 合理得根据逻辑进行归纳抽象和分类 归纳法：时间，空间，原因，步骤拆分 演绎法：大前提，小前提，逻辑步骤 避免遗漏、重叠、空洞的表达 叙事技巧：背景、冲突、疑问 工具 Markdown有序列表

背景 计算机已经发展了很多年，很多层的划分已经非常的明确 高层级的计算范式随着AI的发展，特别是LLM的发展，已经越发的清晰 传统计算机软硬件堆栈->神经网络算子->神经网络计算图->Pytorch->分布式框架->LLM->Agent->MCP 由于AI发展的太快，计算机的底层基本没有变化，只是根据AI的需要进行特定的开发 太底层，不灵活，算子及AI编译器开发消耗大量工作 软硬件结合的方式还是遵循传统计算机的经验 主流技术（CUDA）没有摆脱冯诺伊曼的架构，甚至编程模型/内存模型都没有变...