Search Results

背景 适应未来的AI计算需求 存储足够量的权重，但是明显的热点内容访问 强动态性，大范围、多次的随机动态访问 节能、低带宽需求，高效率数据流 低延迟 软件定义硬件，硬件尽量简单、透明、底层抽象、灵活 目标 软硬件结合 大量依靠软件优化，发挥最大的物理效率，同工艺下架构效率达2倍 算法和硬件协同优化，同模型精度条件下效率达4倍 DRAM或者多机的不确定数据延迟直接整合到算法处理，硬件不做竞争 硬件采用固定的LUT计算（可能不能等价到矩阵乘法，甚至是乘法本身） 全模型网络级别优化，利用编译器对整个...

逻辑 推断： A 是 B 与或非 逻辑规律： 传递性 类比：判断相似性，通过类比来模仿很容易，但是分析内在原因，并描述出来，形成理论很难 晶体管的饱和 类比 边际效应 晶体管的放大区 类比 线性关系 逻辑规律 推理任务划分为三种基本类型——溯因（Abduction）、演绎（Deduction）和归纳（Induction），比如 O=P(I) 溯因任务：已知p和对应的o，求可能的i。这类任务考察模型根据结果反推条件、理解代码语义的能力。 演绎任务：已知p和i，求o。这类任务考察模型运行和理...

背景 FPGA的基本单元是LUT(查找表)，如果把LUT看成一种逻辑运算单元 查找表的真值表可以表示静态权重 查找表的部份输入表示动态权重 FPGA的可重构特性，相对于AI处理器 可以把部份或者全部的动态权重（操作数）固化成静态的真值表，大大提高PPA 不同的模型和参数，可以通过重新配置FPGA的逻辑单元 只适合推理，理论上训练的权重不能静态化，PPA优势不大 把FPGA的LUT作为AI芯片的核心算力单元 有利于硬件的标准化 扩展到二进制神经网络，所有的数据都用二进制表示 最大的特点是，所有数...

模型生成不真实或非事实陈述的现象 即模型中的主导知识可以在文本生成过程中，掩盖那些不太突出的知识，从而导致模型编造不准确的细节 由于权重表达的信息有限，只能对大量的知识进行归类抽象表达，会产生“想当然”的问题 随着模型记忆大量信息并捕捉关联关系，它们会在泛化过程中适应新的分布。然而，在这一过程中，不占主导地位的知识可能会因过度平滑（smoothing）或信息压缩（compression）而被更常见的模式所掩盖。知识掩盖并不仅仅是数据不均衡的结果，而是知识表征之间竞争的直接产物。 从AI模型的计算...

遇到意见不一致的时候的处理方法 逃避，事前避免，自我保护性避免 利用制定一些规则来使得问题有统一的处理方法，使得大家达成一致 利用名义上的决策者，虽然不是管理者，平时不参与讨论，但是有决策权力 种类 和领导有不同意见的时候 和下属有不同意见的时候 当项目进度和创新有冲突的时候 怎么鞭策下属努力工作 什么情况下会出现，一个人理所当然得认为自己不用做得更好？ 超出自己的职责范围 认为应该是其他人应该需要cover的 认为做不到 工作惯性，长期以往都是做到这个程度 高管是怎么绑架公司的 公司技术严重依赖某个...

什么样的架构设计是优秀的 工作效率 高效的开发效率 高效的使用 有效 能很好的满足多方需求 能快速、清晰的进行配置 合理的接口 生命力 支持不断的演进 雷峰网：有人评价你比较强势，好处是效率比较高，坏处是会忽略很多人的意见想法，对此你怎么看？ 梁军：看个人感受吧，我是架构师背景，架构师的职责是设计简洁的规则，根据简洁的规则演绎出复杂系统。如果遇到试图打破基本规则的意见，会更倾向于维护基本的规则，虽然很多时候意见的提出方并不能意识到这一点。但其实也有很多之前的同事，对我做事的方式很理解。 我把架...

特点 人脑具有反馈回路，反馈回路形成正反馈，不断训练神经元，加强神经元 视觉神经能识别图像，也能通过提示想象出图像 语言作为抽象能力很强的表示工具，被充分用于协助思考，但不是智力的全部 @维特根斯坦 所有的神经元时刻待命，适当的输入技能激活输出 不激活的状态需要主动抑制皮层神经的激活 闭眼睛的时候，视觉神经会抑制视觉皮层的激活 动态激活 神经元默认是静息状态，根据输入，逐级激活需要激活的神经元 学习和实践（训练和推理）同步进行，训推同时进行 能量不足的时候，大脑不是不能工作，而是有低...

数学总是在发明各种定义，并且在定义的基础上寻找特定的规律 如果生活的一种现象符合某种数学的定义，那么就可以用已经证明的规律进行计算/推到 从而对抽象的事物用数学工具进行计算 比如说互联网用的加解密算法，就是利用一些独特的数学证明其安全性 数学有很多分支和流派，比如几何学、图论等等 很多不同的分支虽然设计的定义（公理）不一样，但是实际上可能是表达同一种“现象”，只是用不同的方式进行描述 有的时候，使用一个分支的一个规律推到出另外一个分支的规律，就会觉得很“神奇”，很“不可思议”

为什么需要记忆 人脑有非常强大的记忆系统和索引能力，管理着非常庞大的信息，能够准确联想起来非常多的记忆 记忆是AGI的一种重要能力 因为大脑容量限制，记忆是人类在当前信息爆炸的社会的最重要瓶颈 其他的还有类似：推理逻辑能力，运算能力等等 刨除记忆能力，其他的能力当前LLM已经有一个比较可用的实现 记忆能力可能成为下一个快速增长的瓶颈点 是不是未来会是：一个专注于基本语言和推理能力的小模型+大型的记忆系统 不断的提升记忆内容的质量（效率，自洽度...）、内容的数量、效率 数据库样式...

sudo，创建文件 /etc/wpa_supplicant.conf，填入，不能乱改“空格” ctrl_interface=/var/run/wpa_supplicant ap_scan=1 update_config=1 network={ ssid="Liang" psk="wifi1234" key_mgmt=WPA-PSK } 执行 wpa_supplicant -D nl80211 -i wlan0 -c /etc/wpa_supp...

RAG的过程 拆分文本成文本块 拆分算法： 使用嵌入模型进行向量化 对一段文本使用一堆维度很多的向量进行表示 存入向量数据库 对输入进行向量化 使用传统的向量距离计算算法进行向量数据库的检索 提取数据库的原文片段，整合成prompt，投喂给LLM打模型 对输出整理和提取 技术局限性 切片粗暴 简单分块算法 (如按段落或固定字数) 太小了没有全局信息，句子可能被截断, 影响上下文理解 太大了不能精确统计 检索不精准 向量匹配基于数字相似性, 不代表实际含义 向量本质上不能完全代表“语义” ...

设计 标量寄存器和向量寄存器统一，支持自动进行转换 异步单元（SP-PU-L1-DMA）之间都采用异步机制，依赖转移到异步目标 统一的同步机制 静态分配同步资源 原生软硬件支持动态图的执行 LD/ST 避免使用fence功能 Launch：fork 资源初始化（同步资源，各种存储器，状态） launch/signal/wait:join launch pu instrution:  write_back_id  local_id write_back ato...

开源项目 微软的Graph RAG 蚂蚁开发了首个对外开源的Graph RAG框架，蚂蚁全自主的开源产品：DB-GPT[50] + OpenSPG[42] + TuGraph[46] 跨图谱零拷贝融合，连接数据孤岛：替代实现，不断推理，建立逻辑关系 深度语义上下文关联：替代实现高级抽象 知识符号化表示，与大模型双向驱动： SPG-Reasoner逻辑规则推理，通过谓词语义和逻辑规则来定义知识之间的依赖和传递 GraphRAG过程 索引构建过程 使用文本分段技术将文档进行分块 关系（LPG）提取，分析每个...

模型算法 科研 企业商用 数据收集、标注 软件框架 科研 商业部署 加速芯片 云训练芯片 云推理 边沿推理 云服务 基础软件框架 硬件 服务 应用 各种AI云服务 边缘AI 特定领域 基础设施：安防 自动驾驶、机器人 工业、医疗、教育、金融

设置BIOS 打开 PCIE 4G 支持 使用V100需要在BIOS内打开above 4g decoding和resize bar，关闭csm 驱动 sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update sudo apt install nvidia-driver-550 CUDA 11.8 https://developer.nvidia.com/cuda-11-8-0-download-archive?target...

随着LLM的爆火，很多科研人员投入研究LLM表现出来的行为 特别是一些心理学方面的表现，比如： 谄媚 自信/不自信 固执己见/被质疑就动摇 从原理上说，本质上都是数学的统计概率，具体的输出和训练的样本有直接的关系 本质上，这些研究是在寻找事物的规律， 本来LLM是人类在严谨的科学的基础上构建的，但是由于太过复杂，人类自己也不能搞清楚内部的思维细节 那么重点来了 这类研究是毫无意义，透过一个黑盒，研究一个毫无规律的现象的规律是愚蠢的 LLM的语言行为根本就不可控 训练的数据集数不可控...

目录 概述 核心概念 语义层级结构 Rank 编码机制 序列生成机制 特殊功能机制 数据示例 概述 Meaning Dataset 是一个模仿自然语言结构和抽象表达的数据集。它通过层级化的树形结构来表示语义（meaning），其中每个复杂的语义都可以分解为更简单的语义单元，最终分解为不可再分的基本单元（token）。 设计理念 层级化语义表示 每个 meaning 都有一个唯一编号，编号的大小直接反映其复杂度： 小编号 = 简单语义（如基本概念） 大编号 = 复杂语义（由多个简单语义组合而成） 这种设计模...

115200 / | \ 10240 1100 12322 / | \ / \ / | \ 512 32 1201 245 233 3214 532 324 / \ / \ ...