一种理想的智能架构

新架构

1. 生物脑、人脑的组成要素：逻辑能力、长期记忆、短期记忆
   1. 长期记忆相当于硬盘，短期记忆相当于内存，计算能力相当ALU
   2. 大语言模型相当于语言ALU，KVcache相当于寄存器，权重相当于指令，但是缺少短期记忆和长期记忆
   3. 意识主要存在于短期记忆，长期记忆也需要保持自洽性
   4. KVcache：一个不断增长的，被动态调度执行的（通过新prompt）计算器
   5. SSM：固定大小的，不断被更新的状态存储器
   6. 外存：长期记忆的存储器，可以被检索和更新
2. 最近很多实验室推出带额外记忆单元的技术/模型
   1. Meta推出「自由Transformer」（Free Transformer），增加一部分算力和参数维护一个额外的状态
3. 短期临时的记忆维护了当前的意识，信息容量比较固定，不会太大
   
   1. 语义压缩和上下文存储
   2. 上下文处理是一个“信息压缩”过程
   3. 记忆的过程是不断地把未知的输入换成大脑内部已经有的知识的表达，是一个不断地匹配知识，确保自洽的过程，不断地根据输入来修正当前大脑（上下文）内当前的主观感觉、想法、语境
4. 输入的目的，外界信息输入的目的是让大脑内部根据已有的知识点组织出来一个意识/想法
5. 本质上，想要对文本进行理解和记录，和LLM是一样的。 文本是串流的， 想要实现准确的编码，本质上和LLM一致
6. LLM只是个强大的计算器，利用这个计算器加上记忆，实现强大的智能。可以使用SSM模型来动态生成句子的meaning tree
7. 人类语言对于智能的意义，语言更像是一种工具，大脑不断地在重新组织语言，然后由大脑的中心意识去判断本次组织的是不是符合中心思想要求再决定要不要说出来，所以本质上其实最核心的是人类的意识，也就是一些临时的状态记忆
8. 批量的对一段文本做处理，只关心区域内的语义，不需要全局的语义，这种情况可以使用SSM这样的状态记忆模型也就是RNN
9. 语言
   1. 人类在处理语言的过程，就是通过语言表达的信息，不断得修正短期记忆的观点、感觉、意识
   2. 说话就是这个过程的逆过程
10. 和普林斯顿大学提出的CoALA有点类似，但是更强调基本的设计抽象：自洽、LLM计算器  https://zhuanlan.zhihu.com/p/1909206010096259088

动态学习，自洽，记忆，抽象等级

通用智能的特性

1. 自洽：解决意识的所有矛盾
   1. Thread(continue(check))
2. 抽象：合并意识的基础特性
   1. intput->推理->output
3. 容器：当前意识的存储（临时）
   
   1. 人设：长期稳定的，缓慢改变的预设特征
   2. 当前注意力表达：根据输入和输出不断改变的，容量有限
      1. 一棵逻辑树，不断被更新
   3. 固有特征的状态：固有的一些状态，情绪
4. 记忆：知识的存储
   1. 数据库
5. 本能：基本的行动规则
   1. input->本能->output
      
   2. 自动学习和迭代各种技能（描述）
6. 技能：特定领域的能力
   1. 处理特定领域的信息
   2. 能够输出特定领域的行动计划
   3. 处理特定领域的结果
   4. 比如
      1. git的各种使用使用说明

Git 仓库管理说明

• 当前工作（项目）目录由 git 仓库管理。
• 当被要求提交更改或准备提交时，始终首先通过以下 shell 命令收集信息：
  1. 使用 git status确保所有相关文件已跟踪和暂存，并视情况使用 git add ...。
  2. 使用 git diff HEAD查看自上次提交以来工作树中所有被跟踪文件的更改（包括未暂存的更改）。
     1. 当进行部分提交合理或用戶要求时，使用 git diff --staged仅查看暂存的更改。
  3. 使用 git log -n 3查看最近的提交消息，并匹配其风格（详细程度、格式、签名行等）。
• 尽可能合并 shell 命令以节省时间/步骤，例如：git status && git diff HEAD && git log -n 3。
• 始终提议一个草稿提交消息。切勿仅要求用户提供完整的提交消息。
• 建议提交消息清晰、简洁，并更多地关注“为什么”而非“是什么”。
• 随时告知用户进展，并在需要时请求澄清或确认。
• 每次提交后，通过运行 git status确认提交成功。
• 如果提交失败，未经用户明确要求，切勿尝试绕过问题。
• 未经用户明确要求，切勿将更改推送到远程仓库。