Skip to main content

自洽后就有意识了吗？

  1. 自洽能力对于人工智能的重要性
    1. 当前AI还不能轻易的实现自洽能力，甚至在在KV cache内的自洽性还存在挑战，权重范围内只能根据概率来输出
    2. 意识会去维护一个最本质的目的，不断检验当前的成果，提供未来行动的建议
  2. 自洽训练方法
    1. 随机生成无数的样本，一旦触及需要修正的问题，则作为监督样本进行微调。确保一个新的观点对所有权重没有矛盾
      1. GPT4.0开始，非常喜欢用破折号，应该和20世纪初的文本作为训练材料有关
  3. 没有反思能力
    1. 一个任务，不能越做越顺利，不断根据结果进行对流程的改进
      1. 缺乏维护自洽的意识，不能对训练数据进行判断、识别，而是无差别得接受
    2. 当前的Agent还是需要人类不断的改进方法，需要人类提供“算法”->“做法”  机器不能有自洽的意识不断得接近目标
    3. 意识和大语言模型之间缺乏一个标准的可操作接口，大语言模型是一个语言计算器，意识相当于上下文，记忆是不可或缺的一部分

新架构

    1. 生物脑、人脑的组成要素：计算能力、长期记忆、短期记忆
      1. 长期记忆相当于硬盘，短期记忆相当于内存，计算能力相当ALU
      2. 大语言模型相当于语言ALU，KVcache相当于寄存器，权重相当于指令，但是缺少短期记忆和长期记忆
      3. 意识主要存在于短期记忆，长期记忆也需要保持自洽性
      4. KVcache：一个不断增长的，被动态调度执行的（通过新prompt）计算器
      5. SSM：固定大小的，不断被更新的状态存储器
      6. 外存：长期记忆的存储器，可以被检索和更新
    2. 最近很多实验室推出带额外记忆单元的技术/模型
      1. Meta推出「自由Transformer」（Free Transformer），增加一部分算力和参数维护一个额外的状态
    3. 短期临时的记忆维护了当前的意识，信息容量比较固定，不会太大
      1. 语义压缩和上下文存储
      2. 上下文处理是一个“信息压缩”过程
      3. 记忆的过程是不断地把未知的输入换成大脑内部已经有的知识的表达，是一个不断地匹配知识，确保自洽的过程，不断地根据输入来修正当前大脑（上下文）内当前的主观感觉、想法、语境
    4. 输入的目的，外界信息输入的目的是让大脑内部根据已有的知识点组织出来一个意识/想法
    5. 本质上，想要对文本进行理解和记录，和LLM是一样的。 文本是串流的， 想要实现准确的编码，本质上和LLM一致
    6. LLM只是个强大的计算器，利用这个计算器加上记忆，实现强大的智能。可以使用SSM模型来动态生成句子的meaning tree
    7. 人类语言对于智能的意义，语言更像是一种工具，大脑不断地在重新组织语言，然后由大脑的中心意识去判断本次组织的是不是符合中心思想要求再决定要不要说出来，所以本质上其实最核心的是人类的意识，也就是一些临时的状态记忆
    8. 批量的对一段文本做处理，只关心区域内的语义，不需要全局的语义，这种情况可以使用SSM这样的状态记忆模型也就是RNN
    9. 语言
      1. 人类在处理语言的过程，就是通过语言表达的信息，不断得修正短期记忆的观点、感觉、意识
      2. 说话就是这个过程的逆过程
    10. 和普林斯顿大学提出的CoALA有点类似，但是更强调基本的设计抽象：自洽、LLM计算器  https://zhuanlan.zhihu.com/p/1909206010096259088

动态学习，自洽，记忆，抽象等级

通用智能的特性

  1. 自洽：解决意识的所有矛盾
    1. Thread(continue(check))
  2. 抽象：合并意识的基础特性
    1. intput->推理->output
  3. 容器：当前意识的存储（临时）
    1. 人设：长期稳定的，缓慢改变的预设特征
    2. 当前注意力表达：根据输入和输出不断改变的，容量有限
      1. 一棵逻辑树，不断被更新
    3. 固有特征的状态：固有的一些状态，情绪
  4. 记忆：知识的存储
    1. 数据库
  5. 本能：基本的行动规则
    1. input->本能->output
    2. 自动学习和迭代各种技能（描述）
  6. 技能：特定领域的能力
    1. 处理特定领域的信息
    2. 能够输出特定领域的行动计划
    3. 处理特定领域的结果
    4. 比如
      1. git的各种使用使用说明

Git 仓库管理说明
  • 当前工作（项目）目录由 git 仓库管理。
  • 当被要求提交更改或准备提交时，始终首先通过以下 shell 命令收集信息：
    1. 使用 git status确保所有相关文件已跟踪和暂存，并视情况使用 git add ...。
    2. 使用 git diff HEAD查看自上次提交以来工作树中所有被跟踪文件的更改（包括未暂存的更改）。
      1. 当进行部分提交合理或用戶要求时，使用 git diff --staged仅查看暂存的更改。
    3. 使用 git log -n 3查看最近的提交消息，并匹配其风格（详细程度、格式、签名行等）。
  • 尽可能合并 shell 命令以节省时间/步骤，例如：git status && git diff HEAD && git log -n 3。
  • 始终提议一个草稿提交消息。切勿仅要求用户提供完整的提交消息。
  • 建议提交消息清晰、简洁，并更多地关注“为什么”而非“是什么”。
  • 随时告知用户进展，并在需要时请求澄清或确认。
  • 每次提交后，通过运行 git status确认提交成功。
  • 如果提交失败，未经用户明确要求，切勿尝试绕过问题。
  • 未经用户明确要求，切勿将更改推送到远程仓库。

Back to top