Skip to main content

自洽后就有意识了吗?

  1. 自洽能力对于人工智能的重要性
    1. 当前AI还不能轻易的实现自洽能力,甚至在在KV cache内的自洽性还存在挑战,权重范围内只能根据概率来输出
    2. 意识会去维护一个最本质的目的,不断检验当前的成果,提供未来行动的建议
  2. 没有反思能力
    1. 一个任务,不能越做越顺利,不断根据结果进行对流程的改进
      1. 缺乏维护自洽的意识,不能对训练数据进行判断、识别,而是无差别得接受
    2. 当前的Agent还是需要人类不断的改进方法,需要人类提供“算法”->“做法”  机器不能有自洽的意识不断得接近目标
    3. 意识和大语言模型之间缺乏一个标准的可操作接口,大语言模型是一个语言计算器,意识相当于上下文,记忆是不可或缺的一部分
  3. 新架构
    1. 生物脑、人脑的组成要素:计算能力、长期记忆、短期记忆
      1. 长期记忆相当于硬盘,短期记忆相当于内存,大语言模型相当于计算器
      2. KVcache:一个不断增长的,被动态调度执行的(通过新prompt)计算器
      3. SSM:固定大小的,不断被更新的状态存储器
      4. 外存:长期记忆的存储器,可以被检索和更新
    2. 最近很多实验室推出带额外记忆单元的技术/模型
      1. Meta推出「自由Transformer」(Free Transformer),增加一部分算力和参数维护一个额外的状态
    3. 短期临时的记忆维护了当前的意识,信息容量比较固定,不会太大
    4. 记忆的过程是不断地把未知的输入换成大脑内部已经有的知识的表达,是一个不断地匹配知识,确保自洽的过程,不断地根据输入来修正当前大脑内的主观的感觉或者想法
    5. 输入的目的,外界信息输入的目的是让大脑内部根据已有的知识点产生一个意识组织出来一个意识