自洽后就有意识了吗？

1. 自洽能力对于人工智能的重要性
   1. 当前AI还不能轻易的实现自洽能力，甚至在在KV cache内的自洽性还存在挑战，权重范围内只能根据概率来输出
   2. 意识会去维护一个最本质的目的，不断检验当前的成果，提供未来行动的建议
      
2. 自洽训练方法
   1. 随机生成无数的样本，一旦触及需要修正的问题，则作为监督样本进行微调。确保一个新的观点对所有权重没有矛盾
      1. GPT4.0开始，非常喜欢用破折号，应该和20世纪初的文本作为训练材料有关
3. 没有反思能力
   1. 一个任务，不能越做越顺利，不断根据结果进行对流程的改进
      1. 缺乏维护自洽的意识，不能对训练数据进行判断、识别，而是无差别得接受
   2. 当前的Agent还是需要人类不断的改进方法，需要人类提供“算法”->“做法”  机器不能有自洽的意识不断得接近目标
   3. 意识和大语言模型之间缺乏一个标准的可操作接口，大语言模型是一个语言计算器，意识相当于上下文，记忆是不可或缺的一部分
4. 新架构
   1. 生物脑、人脑的组成要素：计算能力、长期记忆、短期记忆
      1. 长期记忆相当于硬盘，短期记忆相当于内存，计算能力相当ALU
      2. 大语言模型相当于语言ALU，KVcache相当于寄存器，权重相当于指令，但是缺少短期记忆和长期记忆
      3. 意识主要存在于短期记忆，长期记忆也需要保持自洽性
      4. KVcache：一个不断增长的，被动态调度执行的（通过新prompt）计算器
      5. SSM：固定大小的，不断被更新的状态存储器
      6. 外存：长期记忆的存储器，可以被检索和更新
   2. 最近很多实验室推出带额外记忆单元的技术/模型
      1. Meta推出「自由Transformer」（Free Transformer），增加一部分算力和参数维护一个额外的状态
   3. 短期临时的记忆维护了当前的意识，信息容量比较固定，不会太大
      
   4. 记忆的过程是不断地把未知的输入换成大脑内部已经有的知识的表达，是一个不断地匹配知识，确保自洽的过程，不断地根据输入来修正当前大脑内当前的主观感觉或者想法
   5. 输入的目的，外界信息输入的目的是让大脑内部根据已有的知识点产生一个意识组织出来一个意识
   6. 本质上，想要对文本进行理解和记录，和LLM是一样的。 文本是串流的， 想要实现准确的编码，本质上和LLM一致
   7. LLM只是个强大的计算器，利用这个计算器加上记忆，实现强大的智能。可以使用SSM模型来动态生成句子的meaning tree
   8. 批量的对一段文本做处理，只关心区域内的语义，不需要全局的语义，这种情况可以使用SSM这样的状态记忆模型也就是RNN