Skip to main content

自然语言的内在逻辑

逻辑

  1. 推断： A 是 B
  2. 与或非
  3. 逻辑规律： 传递性
  4. 类比：判断相似性，通过类比来模仿很容易，但是分析内在原因，并描述出来，形成理论很难
    1. 晶体管的饱和 类比 边际效应
    晶体管的放大区 类比 线性关系

    逻辑规律

     

    a与b 就是c ，这 就是一个推断的模版，推断的规律。   逻辑 的模版，   掌握这种规律，就能应用于其他领域， 这就需要高层级的抽象能力才能学到的规律

    捕捉高层次的语义概念，在LLM中有效地隔离出有意义的潜在特征。

    自然语言模型欠缺逻辑能力

      只能对样本进行回归，抽象的表示空间和样本高度一致，抽象的特征只能表示样本的概率
        不能推理思考、总结规律 不能识别矛盾的样本信息 A->B(30%)  A->C(20%)  A->D(25%)  A->E(25%)  B->C(100%) 那么 A的下一个最有可能的是C不是B

        meaning表示逻辑

          特殊的token
            对序列进行分段，总结，推理，存储到KVcache里面 约束训练模型自动产生 特殊的token
            每个meaning可以用多个版本表示，多个版本有一定逻辑关系。
            两个meaning使用同一个表示序列

            ### 逻辑表示
            meaning4 + meaning= + meaning5 等价推断
            断言表达


            ### meaning或等逻辑操作是一种特殊的meaning，能对meaning进行变换
            1. meaning1 + meaning或 + meaning2 = meaning2
            2. meaning4 + meaning或 + meaning5 = meaning6
            Back to top