幻觉

1. 模型生成不真实或非事实陈述的现象
2. 即模型中的主导知识可以在文本生成过程中，掩盖那些不太突出的知识，从而导致模型编造不准确的细节
3. 由于权重表达的信息有限，只能对大量的知识进行归类抽象表达，会产生“想当然”的问题
   

   1. 随着模型记忆大量信息并捕捉关联关系，它们会在泛化过程中适应新的分布。然而，在这一过程中，不占主导地位的知识可能会因过度平滑（smoothing）或信息压缩（compression）而被更常见的模式所掩盖。知识掩盖并不仅仅是数据不均衡的结果，而是知识表征之间竞争的直接产物。