Skip to main content

MLA by Deekseek

    MLA 的核心思想是通过低秩联合压缩技术，减少 K 和 V 矩阵的存储开销 相对于传统的MHA，主要引入了WDKV

    image.png

    image.png

    Back to top