正如预期,NSA与MLA不兼容,因此DeepSeek选择了另一种方法:使用较小的(d=128)注意力(不带值)作为索引器。 渐近成本比 = 128/576。 此外,索引器使用FP8,而主MLA使用16位,因此 = 64/576 = 1/9。