En till (liten) sak: Vi presenterar mxbai-colbert-edge-v0 17M och 32M.
De är resultatet av ett lätt reproducerbart sätt att träna ColBERT-modeller från grunden.
De är också starka: 17M-varianten skulle rankas först på LongEmbed-topplistan för modeller under 1B-parametrar.
Bättre projektionsvarianter förbättrar ColBERT
Vi introducerar en sällsynt gratis lunch: en liten arkitektonisk modifiering som förbättrar ColBERT-prestanda över hela linjen, utan några egentliga kompromisser.
Ändringen? Bättre slutliga prognoser än den linjära prognos som för närvarande används.