Zeer inzichtelijke blogpost! IMO is tokenisatie een onderdeel van NLP-pijplijnen die veel minder aandacht krijgt dan het zou moeten Als een zijspoor, terwijl ik de samenvatting van SuperBPE las, realiseerde ik me dat ruimte-agnostische tokenisatie en andere recente verbeteringen al teruggaan naar de tijd vóór LLM: