非常に洞察力に富んだブログ投稿!IMOトークン化はNLPパイプラインの一部であり、本来あるべきよりも注目されていません 余談ですが、SuperBPE の概要を読んでいるときに、空間に依存しないトークン化やその他の最近の改善は、LLM 以前の時代にまでさかのぼることに気づきました。