SGLang od @lmsysorg je open source projekt zaměřený na zrychlení a zefektivnění inference velkých jazykových modelů s neustálým zlepšováním, které se rychle promítá do reálného zrychlení. Za těmito snahami stojí specializovaní inženýři, kteří zajišťují, aby se kód vyvíjel tak, aby vyhovoval potřebám výzkumníků i vývojářů. V těchto otázkách a odpovědích Trevor Morris, Senior Deep Learning Software Engineer ve společnosti NVIDIA a committer pro SGLang, hovoří o své roli vývojáře SGLang ve společnosti NVIDIA, nedávných optimalizacích výkonu a o tom, jak tyto příspěvky pomáhají posilovat ekosystém open source kolem LLM. ➡️