.@vllm_project は、パフォーマンスと強力な開発者エクスペリエンスのバランスをとりながら、効率的な大規模言語モデル推論のための頼りになるオープンソース エンジンになりました。NVIDIA では、vLLM のようなプロジェクトへの直接の貢献は、すべての人のためのオープンソース AI インフラストラクチャを推進するという取り組みを反映しています。 この Q&A では、NVIDIA のシニア システム ソフトウェア エンジニアであり、vLLM のコミッターである Benjamin Chislett が、プロジェクトの将来を形作るための視点、投機的デコードに関する彼の研究、そして大規模な AI にとってオープンソース コラボレーションが重要な理由を共有します。 🔗