我和 @bernhardsson 討論了從零開始創建一個 AI 原生基礎設施提供者: "當我在 Spotify 做機器學習時,90% 的工作都是在建立基礎設施,而不是應用程式。而傳統的基礎設施並不是為了快速反饋循環而建造的。 當你在使用 AI 建設時,當地測試然後再部署到生產環境真的很麻煩。你可以將其分為兩個環境,但這樣你就會遇到在它們之間切換的問題。 在 AI 之前這不是問題。但現在,你有 GPU 和非常大的模型需要很長時間才能加載。因此,這個初始化步驟需要很長時間。 我們建立了 @modal 以實現快速反饋循環。我可以按下 Enter,並立即在雲端運行。 這也非常適合在雲端運行 AI 應用程式。因為沒有傳統的雲提供者有能力處理運行推斷所需的動態 GPU 擴展。 我們最終創建了一個完全新的雲提供者,原生於 AI。"