熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
我和 @bernhardsson 討論了從零開始創建一個 AI 原生基礎設施提供者:
"當我在 Spotify 做機器學習時,90% 的工作都是在建立基礎設施,而不是應用程式。而傳統的基礎設施並不是為了快速反饋循環而建造的。
當你在使用 AI 建設時,當地測試然後再部署到生產環境真的很麻煩。你可以將其分為兩個環境,但這樣你就會遇到在它們之間切換的問題。
在 AI 之前這不是問題。但現在,你有 GPU 和非常大的模型需要很長時間才能加載。因此,這個初始化步驟需要很長時間。
我們建立了 @modal 以實現快速反饋循環。我可以按下 Enter,並立即在雲端運行。
這也非常適合在雲端運行 AI 應用程式。因為沒有傳統的雲提供者有能力處理運行推斷所需的動態 GPU 擴展。
我們最終創建了一個完全新的雲提供者,原生於 AI。"
熱門
排行
收藏