Mluvil jsem s @bernhardsson o vytvoření poskytovatele infrastruktury nativní pro umělou inteligenci od nuly: "Když jsem dělal strojové učení ve Spotify, 90 % práce spočívalo jen v budování infrastruktury, ne aplikace. A tradiční infra není stavěno na rychlé zpětnovazební smyčky. Když stavíte s umělou inteligencí, je opravdu nepříjemné testovat lokálně a pak je nasadit do produkce. Můžete ji rozdělit do dvou prostředí, ale pak narazíte na problém s přechodem mezi nimi. Před AI-AI to nebyl problém. Ale nyní máte GPU a velmi velké modely, které se načítají dlouho. Takže tento iniciační krok trvá velmi dlouho. Vytvořili jsme @modal, která umožňuje rychlé smyčky zpětné vazby. Mohu stisknout klávesu Enter a okamžitě spustit v cloudu. To se také dobře hodí pro spouštění aplikací AI v cloudu. Protože žádný tradiční poskytovatel cloudu nemá kapacitu pro zpracování dynamického škálování GPU potřebného pro spouštění odvozování. Nakonec jsme skončili vytvořením zcela nového poskytovatele cloudu, který je nativní pro umělou inteligenci."