私は@bernhardssonに、AIネイティブなインフラストラクチャプロバイダーをゼロから作成することについて話をしました。 「私がSpotifyで機械学習をしていたとき、作業の90%はアプリケーションではなく、インフラストラクチャの構築だけでした。また、従来のインフラは、高速フィードバックループ用に構築されていません。 AI を使用して構築する場合、ローカルでテストしてから本番環境にデプロイするのは非常に面倒です。2つの環境に分割することはできますが、それらの間を行き来するという問題に遭遇します。 これはAIが登場する前は問題ではありませんでした。しかし今では、GPUと非常に大きなモデルがあり、読み込みに時間がかかります。したがって、この開始ステップは非常に長い時間がかかります。 高速フィードバックループを可能にするために@modalを構築しました。Enterキーを押して、クラウドですぐに実行できます。 これは、クラウドで AI アプリを実行するのにも役立ちます。従来のクラウドプロバイダーには、推論の実行に必要な動的なGPUスケーリングを処理する能力がないからです。 最終的に、AI にネイティブなまったく新しいクラウド プロバイダーを作成することになりました。」