Я поговорил с @bernhardsson о создании инфраструктурного провайдера, ориентированного на ИИ, с нуля: "Когда я занимался машинным обучением в Spotify, 90% работы заключалось в создании инфраструктуры, а не приложения. А традиционная инфраструктура не предназначена для быстрых циклов обратной связи. Когда вы работаете с ИИ, действительно раздражает тестировать локально, а затем развертывать в производственной среде. Вы можете разделить это на две среды, но тогда вы сталкиваетесь с проблемой перехода между ними. Это не было проблемой до появления ИИ. Но теперь у вас есть GPU и очень большие модели, которые требуют много времени для загрузки. Поэтому этот этап инициации занимает очень много времени. Мы создали @modal, чтобы обеспечить быстрые циклы обратной связи. Я могу нажать Enter и сразу запустить в облаке. Это также хорошо подходит для запуска ИИ-приложений в облаке. Потому что ни один традиционный облачный провайдер не имеет мощности для динамического масштабирования GPU, необходимого для выполнения вывода. В конечном итоге мы создали совершенно нового облачного провайдера, ориентированного на ИИ."