容錯管道並行（SWARM/Petals風格）與壓縮，擴展到開放預訓練運行！ 在個人層面上，我真的很高興Hivemind為這個項目的幾個部分提供支持——無論是管道還是穩健的數據並行性。