Forskningslogg Dag 0: DiLoCo Dagar Jag bestämde mig för att göra ett examensarbete kring distribuerad lågkommunikationsträning. I grund och botten, hur kan vi träna stora modeller effektivt över distribuerade noder och inte bli helt förstörda av nätverkslatens och bandbredd? (1/n)