Forskningslogg dag 0: DiLoCo-dager Jeg bestemte meg for en avhandling rundt distribuert trening med lav kommunikasjon. I hovedsak, hvordan kan vi trene store modeller effektivt på tvers av distribuerte noder og ikke bli fullstendig ødelagt av nettverksforsinkelse og båndbredde? (1/n)