Jeg er veldig nede på ideen om å kjøre lokale modeller på smarttelefoner. OSS 20b er en modell du knapt kan kjøre på en god bærbar datamaskin, men den rangerer som nummer 93 på LMArena. Brukere kan få tilgang til GPT-5-Chat gratis via ChatGPT-appen som rangerer som nummer 10. Det vil ta minst et par år med algoritmiske og maskinvareforbedringer for å få en OSS 20b-lignende modell til å kjøre på en telefon, og da vil skymodeller være enda lenger fremme. Som bruker er jeg tvunget til å bruke mer penger på en dyrere telefon og ofre batterilevetiden bare for å få et slurvete "oppsummer denne e-posten"-svar fra en lokal 3b-modell. Googles Pixel-telefoner blir allerede ofre for dette. For $200 kan du betale for en 'AI-telefon' du kan få over 10k+ (!) ChatGPT-samtaler til GPT-5-Chat API-priser. Det er 5 år med 5x samtaler om dagen. Personvern er heller ikke en reell bekymring - folk bruker allerede skytjenester regelmessig for langt mer sensitive ting enn ChatGPT-samtaler (for eksempel Gmail, Google Foto). Apples drøm om å akselerere fornyelsessyklusene fordi folk ønsker å få en 4b-modell i stedet for en 3b-modell med den nyeste iPhonen er ikke realistisk, så lenge du kan få tilgang til en 1 billion modell i skyen gratis.