Rozhovor se zakladatelem společnosti Kimi, Zhilin Yangem, je venku. Opět si můžete nechat Kimiho přeložit za vás:) je tam spousta postřehů. Několik záběrů: 1/ Zaměření základního modelu: K2 si klade za cíl být solidním základním modelem. Zjistili jsme, že růst vysoce kvalitních dat je pomalý a multimodální data výrazně nezvyšují textové "IQ". Proto se zaměřujeme na maximalizaci hodnoty každého datového tokenu – efektivity tokenu. 2/ Přeformulování dat: U 30T tokenů je jen malá část vysoce kvalitních dat (miliardy tokenů). Přeformulujeme je tak, aby byly pro model efektivnější a zlepšily zobecnění. 3/ Agentní schopnost: Naším cílem je posílit zobecnění. Největší výzvou je zajistit, aby model byl zobecněn nad rámec konkrétních úkolů. RL toto vylepšuje oproti jemnému doladění pod dohledem (SFT). 4/ Školení nativní pro AI: Zkoumáme další způsoby trénování modelů s nativní AI. Pokud umělá inteligence dokáže provádět dobrý výzkum zarovnání, bude lépe zobecňovat nad rámec optimalizace jednotlivých úkolů. 5/ RL vs SFT: Zobecnění RL je lepší, protože se učí ze vzorků politik, ale má své limity. RL pomáhá zlepšit konkrétní úlohy, ale je těžké zobecnit na všechny scénáře bez přizpůsobených úloh. 6/ Dlouhé kontexty: Délka kontextu je klíčová, potřebujeme miliony. Výzvou je vyvážit velikost modelu a délku kontextu pro optimální výkon, protože některé architektury se zlepšují s dlouhým kontextem, ale zhoršují se s krátkými.

Cortesův doktorský titul mimochodem byl: "Predikce schopnosti zobecňovat u učících se strojů".

WTF se s těmi lidmi mýlí? Nevšimli si, že ti nejkreativnější lidé rozhodně NEJSOU lidé, kteří se nejvíce nudí – bez ohledu na věk?

Pamatuje si ještě někdo tento slogan? Mým snem pro Kaggle bylo pomoci udělat z nejlepších expertů na ML velká jména s velkými výplatami, jako jsou sportovní hvězdy. Konečně se to děje – svět si začíná uvědomovat, že hodnota nejlepších lidí v tomto oboru je obrovská.

Pro lidi, kteří chtějí spravovat několik boxů, aniž by zvyšovali složitost, zvažte použití nástroje Cluster SSH, jako je ClusterShell nebo Fabric. Pouze posílá příkazy ssh do skupin boxenů paralelně a ukazuje vám konsolidovaný výsledek. Např

IIUC, někdo prostě dostal entropix do práce a publikoval ho...

lol MCP GitHub má ~ 50k token, když existuje dokonale skvělé GH CLI, které mohou modely používat se znalostmi světa, vyžadující ZERO token.

Zveřejněním tweetu "$LANGUAGE je špatný" okamžitě identifikujete jako vývojáře s problémy s dovednostmi a zkušenostmi. Ale nuance se jen zřídka stanou virálními, takže to asi je.

Core 6 dokáže vyjádřit veškerý pohyb.

Umělá inteligence dokonale demonstruje klam utopených nákladů: Ještě jedna výzva "to nefunguje!", pomyslíte si, a ono to vyřeší!! Ale často to nejde a teď jste promarnili 30 minut prosbami, které jste mohli strávit učením, jak to vlastně kurva udělat sami.