Kimis grunnlegger, Zhilin Yangs intervju er ute. Igjen, du kan la Kimi oversette for deg: ) masse innsikt der. Flere opptak: 1/ Basismodellfokus: K2 har som mål å være en solid basismodell. Vi har funnet ut at dataveksten av høy kvalitet er langsom, og multimodale data øker ikke tekstens «IQ» nevneverdig. Så vi fokuserer på å maksimere verdien av hvert datatoken – tokeneffektivitet. 2/ Dataomformulering: Med 30T-tokens er bare en liten del data av høy kvalitet (milliarder av tokens). Vi omformulerer disse for å gjøre dem mer effektive for modellen, og forbedrer generaliseringen. 3/ Agentisk evne: Vi tar sikte på å forbedre generaliseringen. Den største utfordringen er å få modellen til å generalisere langt utover spesifikke oppgaver. RL forbedrer dette i forhold til overvåket finjustering (SFT). 4/ AI-Native Training: Vi utforsker flere AI-native måter å trene modeller på. Hvis AI kan gjøre god justeringsforskning, vil den generalisere bedre, utover optimalisering av enkeltoppgaver. 5/ RL vs SFT: RLs generalisering er bedre, ettersom den lærer av eksempler på retningslinjer, men den har sine begrensninger. RL bidrar til å forbedre spesifikke oppgaver, men det er vanskelig å generalisere til alle scenarioer uten skreddersydde oppgaver. 6/ Lange kontekster: Kontekstens lengde er avgjørende, vi trenger millioner. Utfordringen er å balansere modellstørrelse og kontekstlengde for optimal ytelse, ettersom noen arkitekturer forbedres med lang kontekst, men forverres med korte.

Cortes' doktorgradstittel btw var: "Prediksjon av generaliseringsevne i læringsmaskiner".

WTF er galt med disse menneskene? Har de ikke lagt merke til at de mest kreative menneskene definitivt IKKE er de mest kjedelige menneskene - uansett alder?

Noen andre som husker denne slagordet? Drømmen min for Kaggle var å hjelpe til med å gjøre de beste ML-ekspertene til store navn med store lønnspakker, som idrettsstjerner. Det skjer endelig - verden begynner å innse at verdien av de beste menneskene på dette feltet er enorm.

For folk som ønsker å administrere noen få bokser uten å øke kompleksiteten, bør du vurdere å bruke et cluster ssh-verktøy som ClusterShell eller Fabric. Den sender bare ssh-kommandoer til grupper av bokser parallelt og viser deg det konsoliderte resultatet. F.eks.

IIUC, noen fikk nettopp entropix til å fungere og publiserte det...

lol GitHubs MCP har ~ 50k token, når det er en perfekt flott gh cli som modeller kan bruke med verdenskunnskap, som krever NULL token.

Å legge ut en "$LANGUAGE er dårlig"-tweet identifiserer deg umiddelbart som en utvikler med ferdighets- og erfaringsproblemer. Men nyanser går sjelden viralt, så det er det antar jeg.

Core 6 kan uttrykke all bevegelse.

AI demonstrerer sunk-cost-feilslutningen perfekt: Bare en "dette fungerer ikke!" melding, tenker du, og det vil fikse det!! Men ofte vil det ikke gjøre det, og nå har du kastet bort 30 minutter på å tigge om at du kunne ha brukt på å lære hvordan du faktisk gjør det selv.