Her er denne ukens Ritual Research Digest, et nyhetsbrev som dekker det siste i verden av LLM-er og skjæringspunktet mellom Crypto x AI. Med hundrevis av artikler utgitt ukentlig, er det umulig å holde seg oppdatert med det siste. Vi leser slik at du ikke trenger å gjøre det.

Tokens med lav sannsynlighet opprettholder utforskning i forsterkende læring med verifiserbar belønning Denne artikkelen finner at flaskehalsen til resonneringsmodeller kan stamme fra eliminering av utforskende tokens med lav sannsynlighet (de kaller dem Reasoning Sparks).

De introduserer Lp-Reg for å bevare verdifulle tokens med lav sannsynlighet via regularisering. Lp-Reg forkaster først støyende tokens med lav sannsynlighet og omfordeler deretter sannsynlighetsmassen blant de gjenværende kandidatene. På 5 matematiske benchmarks på Qwen3-14B forbedres de med 2.66 %.

Om rollen til temperaturprøvetaking i testtidsskalering Nylig skalering av testtidsskalering (TTS) har økt Pass@k til 1024, men har vi nådd taket for TTS-ytelse? Artiklene viser, gjennom temperaturprøvetaking, at vi kan skalere TTS ytterligere.

Artiklene viser at temperatur kan være en ny dimensjon for skalering på testtidspunktet. Gjennom eksperimenter på tvers av Qwen3 (0,6B, 1,7B, 4B, 8B) og fem benchmarks, gir temperaturskalering 7,3 poeng over enkelttemperatur TTS. De designer også en effektiv metode for T-skalering.

DiffuSpec: Låse opp diffusjonsspråkmodeller for spekulativ dekoding Diffusjonsmodeller som utarbeidere for spekulativ dekoding passer godt på grunn av høyere gjennomstrømning av tokenforslag per trinn og sterkere forslagskvalitet.

Diffusjonsmodeller lider imidlertid av problemer knyttet til årsaksjustering og trekklengde. For å løse disse problemene presenterer artikkelen DiffuSpec, en opplæringsfri metode. På tvers av ulike oppgaver leverer den opptil 3 × hastighetsøkning på veggklokker, og overgår andre treningsfrie grunnlinjer.

Ved å generere syntetiske data med varierende grad av lesbarhetsvanskelighet, finner de at lesbarhet ikke er nøkkelen til sammenheng i små språkmodeller. Funnene deres tyder på at statistisk enkelhet er en sterkere prediktor for læringsevne i SLM.

Følg oss @ritualdigest for mer om alt som har med krypto x AI-forskning å gjøre, og @ritualnet lære mer om hva Ritual bygger.