RT @markchen90: Linjaus on kiistatta tärkein tekoälytutkimuksen eturintama. Kun skaalaamme päättelyä, mallit saavat tilannetietoisuutta...

Viime viikolla päättelymallimme osallistuivat vuoden 2025 International Collegiate Programming Contest (ICPC) -kilpailuun, joka on maailman johtava yliopistotason ohjelmointikilpailu. Järjestelmämme ratkaisi kaikki 12 ongelmaa 12:sta, suoritus, joka olisi sijoittunut maailman ensimmäiseksi (paras ihmistiimi ratkaisi 11 ongelmaa). Tämä virstanpylväs päättää malliemme intensiivisen 2 kuukauden kilpailusuoritukset: - Toinen sija AtCoder Heuristiikan maailmanfinaalissa - Kultamitali kansainvälisissä matematiikan olympialaisissa - Kultamitali kansainvälisissä tietotekniikan olympialaisissa - Ja nyt kultamitali, ensimmäinen sija ICPC:n maailmanfinaalissa. Uskon, että nämä tulokset, jotka ovat peräisin päätutkimusohjelmaamme juurtuneista yleisistä päättelymalleista, ovat ehkä selkein vertailukohta tämän vuoden edistymiselle. Nämä kilpailut ovat loistavia itsenäisiä, aikataulutettuja testejä kyvystä löytää uusia ideoita. Jo ennen kuin mallimme olivat taitavia yksinkertaisessa aritmetiikassa, pidimme näitä kilpailuja virstanpylväitä edistymisessä kohti transformatiivista tekoälyä. Mallimme ovat nyt näiden alojen parhaiden ihmisten joukossa, kun niille esitetään tarkasti määriteltyjä kysymyksiä ja ne on rajoitettu ~5 tuntiin. Haasteena on nyt siirtyminen avoimempiin ongelmiin ja paljon pidempiin aikahorisontteihin. Tämä päättelykyky, jota on sovellettu kuukausien ja vuosien ajan ongelmiin, joilla on todella merkitystä, on se, mitä tavoittelemme - tieteellisten löytöjen automatisointia. Tämä nopea edistys korostaa myös turvallisuus- ja linjaustutkimuksen merkitystä. Tarvitsemme vielä enemmän ymmärrystä pitkäaikaisten päättelymallien kohdistusominaisuuksista; erityisesti suosittelen tarkastelemaan kiehtovia havaintoja tänään julkaisemastamme tutkimuksesta juonittelemisesta päättelymalleissa ( Onnittelut joukkuetovereilleni, jotka vuodattivat sydämensä näiden kilpailutulosten saamiseen, ja kaikille, jotka osallistuivat taustalla olevaan perustutkimukseen, joka mahdollistaa ne!

Olen erittäin innoissani ajatusketjun uskollisuuden ja tulkittavuuden mahdollisuuksista. Se on vaikuttanut merkittävästi päättelymalliemme suunnitteluun, alkaen o1-esikatselusta. Koska tekoälyjärjestelmät käyttävät enemmän laskentaa esimerkiksi pitkän aikavälin tutkimusongelmien ratkaisemiseen, on tärkeää, että meillä on jokin tapa valvoa niiden sisäistä prosessia. Piilotettujen CoT:ien hieno ominaisuus on, että vaikka ne perustuvat tulkittavaan kieleen, skaalautuva optimointimenettely ei ole haitallista tarkkailijan kyvylle varmistaa mallin tarkoitus - toisin kuin esimerkiksi suora valvonta palkitsemismallilla. Jännite tässä on siinä, että jos CoT:t eivät ole oletusarvoisesti piilossa ja pidämme prosessia osana tekoälyn tuotosta, on paljon kannustimia (ja joissain tapauksissa välttämättömyyttä) valvoa sitä. Uskon, että voimme työskennellä molempien maailmojen parhaiden puolien eteen - kouluttaa mallimme selittämään hyvin sisäistä päättelyään, mutta samalla säilyttää kyky toisinaan todentaa se. CoT:n uskollisuus on osa laajempaa tutkimussuuntaa, joka on tulkittavuuden koulutus: tavoitteiden asettaminen tavalla, joka kouluttaa ainakin osan järjestelmästä pysymään rehellisenä ja mittakaavassa valvottavana. Jatkamme panostustemme lisäämistä tähän tutkimukseen OpenAI:ssa.