Se vorbește mult despre modul în care formatarea/solicitările JSON/XML pentru LLM-uri vor fi de 10 ori rezultatul ChatGPT, Claude, Grok etc. Dar este 0% adevărat. Modelul are aceeași fereastră de context indiferent dacă întrebați Război și pace sau {"story": "Război și pace"}. Oamenii cred că JSON/XML păcălește modelul pentru că văd ieșiri mai lungi în formate structurate, dar asta este corelație, nu cauzalitate.... Puneți doar întrebări mai bune cu așteptări mai clare. Ceea ce funcționează de fapt pentru ieșirea de 10x este un sfat "plictisitor", dar iată-l oricum: Împărțirea cererilor complexe în bucăți, utilizarea solicitărilor "continuă" și specificitatea cu privire la ceea ce doriți în loc să sperați că etichetele XML/JSON vor ocoli cumva arhitectura fundamentală a modelelor de transformatoare.
80,63K