Què és la finestra de context?

Si has llegit alguna vegada l’anunci d’un model d’IA nou, segur que t’has trobat amb una xifra destacada en majúscules: «ara amb una finestra de context de tants tokens!» Sona impressionant, però… què vol dir exactament? I per què les empreses el fan servir com a reclam publicitari, gairebé com si fos la potència d’un motor de cotxe?

La memòria de treball d’una conversa

Cal pensar la finestra de context com la taula de treball d’algú que t’està ajudant. Quan li dones un document, unes instruccions i li fas preguntes, tot això s’ha d’estendre sobre la taula perquè ho pugui consultar mentre respon. Si la taula és petita, només hi caben uns quants fulls; si és gran, hi pot estendre un dossier sencer.

La finestra de context és, precisament, la mida d’aquesta taula: quanta informació pot «tenir davant» el model alhora.

  • la teva pregunta
  • l’historial de la conversa
  • els documents que li has passat

I amb tota aquesta informació, poder generar una resposta coherent.

Un cop la taula és plena, el que no hi cap ja no es pot consultar directament.

Es mesura en «tokens», no en paraules

Aquesta capacitat no es mesura en paraules, sinó en tokens. Ja tenim un article dedicat als tokens, però recordem que a grans trets, un token és tros de paraula.

Per què és un bon argument de màrqueting

Una finestra de context gran es pot resumir en una sola frase molt vendible: «pots donar-li més coses alhora». Un llibre sencer, una base de codi completa, hores de transcripcions… i el model encara ho recorda tot mentre respon.

Però, com passa amb en moltes coses, no és una garantia total. Una finestra de context enorme no garanteix que el model faci servir bé tota aquesta informació. Alguns models tendeixen a «oblidar» o donar menys importància al que hi ha al mig d’un text molt llarg, i recorden millor el principi i el final.

En resum: una finestra gran és una condició necessària per treballar amb molta informació, però no és per si sola una garantia de qualitat.

Què passa quan superes el límit?

Quan la conversa o el document supera la mida de la finestra, alguna cosa ha de «caure de la taula». Depenent de com estigui construïda l’eina que fas servir, això es pot resoldre de maneres diferents:

  • Es talla la informació més antiga
  • Es resumeix automàticament comprimint les parts antigues, però mantenint la idea general.
  • Simplement es rebutja la petició

Per això, en converses molt llargues, de vegades notaràs que el model «perd el fil» d’alguna cosa que vau parlar al principi: no és que s’hagi despistat, és que aquella part de la taula ja no hi és.

Entrada i sortida: dues cares de la mateixa moneda

Val la pena aclarir: la finestra de context normalment inclou tant el que tu li dones (entrada) com el que ell et respon (sortida). És a dir, no són dos calaixos independents, sinó que comparteixen el mateix espai a la taula.

A més, moltes eines apliquen un límit màxim de sortida: encara que la finestra total sigui molt gran. La resposta que et pot donar d’un sol cop pot estar limitada a una mida més petita, per motius pràctics.

És a dir: que un model «pugui llegir» molt, no vol dir necessàriament que «pugui escriure» igual de molt en una sola resposta.

Llavors, quant de context necessito realment?

La pregunta útil no és «quina és la finestra més gran del mercat?», sinó «és prou gran per la tasca que jo necessito fer?».

Comentaris

Deixa un comentari

L’adreça electrònica no es publicarà. Els camps necessaris estan marcats amb *