Un token és la unitat mínima de text amb què treballa internament un model de llenguatge. No és ni una lletra ni una paraula sencera: sol ser un fragment intermedi.
I és rellevant per al públic general, perquè els tokens són la unitat que determina el cost econòmic (moltes eines d’IA es cobren per token) i el límit de la finestra de context del qual parlarem en un altre article.
Un token és la unitat mínima de text amb què treballen els models d’intel·ligència artificial i és la base amb què es calcula el cost de moltes eines d’IA.
Exemples:
La paraula gos pot ser 1 token
La paraula increïblement pot ser 3 tokens (potser «in» + «creïble» + «ment»), i a vegades fins i tot signes de puntuació o espais compten com a token.
Per fer-ho tangible:
- En anglès, aproximadament 1 token equival a ¾ de paraula (una regla ràpida molt utilitzada: 100 tokens ≈ 75 paraules).
- En català i castellà sol necessitar-se més tokens per paraula que en anglès, perquè el “diccionari” de trossos que fan servir aquests models s’ha entrenat majoritàriament amb text en anglès, i les paraules d’altres idiomes sovint es trossegen més fi.
Per què no es fa servir directament la paraula sencera com a unitat?
Perquè trossejar-les, permet al model gestionar paraules que mai ha vist abans (noms propis, neologismes, faltes d’ortografia), combinant trossos coneguts, en lloc de quedar-se «encallat» davant d’una paraula fora del seu vocabulari.
Un mateix model pot consumir diferents quantitats de tokens
Aquí és on la cosa es torna interessant, perquè el «cost» d’una mateixa pregunta a un mateix model no és fix. Hi ha diverses variables que hi juguen:
a) Segons el model que escollim. I entenent com a model, si escollim ChatGPT, Claude, Gemini. En cada un, hi ha opcions de «pensar més» abans de respondre, generant internament una cadena de raonament abans de donar la resposta final.
b) Llargada i complexitat de la pregunta i el context acumulat Com més llarga sigui la conversa, més tokens s’han de «rellegir» cada vegada per generar la resposta següent, encara que tu escriguis un missatge curt.
c) Format de sortida demanat Demanar una resposta detallada, amb exemples, en format de taula o amb múltiples seccions, consumeix més tokens que demanar un sí/no o un resum d’una línia.
d) «Variants» o versions del mateix model Moltes famílies de models ofereixen diferents formes de processar i que podem escollir. La versió més potent sol necessitar més tokens per assolir el mateix nivell de qualitat.
Per què diferents models poden consumir quantitats diferents de tokens per a la mateixa tasca
Aquí entren en joc factors estructurals, no només d’ús:
a) El «tokenitzador» (com trosseja el text) és diferent per a cada família de models Cada model (GPT, Claude, Gemini…) té el seu propi «diccionari» de trossos de text après durant l’entrenament.
b) Estil «natural» de resposta de cada model Respostes curtes, consumeixen menys tokens.
c) Arquitectura interna i eficiència de raonament
d) Ús o no d’eines externes
Reflexió filosòfica ràpida
«quant costa» preguntar-li una cosa a la IA no és una propietat fixa de la qüestió, sinó el resultat d’una cadena de decisions d’enginyeria (com trossejar el text, quant «pensar» abans de respondre, quina llargada de resposta és «normal» per a aquell model).
És a dir, el cost —tant econòmic com energètic— no és inherent a la intel·ligència del sistema, sinó a com s’ha dissenyat i configurat per respondre.
NOTA ADDICIONAL
Normalment comparem models dient:
Model A → 1 € per milió de tokens
Model B → 5 € per milió de tokens
I sembla evident que A és cinc vegades més barat.
Però pot no ser-ho.
Si A necessita quatre intents, moltes més paraules i quinze crides a eines per resoldre una feina que B resol d’una vegada, el cost real és diferent.
Amb agents, per tant, començarà a ser molt més útil preguntar:
«Quant m’ha costat acabar aquesta feina?»
Que no pas:
«Quant costa un milió de tokens?»
Aquesta distinció serà cada vegada més important a mesura que els agents treballin durant minuts o hores.
Tot seguit us mostro una calculadora aproximada de Tokens
Està feta amb el model Claude i a l’article corresponent de la secció «Experiments / Provem» podreu veure com s’ha construït. Tal com ja indica, és un càlcul aproximat.
Calculadora de tokens
Enganxa un text i calcula quants tokens té, aproximadament.
És una estimació: es compta aproximadament 1 token cada 4 caràcters. En català i altres llengües no angleses sol sortir una mica més alt. El recompte exacte depèn del model.
Deixa un comentari