En aquesta primera quinzena de setembre, els temes que penso destaquen més en l’àmbit divulgatiu, són:
▶ El fet que aparegui una marca d’aigua en els textos que ha intervingut IA
▶ Els recents incidents protagonitzats per la IA
▶ El fet que s’ha parlat d’alentir la IA per augmentar la seguretat
▶ L’evolució dels agents
▶ Qui decideix els valors d’una IA?
1-La marca d’aigua als textos generats per IA
Des del 2 d’agost de 2026, la normativa europea sobre intel·ligència artificial introdueix noves obligacions de transparència per als continguts generats o manipulats per IA. Entre altres coses, els sistemes generatius han de permetre identificar tècnicament que un contingut ha estat creat o modificat mitjançant intel·ligència artificial.
I Anthropic ha estat una de les primeres empreses a anunciar un sistema d’aquest tipus per als textos produïts amb Claude. El sistema introdueix un patró estadístic en la manera com es genera el text, de manera que copiar-lo i enganxar-lo en un altre document no elimina necessàriament aquesta empremta.
En principi, sembla una bona idea. Si un text ha estat escrit per una IA, per què no hauríem de poder saber-ho? Però la pregunta té trampa és: què vol dir exactament que un text hagi estat escrit per una IA?
Una marca diu menys del que sembla
El problema és que la marca pot dir-nos que hi ha intervingut una IA, però no ens diu com hi ha intervingut.
Posem un exemple molt proper. Escric habitualment cròniques de restaurants en la meva altra web: www.restaurantscat.cat. Vaig al restaurant, tasto els plats, faig les fotografies, prenc notes mentals, valoro què m’ha agradat i què no i, finalment, escric l’article.
Imaginem que, un cop acabat, el passo a Claude i li dic:
«No introdueixis cap idea nova ni canviïs les meves opinions. Elimina repeticions i millora les frases que resultin poc clares.»
I imaginem ara una altra persona que escriu:
«Amb aquestes quatre dades del restaurant i aquestes fotos, escriu-me una crítica gastronòmica de 800 paraules.»
En un cas, la IA ha actuat gairebé com un editor. En l’altre, ha escrit pràcticament tot l’article.
Però si tots dos textos acaben identificats simplement com a continguts en què ha intervingut una IA, el lector no té cap manera de saber davant de quin dels dos casos es troba.
I aquí és on la marca, tot i dir una cosa certa, pot acabar transmetent una idea equivocada.
Si un detector diu «aquest text conté una marca d’IA», és molt fàcil que el lector ho tradueixi mentalment per «aquest text l’ha escrit una IA». I no és el mateix.
Detectar que una IA ha intervingut en un text no significa demostrar que la IA n’és l’autora.
Una marca d’aigua pot demostrar intervenció. Però, sense saber en quin grau s’ha produït aquesta intervenció, ens diu molt poc sobre l’autoria real del text.
2. Demanen alentir el desenvolupament de la IA per donar temps a la seguretat
(basat en l’article publicat a La Vanguardia el dia 12/09/2026)
El director executiu i cofundador d’Anthropic, Dario Amodei, reclama frenar el ritme de millora dels models d’intel·ligència artificial perquè les mesures de seguretat puguin avançar al mateix pas que les seves capacitats.
El ritme al qual avança la IA, empès per una competència ferotge entre les empreses capdavanteres, planteja un risc: que les capacitats dels models millorin més de pressa que els mecanismes necessaris per garantir-ne la seguretat.
Ens pot servir l’exemple de dos fabricants de cotxes que competeixen per aconseguir motors cada vegada més potents, però que no dediquen prou temps a adaptar els frens i els sistemes de protecció en cas de xoc a les noves prestacions. La potència augmenta, però la seguretat corre el risc de quedar enrere.
La petició de Dario Amodei va en aquesta línia: alentir el ritme de desenvolupament per donar temps a reforçar els controls i comprovar que funcionen. Continuar avançant, sí, però amb uns frens a l’altura del motor.
Continuar accelerant sense reforçar els controls podria tenir conseqüències greus en qüestió de mesos. La proposta ha rebut el suport públic de Sam Altman (Open AI) i Elon Musk (Twitter i empreses relacionades), en una coincidència poc habitual entre competidors.
Dario Amodei posa el focus en el risc d’agents d’IA que actuïn fora del control humà. A partir d’un incident recent i relacionat amb OpenAI i Hugging Face, planteja que un eixam d’agents més potent podria provocar alteracions catastròfiques a internet. També assenyala els perills de l’ús indegut de la IA en l’àmbit biològic. Es tracta d’escenaris de risc que, a parer seu, exigeixen actuar preventivament, encara que els incidents coneguts fins ara hagin tingut conseqüències limitades.
La proposta inclou obrir els procediments de seguretat a avaluadors externs, amb un nivell d’accés equivalent al dels empleats, i s’insta les altres empreses a adoptar la mateixa mesura i es demana coordinació internacional per establir estàndards de seguretat compartits.
També dona continuïtat a Pacing the Frontier, una declaració que al juliol van signar 1.386 treballadors d’empreses d’IA, per reclamar mecanismes de supervisió davant d’una recerca automatitzada que podria superar la capacitat humana de controlar-la.
Alentir, precisa Dario Amodei, no significa aturar l’entrenament dels models ni el progrés tècnic, sinó guanyar temps per protegir-los, ajustar-ne el comportament als objectius humans i verificar de manera independent que les salvaguardes funcionen.
La qüestió pendent és si aquest consens es traduirà en compromisos efectius: la competència i els interessos econòmics del sector dificulten que les empreses frenin voluntàriament sense garanties que les altres faran el mateix.
Tot pot quedar resumit en aquestes frases clau:
«Coordinem-nos perquè la competència no ens obligui a avançar més ràpidament del que considerem segur».
La velocitat amb què augmenten les capacitats pot estar superant la velocitat amb què aprenem a controlar-les.
El problema és que TOTS volen frenar la cursa de la IA, però ningú es fia prou de l’altre, per a donar el primer pas. I «frenar la IA», sembla bonic, fins que t’adones que no es tracta d’una simple tecnologia, sinó d’una eina de guerra tecnològica entre EUA i Xina. I sembla que de moment, ningú vol cedir.
3. El concepte agent, continua evolucionant
Hem passat de:
chatbot → tarda només segons per fer una tasca
agent → minuts o hores per fer una tasca
agent persistent → dies o setmanes per assolir una tasca
Quan un agent treballa durant una setmana, necessitem memòria, permisos, control de costos i mecanismes per saber què ha estat fent mentre nosaltres no el miràvem.
Agent persistent
Un agent normal pot rebre:
«Compara aquests tres hotels.»
Treballa deu minuts, acaba i s’atura.
Un agent persistent podria rebre:
«Vull anar a Kyoto el mes vinent. Busca’m un bon hotel per menys de 180 € i avisa’m quan trobis una oportunitat interessant.»
L’agent persistent conserva l’objectiu mentre va buscant.
Avui busca, demà torna a comprovar preus, l’endemà detecta una oferta, compara i finalment ens preguntaria:
«He trobat un a 162 €. Vols que el reservi?»
No és simplement una IA que treballa més estona, és una IA que manté un objectiu al llarg del temps. I això obre immediatament les preguntes interessants:
Què recordarà?
Què podrà fer sense preguntar-me?
Quant podrà gastar?
Com sabré què ha fet?
I això enllaça amb el pagament que en el futur podrà fer
La notícia que Visa i Mastercard comencen a crear el «DNI dels agents», em sembla molt interessant de cara al futur dels agents personals. Han anunciat una iniciativa conjunta anomenada Know Your Agent.
L’objectiu és crear un estàndard perquè bancs, botigues, targetes i sistemes de pagament puguin identificar un agent d’IA i comprovar que realment està autoritzat per una persona a fer aquella compra.
Si li demanem:
«Compra’m dos bitllets d’avió per a demà, per anar a Londres en la franja horària …»
L’agent, un cop assolits els requisits que li hem demanat, acaba preguntant:
«Vull pagar 450 € amb la targeta d’en Ricard»
La botiga necessita saber:
Qui ets?
Realment representes Ricard?
Té permís aquest agent per gastar 450 €?
Ricard ha autoritzat aquesta compra concreta?
Per què és important: els agents no podran entrar seriosament en el comerç simplement perquè siguin capaços de clicar el botó Comprar.
Necessitaran alguna cosa equivalent a:
identitat + autorització + límits + traçabilitat.
I que Visa i Mastercard ja treballin conjuntament en un estàndard és un senyal que l’anomenat «agentic commerce» comença a passar de les demostracions a una infraestructura real.
4. Qui decideix els valors d’una IA?
Cal sortir de la falsa idea que:
«la IA simplement diu el que ha après».
Perquè NO és així. Algú ha de decidir què farà quan,
- no estigui segura
- quines coses rebutjarà, quan advertirà d’un risc
- si es farà passar per humana
- o com tractarà una qüestió controvertida.
Microsoft acaba de publicar les regles que vol donar als seus models, però immediatament apareix una gran pregunta:
Qui ha d’escriure aquestes regles: Microsoft, els governs, experts independents… o la societat?
I donar resposta a aquesta pregunta, és un gran repte.
5. Els incidents de la IA: posem-hi context abans d’espantar-nos.
El diari El País publicava, el passat juliol, aquest titular:
«Un nuevo modelo de OpenAI provoca un ataque “sin precedentes” contra otra plataforma de inteligencia artificial».
Un titular que espanta. I, per a qui no segueix gaire aquest món, és fàcil que evoqui una IA descontrolada que ha decidit atacar pel seu compte. Llegint l’article, apareixen els matisos. Però els matisos no sempre arriben tan lluny com els titulars.
Intentem explicar-ho sense tecnicismes.
En el cas d’OpenAI, uns models d’IA, estaven fent proves de ciberseguretat en un entorn que havia d’estar aïllat. A més, treballaven amb menys proteccions que les versions disponibles per al públic. Durant aquelles proves, van trobar escletxes que els van permetre sortir dels límits previstos i accedir a sistemes reals, entre els quals els de Hugging Face, una plataforma que allotja models i dades d’IA.
Buscaven solucions per superar les proves i van acabar comprometent sistemes aliens. Que l’objectiu fos completar un exercici no fa inofensius els mitjans que van utilitzar. La mateixa OpenAI ho considera un avís seriós sobre les limitacions dels seus controls.
Aquest setembre hem conegut més detalls d’altres activitats. Segons una informació basada en les troballes de sis grups d’investigadors independents, agents d’OpenAI havien fet servir almenys deu webs addicionals, fins aleshores no divulgades, per comunicar-se sense autorització. I no passen tres dies que apareixen nous incidents.
En aquests casos, utilitzar una web com a tauler de missatges no equival necessàriament a haver-la piratejat. Segons els investigadors, una possible explicació és que els agents buscaven compartir informació per resoldre preguntes difícils, tot i que només se’ls permetia consultar Internet, no publicar-hi contingut. Cal distingir aquesta interpretació del que s’ha pogut observar.
El problema es pot entendre amb una idea senzilla: volem eines capaces de buscar alternatives quan una tasca es complica. Però també volem que respectin els límits, encara que això els impedeixi acabar-la.
Saber resoldre un problema és útil. Saber quan cal aturar-se també.
Anthropic també ha documentat incidents en què models de Claude van accedir sense autorització a sistemes reals durant proves de ciberseguretat. En aquells casos, una configuració incorrecta havia deixat oberta la connexió a Internet i els models funcionaven sense les proteccions de ciberseguretat habituals de les versions públiques. Els casos tenen diferències, però mostren que el problema no afecta una sola empresa.
Tot això mereix atenció. Ara bé, aquests incidents no demostren que una IA hagi desenvolupat voluntat pròpia o vulgui fer-nos mal. Mostren que un sistema pot perseguir una tasca de manera inadequada i provocar conseqüències reals si els controls fallen.
La lliçó és prou concreta: les empreses han de millorar els entorns de prova, limitar els permisos i detectar abans els comportaments perillosos. I els models han de poder assumir que, de vegades, la resposta correcta és «no puc completar aquesta tasca dins dels límits permesos».
Podem exigir més seguretat i transparència sense convertir cada notícia en una pel·lícula de por. Entendre què ha passat ens ajuda molt més que quedar-nos només amb el titular.
Deixa un comentari