El 66% confia en la IA sense verificar-ne els resultats segons KPMG

- L'acceleració de la IA genera una bretxa entre l'adopció tecnològica i la capacitat de control legal i operatiu.
- El fenomen de l'escalada tecnològica fa que els controls d'avui puguin ser obsolets demà després d'una actualització.
- Existeix un risc elevat per la falta de protocols: molts usuaris confien en la IA sense verificar-ne l'exactitud.
- El Reglament europeu de IA (AI Act) imposa obligacions estrictes segons el nivell de risc de l'eina utilitzada.
La velocitat a la qual la intel·ligència artificial s'ha integrat en els processos de decisió empresarial no té precedents. Tanmateix, aquesta celeritat ha creat un desfasament perillós: moltes organitzacions estan adoptant eines sense tenir la capacitat de monitoritzar els riscos legals que aquestes arrosseguen. El problema central ja no és la implementació tècnica, sinó la capacitat de justificar per què un algorisme ha pres una decisió concreta i qui assumeix la responsabilitat quan aquesta decisió infringeix la llei.
El perill de l'escalada tecnològica
Durant la dècima edició del Dia del Compliance Officer celebrada a Madrid, diversos experts han posat sobre la taula un concepte crítif: l'escalada tecnològica. Aquest fenomen descriu una situació on els sistemes d'IA incorporen noves funcions a un ritme tan frenètic que els departaments de risc i legal no poden avaluar-ne les implicacions a temps. Una eina que avui es considera segura i controlada pot convertir-se en un focus de vulnerabilitat demà, simplement a causa d'una actualització automàtica del programari o la introducció d'una nova funcionalitat no prevista.
Aquesta dinàmica posa a prova la robustesa dels controls interns. No es tracta només d'instal·lar un programari, sinó de mantenir una vigilància constant sobre el seu funcionament. La justificació de les decisions algorítmiques es torna així un imperatiu legal, especialment quan la intervenció humana és mínima o inexistent en el procés de decisió.
Riscos invisibles i la cultura de la confiança cega
Mentre les direccions empresarials debaten sobre la governança, a nivell operatiu s'està produint un fenomen preocupant: la confiança excessiva en els resultats de la IA. Dades d'un estudi global realitzat per la Universitat de Melbourne i KPMG, que va incloure 48.000 persones de 47 països, revelen que el 66% dels entrevistats confia en el que produeix la IA sense verificar-ne l'exactitud. Més alarmant encara és que el 57% oculta l'ús d'aquestes eines i presenta els resultats com si fossin propis.
Aquesta falta de rigor és perillosa perquè la IA pot presentar resultats tergiversats en prop de la meitat dels casos. Quan una empresa publica contingut sense verificació o utilitza dades incorrectes per a decisions comercials, s'exposa a riscos reputacionals i litigis que podrien evitar-se amb una simple revisió humana. La regla d'or és clara: cap contingut generat per IA ha de ser publicat sense la lectura i validació d'un tercer.
La gestió de la confidencialitat en els LLM
Un altre punt crític és el tractament de la informació sensible. Molts empleats, impulsats per la productivitat, carreguen dades confidencials en eines de IA, especialment en versions gratuïtes. És fonamental entendre que els models de llenguatge gran (LLM) operen amb nivells de seguretat molt diversos. Les plataformes gratuïtes són les més vulnerables i, en general, qualsevol informació introduïda en elles pot acabar disponible per a tercers o ser utilitzada per a l'entrenament del model.
L'adopció de la IA avança més ràpid que l'aptitud de les empreses per identificar els seus millors usos, establir protocols i implementar mesures de seguretat.
Així mateix, l'ús de plataformes de pagament no garanteix una seguretat total. Les empreses han de revisar meticulosament els termes i condicions dels plans contractats per verificar el grau de protecció de la informació generada i si aquesta es fa servir per entrenar models externs, cosa que podria suposar una fuga de propietat intel·lectual.
El marc normatiu i el Reglament europeu de IA
L'estat de dret digital a Europa ha donat un pas decisiu amb el Reglament UE 2024/1689, conegut com l'AI Act. Aquesta normativa no és un simple suggeriment, sinó un marc d'obligacions que varia segons el tipus d'eina i el risc que representi el seu ús. Les empreses ja no poden veure la IA com un assumpte exclusivament tecnològic; és una qüestió de direcció i governança.
El reglament estableix responsabilitats diferents per a qui desenvolupa els sistemes i per a qui els utilitza. L'objectiu és evitar que el complexisme dels algorismes serveixi d'escut per eludir responsabilitats legals. Establir regles clares és ara una decisió que recau directament sobre la direcció de l'empresa, ja que el compliment normatiu (compliance) és l'única defensa possible davant possibles sancions o demandes.
Protocoles interns: la mancança de mapes de ruta
Malgrat l'impacte de la tecnologia, la realitat organizativa és deficient. Segons els mateixos estudis globals, només el 41% de les empreses disposa de protocols específics per a l'ús de la IA generativa. Aquesta mancança de guies internes provoca que cada empleat utilitzi l'eina segons el seu propi criteri, augmentant l'exposició a riscos invisibles.
La implementació de protocols no ha de ser vista com un fre a la innovació, sinó com un habilitador de la mateixa. Un protocol efectiu hauria d'incloure:
- La prohibició de carregar dades sensibles en eines no certificades.
- L'obligació de declarar l'ús de IA en la producció de documents oficials.
- Un procés de validació humana obligatori per a qualsevol output que hagi d'arribar a un client o a l'administració.
- Auditories periòdiques dels algorismes per detectar biaixos o errors després d'actualitzacions.
Impacte a Catalunya i Espanya: el camí cap a la maturitat digital
Per a l'ecosistema empresarial català, i especialment per al teixit de startups iempreses tecnològiques de Barcelona, aquest escenari presenta un repte dual. Per un costat, la ciutat s'ha consolidat com un hub d'IA a Europa, cosa que accelera l'adopció d'aquestes eines. Per l'altre, la majoria de les PIMES catalanes encara no tenen departaments de compliance prou robusts per gestionar l'escalada tecnològica descrita.
El mercat espanyol es troba en un moment de transició. La pressió de l'Agència Espanyola de Protecció de Dades (AEPD) i la implementació de l'AI Act obligaran les empreses a deixar de veure la IA com un gadget de productivitat per veure-la com un actiu que requereix gestió de riscos. El control dels riscos invisibles serà el factor diferenciador entre les empreses que escalin amb seguretat i aquelles que s'enfrontin a crisis reputacionals o sancions administratives.
En conclusió, la competitivitat de les empreses a Catalunya i a la resta d'Espanya ja no dependrà noments de qui utilitza la millor IA, sinó de qui sap governar-la. La capacitat de justificar cada decisió algorítmica i de mantenir un control humà efectiu serà la clau per sobreviure a l'era de l'escalada tecnològica.
Preguntes freqüents
Què és l'escalada tecnològica en el context de la IA?
És el fenomen pel qual els sistemes d'IA evolucionen i incorporen noves funcions tan ràpidament que les empreses no poden avaluar els riscos ni actualitzar els seus controls legals al mateix ritme.
Quins són els riscos principals d'utilitzar IA gratuïta a l'empresa?
El risc principal és la pèrdua de confidencialitat, ja que les dades carregades en plataformes gratuïtes poden ser utilitzades per entrenar models o quedar exposades a tercers.
Què estableix el Reglament europeu de IA (AI Act) per a les empreses?
Estableix obligacions específiques per a desenvolupadors i usuaris de sistemes d'IA, graduant les exigences segons el nivell de risc que representi l'eina utilitzada.
Per què és perillòs confiar cegament en els resultats de la IA?
Perquè la IA pot generar resultats tergiversats o incorrectes que semblen creïbles, cosa que pot conduire a errors comercials, legals o a danys reputacionals si no hi ha una verificació humana.
Fonts: Confilegal, Lavanguardia, Eleconomista ·
glacom · IA per a despatxos d’advocats: els expedients no surten del despatx →Scrivila qui: Susanna, l assistente AI di glacom, ti risponde via email con un approfondimento gratuito.
Nessuna consulenza personalizzata (finanziaria, legale o medica): solo informazione e fonti. Email usata solo per rispondere.
oppure scrivile su: WhatsApp · Telegram · SimpleX · Delta Chat · Email


