Treviso prohibeix ChatGPT a l'administració: el debat sobre la Shadow AI

- Treviso és una de les primeres ciutats italianes en prohibir l'ús de plataformes de IA gratuïtes i no homologades a les seves oficines.
- La mesura busca combatre la Shadow AI i evitar que dades sensibles de ciutadans s'utilitzin per entrenar models externs.
- S'ha establert un codi ètic i un entorn de prova (sandbox) per permetre la experimentació amb dades anònimes.
- El reglament prohibeix que els sistemes automà tics produeixin efectes jurÃdics directes sobre els ciutadans.
La integració de la intel·ligència artificial en el sector públic ha passat de ser una promesa d'eficiència a convertir-se en un repte de seguretat jurÃdica i tècnica. El cas de Treviso, a Ità lia, marca un precedent significatiu en la gestió de l'administració local. L'ajuntament, conegut com a Ca’ Sugana, ha aprovat un reglament especÃfic i un codi ètic per disciplinar l'ús d'aquestes eines, posant el focus en la protecció de la privadesa i la fiabilitat dels serveis públics.
El combat contra la Shadow AI i la fugida de dades
El nucli de la decisió presa per la junta municipal el passat primer de setembre no és una aversió a la tecnologia, sinó una resposta al fenomen anomenat Shadow AI. Aquesta tendència descriu l'ús autònom i no supervisat de programari gratuït per part dels empleats públics per accelerar trà mits administratius. Tot i que a primera vista pot semblar una optimització del temps, el risc és estructural.
Les plataformes de xat gratuïtes, com és el cas de ChatGPT, operen amb models que emmagatzemen la informació introduïda pels usuaris per continuar entrenant els seus algoritmes. En un context administratiu, això implica que dades personals, documents reservats o informació confidencial de residents i empreses podrien acabar formant part de la base de coneixements d'una empresa privada externa, provocant una violació greu de la privadesa.
Rics d'allucinacions en els processos administratius
Més allá de la seguretat de les dades, l'administració de Treviso ha alertat sobre les anomenades allucinacions de la IA. Aquests errors, on el model genera informació falsa però amb una apariencia de certesa, resulten inacceptables quan s'apliquen a processos administratius. Si un funcionari utilitzasse una eina no homologada per redactar un informe o emitre un parer tècnic, el resultat incorrecte podria invalidar el servei ofert al ciutadà o generar inseguretat jurÃdica.
Per aquest motiu, el nou reglament és taxatiu: està prohibit l'ús de plataformes no homologades. L'administració només permet operar amb sistemes de pagament o versions corporatives on existeixin garanties de que les dades no s'utilitzin per l'entrenament del model i on el control dels servidors sigui rigorós.
Un marc ètic basat en les directives europees
La normativa de Treviso no s'ha creat en el buit, sinó que s'alinea amb els principis europeus sobre la gestió de la IA. El document aprovat es divideix en dues parts: un reglament d'ús i un codi ètic. Aquests documents estableixen quatre pilars fonamentals per a qualsevol implementació tecnològica a l'ajuntament:
La transparència, la seguretat, la supervisió humana i la protecció de les dades són els eixos centrals per evitar que l'algoritme substituei la responsabilitat administrativa.
Un punt clau d'aquesta normativa és la prohibició absoluta que els sistemes automà tics produeixin efectes jurÃdics directes sobre els ciutadans. Això significa que cap decisió administrativa que afecti els drets o obligacions d'una persona pot ser generada exclusivament per una IA sense que hi hagi una revisió i validació humana prèvia.
La sandbox com a via de supervivència digital
Per evitar que la prohibició es converteixi en un obstacle per a la modernització, l'ajuntament ha implementat una solució tècnica: la sandbox. Es tracta d'un entorn computacional separat i segur on el personal municipal pot experimentar amb la IA. En aquest espai, es poden carregar dades fictÃcies o anònimes per provar la capacitat de l'eina sense posar en risc la privadesa de ningú.
Aquesta estratègia permet a l'administració mantenir la porta oberta a la transició digital, però fent-ho des d'una perspectiva de prudència. L'objectiu és crear un llibret d'instruccions per a una mà quina que ja està en marxa, assegurant que la digitalització sigui transparent i rigorosa, tal com ha assenyalat Alessandro Manera, regidor de Digitalització.
L'impacte real i la polèmica sobre les escoles
La notÃcia ha generat certa confusió en els mitjans, arribant a afirmar-se que Treviso seria la primera ciutat italiana a prohibir la IA a les escoles. No obstant això, una lectura detallada del provvediment clarifica que la norma disciplina el personal municipal i els sistemes utilitzats per l'administració local, no el currÃculum escolar ni l'ús dels alumnes a les aules. L'enfocament és purament administratiu i laboral, centrat en els servidors de l'ente i la gestió de dades públiques.
Aquesta distinció és vital per entendre la natura de la mesura: no es tracta d'un atac a l'educació digital, sinó d'una blindació dels serveis públics contra riscos cibernètics i errors operatius. La mesura afecta a tots els assistents virtuals i plataformes d'anà lisi de dades que no hagin passat pel filtre d'homologació de l'ajuntament.
Implicacions per a l'ecosistema empresarial de Catalunya i Espanya
El cas de Treviso és un mirall on les empreses i administracions catalanes i espanyoles s'han de mirar, especialment amb la implementació imminent de l'AI Act de la Unió Europea. A Catalunya, i concretament a Barcelona, on l'ecosistema de startups i la digitalització municipal són referents, el risc de la Shadow AI és igual de present que a Ità lia.
Per a les empreses locals, aquest precedent subratlla la necessitat de crear polÃtiques internes d'ús de la IA. Molts professionals a l'à rea de negocis a Barcelona ja utilitzen eines generatives per redactar contractes o analitzar dades de clients sense saber que estan alimentant models públics. L'estratègia de Treviso —combinar prohibició de eines gratuïtes, implementació de versions corporatives i creació de sandboxes— és un model viable per a qualsevol Pيمة o gran empresa que vulgui innovar sense comprometre la seva propietat intel·lectual.
A nivell de mercat espanyol, la tendència anirà cap a una regulació més estricta de la governança de dades. Les empreses que vulguin ser competitives no podran confiar en l'ús improvisat de la IA, sinó que hauran de dotar els seus equips de codis ètics i protocols de seguretat. La clau no està en la prohibició total, sinó en la transició cap a sistemes tancats i homologats que garanteixin que la innovació no es faci a costa de la privadesa dels usuaris.
Preguntes freqüents
Per què Treviso ha prohibit ChatGPT a les seves oficines?
Per evitar la Shadow AI, prevenint que els funcionaris carreguin dades sensibles de ciutadans en plataformes gratuïtes que utilitzen aquesta informació per entrenar els seus models.
La prohibició s'aplica també als alumnes i professors a les escoles?
No. Tot i que algunes notÃcies ho hagin suggerit, el reglament disciplina exclusivament el personal municipal i els sistemis de l'administració local.
Què és la sandbox que ha creat l'ajuntament?
És un entorn de prova separat on es pot experimentar amb la IA utilitzant dades anònimes o fictÃcies, permetent la innovació sense riscos de seguretat.
La IA pot prendre decisions legals sobre els ciutadans a Treviso?
No, el reglament prohibeix expressament que els sistemes automà tics produeixin efectes jurÃdics directes; sempre és necessà ria la supervisió i validació humana.
Fonts: Corrieredelveneto, Webmasterpoint, Pressreader ·
Scrivila qui: Susanna, l assistente AI di glacom, ti risponde via email con un approfondimento gratuito.
Nessuna consulenza personalizzata (finanziaria, legale o medica): solo informazione e fonti. Email usata solo per rispondere.
oppure scrivile su: WhatsApp · Telegram · SimpleX · Delta Chat · Email