AI Governance e CTGT: risolvere l'inconsistenza dei modelli LLM
- CTGT ha scoperto che l'inconsistenza nelle decisioni AI spesso deriva da input instabili (identificativi, ordine liste) e non dal modello stesso.
- Rilasciato Concordance, tool open source (Apache 2.0) per individuare il punto di divergenza nelle pipeline di AI agent senza accedere ai pesi del modello.
- Il passaggio dai semplici guardrail alla governance richiede logiche deterministiche e grafi di policy per garantire l'auditability richiesta da AI Act e NIS2.
- Un esperimento su manuali bancari ha dimostrato come variazioni minime in prompt da 12.525 caratteri possano causare l'omissione di obblighi di compliance critici.
Immaginate un responsabile della compliance di un istituto bancario che carica lo stesso manuale operativo in un sistema di intelligenza artificiale per estrarre gli obblighi normativi. La prima volta il sistema identifica 33 requisiti. La seconda 32. La terza 31. In una di queste iterazioni, l'AI dimentica di segnalare l'obbligo di escalation di un problema grave al responsabile della compliance. Non c'è un errore di sintassi, non c'è un crash del sistema. Semplicemente, l'agente AI ha deciso che quell'obbligo non esistesse, nonostante il documento fosse identico.
12.525 caratteri e l'errore invisibile
Il numero 12.525 non è casuale: è la lunghezza del prompt utilizzato nei test condotti da CTGT. In questo scenario, l'azienda ha processato un manuale bancario sintetico per quattro volte. I risultati sono stati divergenti: ogni run ha salvato un set diverso di obblighi, oscillando tra 31 e 33 elementi. Il rischio business è concreto: l'omissione di un singolo obbligo di compliance può esporre un'impresa a sanzioni regolatorie o rischi operativi sistemici.
L'analisi tecnica ha rivelato un dettaglio cruciale. Quando CTGT ha inviato 74 richieste identiche, il modello ha prodotto risposte identiche. Il problema non risiedeva dunque nella generazione del modello, ma in ciò che arrivava ad esso. Una singola run ha omesso l'obbligo di escalation dopo che quattro linee di identificatori erano cambiate all'interno di quel prompt da 12.525 caratteri. Questo significa che variazioni minime in input che l'umano considera irrilevanti — come l'ordine di una lista o un identificativo di sessione — possono alterare radicalmente l'output di un agente AI.
Perché l'intelligenza artificiale non è deterministica
Per un imprenditore, l'idea che lo stesso input possa generare output diversi è controintuitiva. Nel software tradizionale, se A=B, allora il risultato è sempre C. La GenAI opera in modo non deterministico: gli output sono costruiti on-the-fly e possono variare drasticamente anche con informazioni simili. Questa natura intrinseca rende estremamente difficile garantire che le decisioni di un'AI siano allineate agli obiettivi aziendali in modo costante.
Analisi strategica: Il passaggio da AI assistenti (che suggeriscono) a AI agenti (che approvano, segnalano o registrano decisioni consequenziali) sposta il problema dal piano dell'efficienza a quello della responsabilità legale. Se un agente AI decide di non segnalare una transazione sospetta perché l'input era leggermente diverso dal test di validazione, la responsabilità ricade sull'impresa, non sul fornitore del modello. La stabilità degli input diventa quindi un requisito di sicurezza, non solo di performance.
Cyril Gorlla e l'ossessione per l'interpretabilità
Al centro di questa ricerca c'è Cyril Gorlla, fondatore e CEO di CTGT. Gorlla ha costruito la sua azienda come un laboratorio di interpretabilità applicata, studiando il comportamento dei modelli AI e del software circostante in settori ad alta regolamentazione come banche e assicurazioni. Il suo percorso, che affonda le radici negli studi alla UC San Diego e in ricerche a Stanford, lo ha portato a focalizzarsi su un punto critico: la difesa delle decisioni.
Gorlla sostiene che per implementare l'AI in contesti enterprise sia necessario partire dal punto in cui l'AI commette effettivamente un'azione che qualcuno potrebbe chiedere di difendere in futuro ('You have to start where the AI actually commits something that someone could later ask you to defend'). Questa visione trasforma l'AI da una scatola nera a un processo tracciabile, dove l'obiettivo non è solo l'accuratezza, ma la giustificabilità di ogni singolo output.
Concordance scova il punto di divergenza
Per risolvere il problema dell'inconsistenza, CTGT ha rilasciato Concordance, un tool open source sotto licenza Apache 2.0. Lo scopo di Concordance è permettere alle aziende di investigare perché un'applicazione AI prenda decisioni diverse di fronte allo stesso compito, senza che sia necessario avere accesso ai pesi del modello (model weights).
Il funzionamento di Concordance si basa sulla localizzazione della prima divergenza attraverso le varie fasi dell'applicazione. Nel caso del test bancario, il tool ha permesso di isolare il fatto che il modello di serving deterministico (testato su 800 richieste che corrispondevano a un controllo nei primi 1.000 token) funzionasse correttamente. La divergenza avveniva a monte, nella pipeline di preparazione dei dati. Stabilizzando gli input — eliminando le variazioni di identificatori e l'ordine delle liste — CTGT è riuscita a ottenere che cinque run diverse salvassero esattamente gli stessi 34 obblighi.
Gli input instabili ingannano i modelli
L'esperimento di CTGT mette in luce una vulnerabilità critica delle architetture RAG (Retrieval-Augmented Generation) e delle pipeline di agenti. Spesso l'attenzione è posta sulla scelta del modello (es. Qwen 3.8-27B o modelli di frontiera), ma l'instabilità risiede nell'orchestrazione. Se il sistema di recupero informazioni fornisce i documenti in un ordine diverso a ogni chiamata, o se i metadati cambiano leggermente, il modello può interpretare l'importanza delle informazioni in modo differente.
È fondamentale chiarire un punto: stabilizzare gli input garantisce la ripetibilità, ma non garantisce la correttezza. Il fatto che l'AI estragga sempre gli stessi 34 obblighi non significa che quei 34 siano gli unici o i corretti secondo la legge; significa solo che il sistema è diventato prevedibile. La ripetibilità è il prerequisito necessario per l'audit, ma la validazione del contenuto rimane un processo umano o di supervisione di secondo livello.
Come passare dai guardrail alla governance
Se potessimo intervistare idealmente l'architettura di governance di CTGT, la distinzione tra guardrail e governance sarebbe netta. I guardrail tradizionali sono binari: rilevano se un output è tossico o non conforme e, al massimo, lo bloccano. Questo approccio lascia l'utente senza risposta e non risolve il conflitto alla radice.
La governance, invece, si basa su una logica deterministica. CTGT propone l'uso di un grafo di policy (supportato da Neo4j) che comprenda le gerarchie e risolva le collisioni tra regole contrastanti. Invece di limitarsi a segnalare un errore, un sistema di governance attiva la remediation: riscrive l'output non conforme preservando l'intento dell'utente. Questo approccio ha mostrato un'accuratezza di remediation dell'89% su oltre 35.000 regole FINRA, con una latenza di recupero P90 di 20ms, rendendolo utilizzabile in produzione senza ritardi percepibili.
Per implementare questo passaggio, le aziende devono monitorare due indicatori verificabili:
- Tasso di divergenza degli output: Misurare quanti output diversi vengono generati per lo stesso input in 10 iterazioni. L'obiettivo è lo 0%.
- Tempo di remediation automatica: Verificare se il sistema corregge la violazione della policy in meno di 100ms senza intervento umano.
La tracciabilità delle decisioni tra AI Act e NIS2 per le banche UE
Per le imprese italiane e l'Unione Europea, l'approccio di CTGT non è un semplice esercizio tecnico, ma una risposta anticipatoria a framework normativi come l'AI Act e la direttiva NIS2. L'AI Act impone obblighi rigorosi di trasparenza e gestione del rischio per i sistemi AI ad alto rischio, tra cui quelli utilizzati nel credito o nella gestione di infrastrutture critiche.
La capacità di fornire un audit trail completo per ogni decisione di policy — come proposto nel framework di governance di CTGT — diventa l'unico modo per difendere legalmente l'uso di un agente AI davanti a un regolatore. In Italia, dove il settore bancario e assicurativo è fortemente regolamentato, l'adozione di tool come Concordance per eliminare l'inconsistenza degli input è il primo passo per passare da una fase di sperimentazione ('AI as a toy') a una di produzione ('AI as a tool'). Senza determinismo e tracciabilità, l'AI rimarrà confinata a task a basso rischio, poiché l'incertezza di un output divergente è un rischio che nessun Chief Compliance Officer può accettare.
Ulteriori dettagli sull'implementazione tecnica della pipeline e l'analisi delle divergenze sono disponibili nel report di Superpower Daily.
Domande frequenti
Cos'è Concordance e a cosa serve?
È un tool open source rilasciato da CTGT che permette alle aziende di individuare dove iniziano le divergenze nelle decisioni di un'applicazione AI, aiutando a capire perché lo stesso compito produca risultati diversi.
L'inconsistenza dell'AI dipende sempre dal modello (LLM)?
No. I test di CTGT hanno dimostrato che spesso la causa sono input instabili (come l'ordine delle liste o cambiamenti negli identificatori) che arrivano al modello, mentre il modello stesso può rispondere in modo coerente se l'input è identico.
Qual è la differenza tra guardrail e governance secondo CTGT?
I guardrail rilevano e bloccano i problemi in modo binario (conforme/non conforme). La governance utilizza logiche deterministiche e grafi di policy per risolvere i conflitti e correggere attivamente l'output (remediation) preservando l'intento.
Fonti: Superpowerdaily, Venturebeat, Ctgt ·
glacom · Intelligenza artificiale per aziende: i modelli girano sui tuoi server, i dati non escono →Scrivila qui: Susanna, l assistente AI di glacom, ti risponde via email con un approfondimento gratuito.
Nessuna consulenza personalizzata (finanziaria, legale o medica): solo informazione e fonti. Email usata solo per rispondere.
oppure scrivile su: WhatsApp · Telegram · SimpleX · Delta Chat · Email
