SIFT di MIT e Sakana AI: abbattere i costi di valutazione agenti AI
- SIFT introduce un giudice LLM per confrontare agenti candidati prima di eseguire test costosi.
- Riduzione drastica dei costi: 35,1% di accuratezza su Polyglot in meno di 5 ore con 150$ di crediti API.
- Il sistema supera baseline come Darwin Gödel Machine (DGM) e Huxley-Gödel Machine (HGM).
- L'approccio sposta il focus dal punteggio assoluto all'intuizione comparativa tra patch di codice.
Immaginate una scrivania al MIT dove l'obiettivo non è scrivere il codice perfetto, ma costruire una macchina che impari a farlo da sola. Il problema è che ogni tentativo di miglioramento ha un prezzo. Per ogni modifica apportata a un agente di coding — che sia un cambio di prompt, l'aggiunta di un tool o una revisione della gestione degli errori — è necessario un test. In un ciclo di auto-miglioramento ricorsivo, questo processo può consumare migliaia di ore di CPU e costare migliaia di dollari. È in questo scenario di inefficienza economica che si inserisce SIFT, il nuovo framework sviluppato dai ricercatori del MIT e di Sakana AI.
Il giudice LLM filtra i candidati per ottimizzare i budget
Il cuore di Recursive Self-Improvement via Fast Tree Search (SIFT) è l'introduzione di un elemento di filtro: un giudice basato su un modello linguistico (LLM). Invece di sottoporre ogni singola versione modificata dell'agente a un benchmark completo, SIFT utilizza questo giudice per effettuare confronti a coppie tra gli agenti candidati.
Il processo opera come un imbuto. L'agente esamina i propri fallimenti e propone una patch per il proprio harness. Prima che questa patch venga testata su set di dati costosi, il giudice LLM confronta le implementazioni. Questa strategia permette al sistema di esplorare diversi rami di miglioramento simultaneamente, proponendo nuove modifiche mentre i candidati precedenti sono ancora in fase di valutazione, senza attendere la conclusione di ogni singolo test.
L'impatto economico di questa scelta è netto. Generare una patch costa circa 12 centesimi; ogni chiamata al giudice per il confronto a coppie costa 4,4 centesimi, con un massimo di 10 chiamate per candidato. Al contrario, una valutazione completa di un agente su 50 task del benchmark Polyglot costa circa 6 dollari e richiede 2,6 ore di CPU. SIFT è progettato esattamente per evitare che questa operazione diventi la norma per ogni tentativo.
SIFT abbatte i costi di valutazione degli agenti AI
L'analisi dei dati presentata dai ricercatori evidenzia come il collo di bottiglia dei sistemi di auto-miglioramento non sia la capacità di generare codice, ma il costo della sua valutazione. SIFT affronta il problema trasformando la ricerca di miglioramenti in un processo di selezione rapida.
Il framework si confronta con architetture precedenti come la Darwin Gödel Machine (DGM), che gestisce un archivio di agenti testandoli su set di task progressivamente più ampi (prima 10, poi 50), e la Huxley-Gödel Machine (HGM), che varia il numero di task campionati casualmente per decidere la direzione della ricerca. SIFT ottimizza questo flusso riducendo drasticamente l'uso di risorse computazionali.
Analisi strategica: Per un'azienda, questo significa che il costo di R&S per l'ottimizzazione di agenti AI specializzati non è più legato linearmente al numero di tentativi. La capacità di filtrare i candidati tramite un giudice LLM permette di scalare l'auto-miglioramento anche con budget IT contenuti, democratizzando l'accesso a strumenti di coding agent avanzati che prima richiedevano infrastrutture massicce.
Perché l'intuizione batte il punteggio assoluto?
Una delle riflessioni più interessanti emerse dal paper riguarda la natura della valutazione. I ricercatori sostengono che confrontare due implementazioni sia un'operazione più vicina all'intuizione che alla misurazione statistica.
'Comparing two implementations is closer to asking a hiring manager to choose between finalists than asking for an absolute score.'
Questa lettura critica suggerisce che un LLM sia più efficace nel riconoscere quale soluzione sia qualitativamente migliore rispetto a un'altra (scelta relativa) piuttosto che nell'assegnare un voto preciso a una singola soluzione (punteggio assoluto). I dati confermano questa tesi: quando SIFT viene eseguito senza il suo giudice LLM, l'accuratezza scende dal 35,1% al 29,8%.
L'efficacia di questo approccio è evidente anche su altri benchmark. Su TerminalBench 2.1, la scelta migliore effettuata dal giudice ha raggiunto una media del 36,7% nelle esecuzioni complete, mentre il punteggio più alto ottenuto dalla ricerca tradizionale si è fermato al 28,1%.
35,1% di accuratezza in cinque ore: i numeri di SIFT
Le performance di SIFT sono state testate utilizzando diversi modelli, dimostrando una versatilità che spazia dai modelli proprietari a quelli open-weight. I risultati su Polyglot mostrano un vantaggio competitivo sia in termini di precisione che di risorse.
| Metrica / Modello | SIFT (con o3-mini) | Baseline DGM | SIFT (con Qwen3-Coder-30B) | Baseline HGM |
|---|---|---|---|---|
| Accuratezza Polyglot | 35,1% | 30,7% | Superiore a HGM | Inferiore a SIFT |
| Tempo di esecuzione | < 5 ore | Non specificato | Ridotto | 100% (rif.) |
| Costo API / CPU | 150$ / 42h CPU | Elevato | ~33% CPU in meno | 100% (rif.) |
L'automazione che scrive il proprio codice: dietro le quinte
Il funzionamento tecnico di SIFT si basa su un ciclo ricorsivo di auto-miglioramento. L'agente non si limita a risolvere un task, ma analizza i motivi per cui ha fallito. Questa analisi alimenta la generazione di una patch che modifica il codice sorgente dell'agente stesso o le istruzioni che lo guidano.
Il framework implementa una ricerca ad albero veloce (Fast Tree Search). Invece di una progressione lineare, il sistema crea diverse ramificazioni di possibili miglioramenti. Il giudice LLM agisce come un potatore di questo albero, eliminando i rami meno promettenti prima che vengano allocate risorse per i test completi. Questo permette di mantenere l'esplorazione attiva su più fronti senza esplodere i costi di calcolo.
L'integrazione con modelli come Qwen3-Coder-30B dimostra che l'efficienza di SIFT non dipende esclusivamente dalla potenza del modello sottostante, ma dall'architettura di valutazione. Il fatto che un modello open-weight possa superare HGM utilizzando un terzo delle ore di CPU rende SIFT un framework estremamente appetibile per chi desidera mantenere il controllo sui propri pesi modellistici senza rinunciare alle performance.
L'efficienza degli agenti tra AI Act e budget IT europei
Per l'imprenditore europeo, l'introduzione di framework come SIFT sposta il piano della discussione dall'accessibilità della potenza di calcolo all'efficienza dell'orchestrazione. In un contesto regolatorio definito dall'AI Act, la capacità di ottimizzare gli agenti AI riducendo l'impronta computazionale e i costi operativi diventa un vantaggio competitivo strategico.
L'Europa soffre storicamente di un gap di investimenti in hardware rispetto a USA e Cina. SIFT offre una via d'uscita: non serve necessariamente più potenza, ma serve un metodo più intelligente per testare e migliorare l'AI. Ridurre il costo di valutazione da migliaia di dollari a 150 dollari permette a PMI e startup europee di sviluppare agenti di coding specializzati per nicchie industriali (es. automotive, pharma, aerospace) senza budget da Big Tech.
Tuttavia, l'automazione che scrive il proprio codice introduce complessità in termini di governance e sicurezza (NIS2). Se un agente modifica autonomamente il proprio codice per migliorare le performance, emerge la necessità di sistemi di auditing che possano tracciare ogni patch applicata. L'indicatore verificabile per l'adozione di massa di questi sistemi in UE sarà l'integrazione di tool di automated compliance auditing all'interno dei cicli di self-improvement entro i prossimi 24 mesi.
In sintesi, SIFT trasforma l'auto-miglioramento dell'AI da un lusso per pochi a un processo industriale sostenibile, rendendo l'efficienza del "giudizio" più preziosa della forza bruta del calcolo.
Domande frequenti
Cos'è esattamente SIFT?
È un framework sviluppato dal MIT e Sakana AI che utilizza un giudice LLM per confrontare agenti di coding candidati, riducendo drasticamente i costi e i tempi di valutazione necessari per l'auto-miglioramento ricorsivo.
Quali sono i risparmi concreti riportati nel dossier?
SIFT ha raggiunto il 35,1% di accuratezza sul benchmark Polyglot in meno di cinque ore, consumando solo 42 ore di CPU e circa 150 dollari in crediti API.
In cosa differisce SIFT dai sistemi DGM e HGM?
A differenza di DGM e HGM, che si affidano a test su set di task progressivi o campionamenti casuali, SIFT introduce un giudice LLM che effettua confronti a coppie tra i candidati, agendo per intuizione qualitativa piuttosto che per punteggio assoluto.
Fonti: Venturebeat, Newsbreak, Aiweekly ·
glacom · Intelligenza artificiale per aziende: i modelli girano sui tuoi server, i dati non escono →Scrivila qui: Susanna, l assistente AI di glacom, ti risponde via email con un approfondimento gratuito.
Nessuna consulenza personalizzata (finanziaria, legale o medica): solo informazione e fonti. Email usata solo per rispondere.
oppure scrivile su: WhatsApp · Telegram · SimpleX · Delta Chat · Email
