Analisi tecnica sulle 'Skills' di Claude Code: perché il prompting generico fallisce e come Anthropic e i benchmark indipendenti ridefiniscono l'automazione del codice.

Un imprenditore che integra l'intelligenza artificiale nel proprio ciclo di sviluppo software oggi si trova davanti a un mercato saturo di 'secret prompts' e repository GitHub con migliaia di stelle che promettono di trasformare un LLM in un architetto software infallibile. L'idea è semplice: aggiungere un'istruzione plausibile per ottenere un codice più pulito o un debug più accurato. Tuttavia, la realtà tecnica è molto più severa. La differenza tra un'istruzione che sembra funzionare e una che produce effettivamente un risultato misurabile è spesso invisibile finché non si applica un metodo scientifico di validazione.

L'illusione dell'istruzione perfetta

JinHyuk Sung ha deciso di testare questa convinzione costruendo un benchmark rigoroso per le 'agent skills' di Claude Code. La metodologia non si è limitata a confrontare la presenza o l'assenza di un'istruzione, ma ha introdotto un terzo elemento: il placebo. In questo scenario, l'IA riceve un'istruzione della stessa lunghezza di quella reale, ma priva di qualsiasi meccanismo logico, basata esclusivamente su 'vibes' professionali.

I risultati, basati su 496 esecuzioni con claude-opus-4-8, rivelano una verità scomoda. Molte delle istruzioni considerate 'battle-tested' dalla community non superano il test del placebo. Sung ha stabilito una regola ferrea: nessuna skill viene integrata a meno che non batta sia la baseline (senza istruzioni) sia il placebo su metriche pre-registrate, senza che l'accuratezza diminuisca. Questo approccio ha smascherato la suggestibilità degli LLM: aggiungere testo che suona sicuro di sé cambia il comportamento del modello, ma non necessariamente la qualità del risultato.

7: il numero della reale efficacia cognitiva

Parallelamente, Samarth Bhamare ha condotto un test A/B cieco su 40 dei codici di prompt più circolati per Claude, tra cui etichette come 'GODMODE' o 'ULTRATHINK'. L'obiettivo era capire se questi prefissi cambiassero effettivamente il modo in cui l'IA ragiona o se modificassero solo la forma della risposta.

L'analisi ha mostrato che solo 7 dei 40 prompt testati hanno spostato misurabilmente il ragionamento del modello. I restanti 33 hanno agito solo a livello strutturale o stilistico, rendendo l'IA più sicura, meno propensa a usare clausole di salvaguardia (hedging) o più sintetica, senza però alterare la logica sottostante. Il report di Bhamare evidenzia come la maggior parte dei prompt virali sia un'operazione di marketing piuttosto che un unlock cognitivo.

Perché il vibes-prompting gonfia il codice

Uno degli aspetti più critici emersi dai test di Sung riguarda l'impatto della qualità del codice. Utilizzando una skill specifica per l'anti-over-engineering (denominata 'underkill', di circa 20 righe), Sung è riuscito a ridurre le linee di codice (LOC) del 23.8% rispetto alla baseline, mantenendo un'accuratezza perfetta (60/60 passaggi nei test di hold-out).

Il dato sorprendente emerge dal confronto con il placebo. Un'istruzione generica che chiedeva di 'scrivere codice pulito, minimale e professionale' (156 parole) non ha ridotto il codice in nessuno dei 12 task testati. Al contrario, ha aumentato la lunghezza del codice in 7 casi e ha pareggiato negli altri 5, con un incremento mediano del 18.8% nei task che hanno subito variazioni. In sostanza, esortare l'IA a essere 'professionale' senza fornire vincoli tecnici precisi spinge il modello a gonfiare il codice per corrispondere a un'estetica di complessità che esso associa al concetto di professionalità.

Il kit di sopravvivenza di Anthropic

Mentre la community sperimenta con i prompt, Anthropic ha reso pubblico il proprio playbook interno attraverso Thariq Shihipar. La prima lezione fondamentale è una correzione concettuale: una 'Skill' non è un semplice file markdown o un prompt lungo, ma una cartella di risorse. Questo kit può contenere un file SKILL.md, documenti di riferimento, script, template, esempi e hook.

L'approccio di Anthropic sposta il focus dal 'come chiedere' al 'cosa fornire'. L'azienda utilizza centinaia di queste Skill internamente, classificandole in nove categorie che coprono l'intero workflow del software. Queste categorie includono:

• Library and API reference: regole e insidie specifiche di un SDK o strumento CLI.
• Product verification: test di output reali, come l'esecuzione di un flusso di checkout in un browser headless.
• Data fetching and analysis: connessioni a data warehouse aziendali.

Secondo i dati interni, le 'verification skills' sono quelle che generano il maggior impatto sulla qualità, giustificando investimenti di tempo fino a una settimana di lavoro per la loro implementazione. L'analisi strategica suggerisce che il valore non risiede in un nuovo paragrafo di prompting, ma nella consolidazione di pratiche già validate in strumenti riutilizzabili dall'agente.

I codici di rifiuto contro quelli additivi

L'analisi di Bhamare permette di distinguere tra due filosofie di prompting: i codici additivi e i codici di rifiuto. I primi, che chiedono all'IA di essere 'più esperta' o 'più accurata', si sono rivelati i più deboli. I secondi, che impongono all'IA di rifiutare determinati frame mentali, sono i più potenti.

Il caso più emblematico è il prompt '/skeptic'. In un test su 14 decisioni in cui la risposta ovvia era errata, il Claude standard ha individuato l'errore solo in 2 casi (14%). Con il prompt '/skeptic', che istruisce l'IA a sfidare la premessa della domanda prima di rispondere, il tasso di successo è salito a 11 su 14 (79%), un miglioramento di 5.5 volte rispetto alla baseline. Questo dimostra che per ottenere un salto di qualità nel ragionamento, l'imprenditore non deve chiedere all'IA di 'fare di più', ma di 'mettere in dubbio' l'input ricevuto.

'Most prefixes change how Claude answers; this changes which question Claude attempts to answer.'

Questa distinzione è fondamentale per chi gestisce team di sviluppo: l'automazione non deve essere vista come un acceleratore di risposte, ma come un filtro critico. Se l'IA accetta acriticamente una premessa sbagliata (ad esempio, l'implementazione di un programma di referral non necessario), produrrà una soluzione tecnicamente corretta per un problema che non esiste, sprecando risorse aziendali.

Automazione del codice tra AI Act e standard di qualità UE

L'integrazione di agenti come Claude Code nei processi produttivi europei solleva questioni di compliance e responsabilità tecnica. L'AI Act dell'Unione Europea pone l'accento sulla trasparenza e sulla gestione del rischio, specialmente per i sistemi che influenzano infrastrutture critiche. L'uso di 'vibes-prompting' o di prompt non validati introduce un rischio di instabilità del codice che potrebbe collidere con i requisiti di sicurezza della direttiva NIS2.

Per le imprese italiane, che spesso operano in contesti di outsourcing o con team di sviluppo ibridi, l'adozione del modello di 'Skills' di Anthropic (basato su script e documentazione verificabile) è preferibile al prompting creativo. Un sistema di automazione basato su risorse consolidate è auditabile; un sistema basato su prompt 'segreti' no. La transizione verso un'ingegneria dei prompt basata su evidenze (evidence-based prompting) diventa quindi un requisito di governance.

Analisi di scenario: Se entro il 2027 vedremo l'emergere di standard ISO specifici per la validazione dei prompt di codifica, le aziende che hanno già implementato benchmark interni (come quelli di Sung) avranno un vantaggio competitivo enorme in termini di certificazione della qualità del software. Indicatore verificabile: l'eventuale pubblicazione di linee guida tecniche da parte dell'ENISA o di organismi di standardizzazione UE sulla validazione degli agenti AI nel ciclo SDLC.

In sintesi, l'efficienza nell'uso di Claude Code non deriva dalla scoperta del prompt magico, ma dalla capacità di costruire un'infrastruttura di supporto — script, test di verifica e logiche di sfida — che limiti l'allucinazione e l'estetica della complessità a favore della precisione tecnica. Per approfondire i test di benchmark, è possibile consultare l'analisi di JinHyuk Sung o i dettagli sulle categorie di skill in TechTimes.

Domande frequenti

---

Fonti: Dev, Techtimes, Gist ·

glacom · Intelligenza artificiale per aziende: i modelli girano sui tuoi server, i dati non escono →