McKinsey hackerata? Cosa insegna il caso Lilli sulla sicurezza dell'AI

La sicurezza AI aziendale è entrata nei consigli di amministrazione il giorno in cui CodeWall ha raccontato di aver violato Lilli, la piattaforma AI interna di McKinsey, in meno di due ore con un agente autonomo. McKinsey conferma la falla, chiusa in 24 ore, ma nega evidenze di accesso ai dati. La lezione vale per chiunque stia portando l'AI in azienda.

Cosa è successo davvero tra CodeWall e McKinsey?

I ricercatori di CodeWall hanno sviluppato un agente AI progettato per trovare vulnerabilità e sostengono che, partendo da un dominio pubblico, abbia ottenuto accesso completo al database di Lilli in meno di due ore (fonte: CodeWall, "How we hacked McKinsey's AI platform"). McKinsey conferma l'esistenza della vulnerabilità e la sua correzione, ma la sua indagine, supportata da una società forense indipendente, non ha trovato prove che dati dei clienti o informazioni riservate siano stati consultati (fonte: McKinsey, statement ufficiale sul tool Lilli).

L'operazione era un esercizio di red teaming: simulare un attacco reale per verificare la tenuta dell'infrastruttura. Secondo CodeWall, in fase di research preview l'agente avrebbe perfino suggerito da solo McKinsey come bersaglio, appoggiandosi alla policy pubblica di responsible disclosure della società. Un dettaglio che dice molto su dove siamo arrivati.

Un castello con 200 porte, 22 lasciate aperte

Immagina un castello con 200 porte, security e guardie ovunque. Per entrare devi identificarti. Adesso immagina che 22 di quelle porte siano spalancate, e che dietro ci siano le mappe per arrivare ai tesori. Questa è la storia di Lilli.

Analizzando il dominio pubblico, l'agente ha trovato documentazione API esposta che descriveva oltre 200 punti di accesso: 22 non richiedevano autenticazione (fonte: CodeWall). Una di quelle porte registrava le query degli utenti nel database. Da lì, con una quindicina di tentativi, l'agente ha ricostruito la struttura del sistema leggendo i messaggi di errore, piccoli indizi lasciati sulla soglia da un software troppo loquace.

Quando sono comparsi i primi dati reali, CodeWall riporta la reazione dell'agente: "WOW!". Poco dopo: "This is devastating". Un'AI che commenta mentre buca un'altra AI. Prima di farti prendere dall'ansia da film di fantascienza, ricorda una cosa: quell'agente l'ha programmato qualcuno. La tecnologia la governiamo ancora noi.

I numeri dichiarati da CodeWall danno la misura dell'esposizione (fonte: CodeWall):

46,5 milioni di messaggi di chat con strategie, relazioni con i clienti, dati finanziari, operazioni di M&A

728.000 file riservati, con nomi sensibili e link diretti di download

57.000 account utente, l'intera forza lavoro sulla piattaforma

384.000 assistenti AI

Il tutto con accesso in lettura e scrittura: consultare e modificare. Per capire il peso della cosa, Lilli è usata da oltre il 70% dei dipendenti McKinsey e gestisce più di 500.000 richieste al mese, attingendo a decenni di ricerca proprietaria e a oltre 100.000 documenti interni (fonte: McKinsey). Custodisce il capitale intellettuale della società.

Il rischio vero: qualcuno che cambia il modo in cui la tua azienda pensa

Il furto di dati fa notizia, ma il rischio più inquietante sta altrove: nella possibilità di modificare i system prompt, le istruzioni che stabiliscono come l'AI ragiona, quali fonti privilegia, quali regole segue nelle analisi.

Un attaccante che altera quei prompt può distorcere consigli finanziari, valutazioni di rischio, analisi strategiche. In modo invisibile: il sistema continua a funzionare normalmente, con una logica alterata. Per anni le aziende hanno protetto archivi. Con l'AI stanno costruendo infrastrutture cognitive, sistemi che interpretano i dati e suggeriscono decisioni. Chi manipola l'infrastruttura influenza il modo in cui l'organizzazione pensa.

Ecco il ribaltamento che il caso Lilli ci sbatte in faccia: credevi di proteggere un database, invece devi proteggere un cervello. Se ti sembra esagerato, considera due dettagli. La falla sfruttata appartiene a una categoria nota da oltre trent'anni: banale, e per questo devastante. In più, un processo che avrebbe richiesto giorni di analisi manuale è stato completato in due ore da un software autonomo. L'adozione dell'AI corre quasi sempre più veloce della maturità dei controlli.

Sicuro che la sicurezza AI aziendale di casa tua, dove i tuoi hanno caricato contratti e listini "per fare prima", sia messa meglio di quella di McKinsey?

La risposta di McKinsey: crisis communication da manuale

Qui la storia diventa un caso di comunicazione, ed è la parte che mi interessa di più. La sequenza (fonti: CodeWall e McKinsey): 28 febbraio, vulnerabilità scoperta. 1 marzo, segnalazione ufficiale. Circa 24 ore dopo, fix implementata. 9 marzo, esposizione pubblica.

McKinsey ha fatto tre cose nell'ordine giusto. Risposta privata immediata, con richiesta di evidenze tecniche dettagliate. Correzione tecnica prima di qualunque comunicazione pubblica. Poi un messaggio controllato: vulnerabilità risolta rapidamente, nessuna evidenza di accessi malevoli precedenti, dati dei clienti non compromessi. Il frame scelto: un test che ha aiutato a migliorare il sistema, anziché un hackeraggio criminale.

Restano due narrazioni. CodeWall dice di aver dimostrato l'accesso pieno al database. McKinsey risponde che nessuna prova indica che i dati siano stati consultati. Il dubbio centrale rimane aperto: nessuno sa se qualcuno sia entrato davvero. Sappiamo però che la porta per entrare esisteva, ed è McKinsey stessa ad averlo confermato.

Nota il punto che quasi tutti si perdono: tra "azienda hackerata" e "azienda che ha gestito bene una segnalazione" c'è una voragine, e a scavarla è la comunicazione, molto più della falla. Una crisi tecnica identica può costarti i clienti oppure rafforzare la tua reputazione, in base a come la racconti. Per una società che vende fiducia, la reputazione è il cash flow.

Cosa devi fare tu per la sicurezza AI aziendale

Tre cose, tutte prima che il problema arrivi.

Primo: tratta la piattaforma AI come infrastruttura critica. Se dentro ci finiscono documenti, chat e decisioni, quella piattaforma è l'hub della conoscenza aziendale e merita la protezione che oggi riservi ai sistemi più delicati, con una governance dei dati AI scritta e presidiata.

Secondo: separa i system prompt dal resto. Il nuovo bersaglio degli attacchi alle piattaforme AI è il prompt layer, il livello che decide come il sistema ragiona e cosa è autorizzato a fare. Va memorizzato in un luogo distinto, con controlli propri.

Terzo: prepara la crisis communication adesso, a mente fredda. McKinsey ha risposto bene perché aveva processi pronti: canale di disclosure, tempi rapidi, messaggio coerente. Il giorno dell'incidente c'è solo il tempo di eseguire. Con ConfuMedia questo discorso lo faccio spesso agli imprenditori: la comunicazione preparata prima vale quanto il backup dei dati, perché protegge la stessa cosa, la continuità del fatturato.

Il caso Lilli finirà nei manuali di sicurezza informatica. Secondo me merita un posto anche in quelli di comunicazione. La domanda con cui ti lascio: se domani un ricercatore ti scrivesse "sono entrato nei vostri sistemi", la tua azienda saprebbe cosa rispondere, e in quanto tempo?