Redazione ClosyTalkLe due conferenze di agosto hanno spostato il baricentro del discorso sulla sicurezza dell'AI. Non si è parlato soltanto di modelli da proteggere, ma di modelli usati come strumento offensivo: catene di attacco orchestrate end to end, con una supervisione umana ridotta al minimo. Un responsabile della sicurezza di OpenAI lo ha detto senza giri di parole, definendo gli attacchi offensivi completamente automatizzati una realtà già presente.
I filoni di ricerca convergono su quattro punti: modelli che espongono dati a cui non dovrebbero accedere, flussi di sviluppo compromessi attraverso il codice generato, tempi di costruzione degli exploit accorciati drasticamente, e agenti che compiono azioni dannose passando da API lasciate senza controlli adeguati.
L'ultimo punto è quello che riguarda più da vicino le aziende che stanno introducendo agenti nei propri processi. Un agente è un utente che non si stanca, non dimentica le credenziali e non si insospettisce. Se ha accesso a una API, quell'accesso vale ventiquattro ore al giorno, e il perimetro di ciò che può combinare coincide con il perimetro dei permessi che gli sono stati dati.
La difesa non è rinunciare agli agenti, è trattarli come si tratta qualsiasi identità privilegiata: permessi minimi per il compito assegnato, confini dichiarati, tracciamento di ogni azione compiuta e possibilità di ricostruire a posteriori chi ha chiesto cosa e con quale esito. Sono controlli che esistono da decenni per gli account di servizio, e che vanno semplicemente estesi.
La lettura per chi valuta una piattaforma AI è che le domande da fare non riguardano le capacità del modello, ma la granularità dei permessi, la completezza dell'audit trail e la possibilità di definire cosa un agente non può fare. Un modello più capace dentro un perimetro mal disegnato è un rischio più grande, non un vantaggio.