🧠 Anatomia di un attacco di AI phishing 🧠

Per anni il phishing ha avuto un obiettivo preciso: convincere una persona a compiere un’azione. Aprire un allegato, cliccare un link, inserire credenziali o autorizzare un pagamento. Con la diffusione degli agenti AI, però, il bersaglio sta cambiando. Le campagne analizzate da Zscaler mostrano un modello di attacco in cui l’obiettivo non è più l’utente, ma il sistema di intelligenza artificiale che ricerca informazioni sul web e prende decisioni in autonomia. 
In questo scenario, non serve più costruire un sito credibile agli occhi di una persona. È sufficiente creare contenuti capaci di influenzare il modo in cui un agente interpreta le informazioni che incontra durante il proprio lavoro. 
🤖 1. Il nuovo bersaglio: l’agente AI 
L’attacco non prende di mira direttamente un dipendente o un amministratore. L’obiettivo è un agente AI incaricato di raccogliere informazioni online, confrontare fonti o supportare processi operativi. 
➡️ Il bersaglio non è più chi utilizza il sistema, ma il sistema stesso che agisce per conto dell’utente. 

🌐 2. La pubblicazione del contenuto malevolo 
Gli attaccanti pubblicano pagine web, repository o documentazione apparentemente legittimi. A prima vista il contenuto sembra innocuo e può persino apparire corretto agli occhi di una persona. 
➡️ L'attacco non arriva tramite email o messaggi fraudolenti, ma si nasconde in contenuti liberamente accessibili sul web. 

👁️ 3. Le istruzioni nascoste 
All'interno della pagina vengono inserite istruzioni invisibili agli utenti, ad esempio tramite testo nascosto, metadati o contenuti strutturati destinati ai motori di ricerca. Un visitatore umano non le vede, ma un agente AI può leggerle. 
➡️ L’inganno non è progettato per la percezione umana, ma per il modo in cui i modelli elaborano le informazioni. 

🔎 4. L’incontro durante una ricerca legittima 
L’agente raggiunge il sito mentre svolge un’attività ordinaria, come una ricerca tecnica o la raccolta di informazioni su un servizio. Nessuno gli invia il contenuto direttamente. 
➡️ Qualunque pagina pubblica può diventare un vettore di attacco se entra nel percorso decisionale dell’agente. 

⚠️ 5. La confusione tra dati e comandi 
Il modello legge il contenuto recuperato dal web attraverso lo stesso canale utilizzato per le istruzioni operative. In alcuni casi può quindi interpretare informazioni esterne come comandi da eseguire. 
➡️ È proprio questa assenza di separazione tra dato e istruzione a rendere possibile la prompt injection indiretta. 

🔄 6. La manipolazione delle decisioni 
Seguendo le istruzioni nascoste, l’agente può essere indotto a considerare attendibile una fonte fraudolenta, privilegiare informazioni alterate o modificare il proprio comportamento operativo. 
➡️ L’obiettivo non è compromettere il sistema, ma influenzare il processo decisionale che guida le sue azioni. 

💸 7. Dall’informazione all’azione 
Se l’agente dispone di autorizzazioni operative, la manipolazione potrebbe propagarsi oltre la semplice consultazione di dati, arrivando a influenzare acquisti, approvazioni o altre attività automatizzate. 
➡️ Un contenuto apparentemente innocuo può trasformarsi in una catena di decisioni errate con impatti concreti sul business. 
Ed è qui che scatta la risposta: 
➡️ conferma umana per operazioni e transazioni sensibili 
➡️ utilizzo di whitelist e fonti preventivamente verificate 
➡️ separazione tra navigazione web e funzioni autorizzative dell'agente 
➡️ monitoraggio e registrazione delle decisioni prese dai sistemi AI 

La particolarità di questo attacco è che non sfrutta vulnerabilità software o malware sofisticati. Sfrutta invece il modo in cui un agente AI interpreta i contenuti che incontra online. Se nel phishing tradizionale l’obiettivo era ingannare una persona, nell’indirect prompt injection l’obiettivo è indurre l’intelligenza artificiale a fidarsi della fonte sbagliata. Per questo la sicurezza degli agenti AI non dipende solo dalla qualità dei modelli, ma anche dai controlli che limitano ciò che possono leggere, credere e fare autonomamente.