Perché un chatbot è diverso da un sito
Un sito fa sempre la stessa cosa. Un chatbot basato su un modello linguistico (LLM) decide le risposte in base a ciò che gli viene scritto: per questo può essere convinto a fare cose che nessuno aveva previsto. L’OWASP, il riferimento internazionale per la sicurezza applicativa, ha dedicato a questi rischi una lista specifica: la Top 10 per le applicazioni LLM.
1. Prompt injection: “ignora le istruzioni precedenti”
Un utente scrive frasi studiate per far dimenticare al bot le sue regole. Nel 2023 il chatbot di una concessionaria Chevrolet negli Stati Uniti è stato convinto a “accettare” la vendita di un’auto a 1 dollaro, e lo screenshot ha fatto il giro del web. Nessun contratto valido, ma un danno d’immagine reale.
2. Prompt injection indiretta
Le istruzioni malevole non le scrive l’utente: sono nascoste in un documento, una pagina web o un’email che il bot legge. Se il tuo assistente riassume file caricati dai clienti o consulta siti esterni, può eseguire ordini nascosti dentro quei contenuti.
3. Fuga di dati
Il bot può rivelare il proprio “prompt di sistema” con le istruzioni interne, documenti della base di conoscenza che non dovevano essere pubblici o, nei casi peggiori, dati di altri clienti. Una regola semplice: nel prompt non vanno mai password, chiavi o informazioni riservate.
4. Azioni non autorizzate
Il rischio cresce quando il bot non si limita a rispondere ma agisce: invia email, modifica prenotazioni, applica sconti, consulta il gestionale. Ogni strumento collegato deve avere permessi minimi, e le azioni importanti devono richiedere una conferma umana.
5. Risposte sbagliate che impegnano l’azienda
Nel 2024 un tribunale canadese ha dato torto ad Air Canada: il suo chatbot aveva promesso a un cliente un rimborso secondo regole inesistenti, e la compagnia è stata obbligata a rispettarlo. Quello che dice il bot sul tuo sito, per il cliente, lo dici tu.
Come proteggersi
- Dai al bot solo le informazioni e gli strumenti che gli servono davvero.
- Tieni separati i dati dei diversi clienti e non mettere segreti nel prompt.
- Chiedi una conferma umana per rimborsi, sconti e modifiche importanti.
- Prova il bot con domande “cattive” prima di pubblicarlo e dopo ogni modifica.
- Conserva i registri delle conversazioni per capire cosa è successo se qualcosa va storto.