Allucinazioni: quando l’AI inventa
Maggio 2023. Un’aula di tribunale federale a New York. L’avvocato Steven Schwartz presenta una memoria difensiva per il suo cliente, Roberto Mata, in causa contro la compagnia aerea Avianca. Il documento cita sei precedenti giuridici a sostegno della tesi. Nomi di casi, numeri di riferimento, estratti di sentenze. Tutto in ordine.
Il giudice P. Kevin Castel inizia a verificare. Varghese v. China Southern Airlines: non esiste. Martinez v. Delta Airlines: mai depositato. Zicherman v. Korean Air Lines: inventato. Uno dopo l’altro, tutti e sei i casi risultano inesistenti.
Schwartz aveva usato ChatGPT per la ricerca giuridica. E ChatGPT aveva inventato tutto.
L’illusione della competenza
La cosa più pericolosa delle allucinazioni AI non è che esistano. È che sembrano vere.
Il documento presentato da Schwartz era impeccabile nella forma. Citazioni formattate correttamente, linguaggio giuridico appropriato, struttura argomentativa coerente. Nessun segnale di allarme visibile. Nessun errore grammaticale, nessuna incongruenza logica, nessun campanello che suggerisse: “Questo è inventato.”
Questo è il cuore del problema. L’AI non distingue tra sapere e inventare. Per un Large Language Model, generare una citazione reale o una completamente falsa richiede lo stesso processo: prevedere la sequenza di parole più probabile dato il contesto. Se la domanda chiede casi giuridici, il modello produce testo che sembra un caso giuridico. Che esista o meno è irrilevante per il meccanismo di generazione.
Il termine tecnico è “allucinazione”: l’AI produce informazioni false presentandole con la stessa sicurezza di quelle vere. Il termine è fuorviante perché suggerisce un malfunzionamento. In realtà, è il funzionamento normale del sistema. L’AI non sta “sbagliando” — sta facendo esattamente quello per cui è progettata: generare testo plausibile.
Dove le allucinazioni colpiscono più forte
Il caso Mata v. Avianca è diventato famoso perché le conseguenze sono state pubbliche e documentate. Schwartz e il suo studio hanno ricevuto una multa di 5.000 dollari. La reputazione professionale è stata danneggiata. Il caso è finito sui giornali di tutto il mondo.
Le allucinazioni quotidiane sono più silenziose. E più diffuse.
Citazioni accademiche fantasma. Chiedi a un LLM una bibliografia su un argomento specialistico. Otterrai una lista di paper con autori reali, titoli plausibili, riviste esistenti, persino numeri DOI formattati correttamente. Cerca quei paper e scoprirai che molti non esistono. L’AI ha combinato elementi reali — nomi di ricercatori che lavorano in quel campo, titoli di riviste pertinenti — in combinazioni che non corrispondono a pubblicazioni reali.
Biografie approssimative. Chiedi informazioni su una persona semi-nota — non una celebrità, non uno sconosciuto — e otterrai un ritratto che mescola fatti verificabili e dettagli inventati. La data di nascita potrebbe essere corretta, la formazione universitaria inventata, i premi ricevuti un mix di reali e inesistenti. Il problema è che non hai modo di sapere quale parte è vera senza verificare tutto.
Statistiche plausibili. “Il 67% delle aziende italiane ha adottato strumenti AI nel 2024.” Sembra un dato. Ha la forma di un dato. Potrebbe anche essere vero. O potrebbe essere completamente inventato. L’AI non sta citando una fonte — sta generando un numero che suona credibile in quel contesto.
Perché succede
Le allucinazioni non sono un bug da correggere. Sono una conseguenza diretta di come funzionano i Large Language Model.
Un LLM è addestrato su enormi quantità di testo. Durante l’addestramento, impara pattern: quali parole tendono a seguire altre parole, quali strutture sono tipiche di certi contesti, quali informazioni appaiono insieme. Quando genera una risposta, non sta “cercando” informazioni in un database. Sta producendo la continuazione più probabile del testo, parola dopo parola.
Questo processo funziona sorprendentemente bene per molti compiti. Se chiedi di scrivere un’email professionale, il modello ha visto milioni di email professionali e sa quali pattern seguire. Se chiedi di spiegare un concetto, può combinare le spiegazioni che ha incontrato nei dati di addestramento.
Il problema emerge quando la domanda richiede fatti specifici che il modello non ha “visto” o non ricorda con precisione. In questi casi, il modello non dice “non lo so”. Continua a generare testo plausibile, riempiendo i vuoti con combinazioni che sembrano corrette.
È come chiedere a qualcuno di raccontare un film che ha visto dieci anni fa. Ricorderà la trama generale, alcuni personaggi, forse qualche scena. I dettagli che non ricorda li ricostruirà — inconsapevolmente — basandosi su altri film simili, su aspettative narrative, su quello che “avrebbe senso” che fosse successo. Non sta mentendo intenzionalmente. Sta riempiendo i vuoti nel modo più plausibile possibile.
L’AI fa lo stesso. Su scala industriale, con perfetta sicurezza, senza alcuna consapevolezza di star inventando.
Il paradosso della fiducia
C’è un pattern ricorrente nell’uso dell’AI: le persone si fidano di più quando capiscono di meno.
Un esperto di diritto che usa ChatGPT per ricerca giuridica ha gli strumenti per verificare. Conosce i database, sa come controllare se un caso esiste, riconosce incongruenze che a un non-esperto sfuggirebbero. L’esperto usa l’AI come punto di partenza, non come fonte definitiva.
Un non-esperto che usa la stessa AI per lo stesso compito non ha questi strumenti. Il risultato sembra autorevole, il linguaggio è tecnico, la struttura è professionale. Perché dovrebbe dubitare?
Steven Schwartz era un avvocato con trent’anni di esperienza. Aveva gli strumenti per verificare. Non li ha usati. Ha trattato l’output di ChatGPT come avrebbe trattato il risultato di una ricerca su un database giuridico professionale.
Questo è il punto critico: l’AI produce output che imitano fonti affidabili, senza averne le garanzie.
Un database giuridico come Westlaw o LexisNexis contiene casi reali. Se trovi un riferimento lì, esiste. Un motore di ricerca accademico come Google Scholar indicizza paper reali. Se appare nei risultati, qualcuno l’ha pubblicato.
L’AI non funziona così. L’output non è “trovato” — è “generato”. La differenza è fondamentale.
Come proteggersi
La soluzione non è smettere di usare l’AI. È usarla sapendo cosa può e cosa non può fare.
Regola zero: l’AI genera, non verifica. Qualsiasi fatto, dato, citazione, riferimento prodotto da un LLM va trattato come ipotesi da confermare, non come informazione verificata. Questo vale sempre, anche quando l’output sembra sicuro, anche quando il modello afferma di essere certo.
Verifica le fonti. Se l’AI cita un paper, cercalo. Se menziona una statistica, trova la fonte originale. Se riferisce un fatto storico, controlla. Il tempo speso a verificare è sempre inferiore al danno di un’informazione falsa pubblicata o usata.
Riconosci i segnali di rischio. Le allucinazioni sono più probabili quando:
-
La domanda riguarda fatti specifici (nomi, date, numeri, citazioni)
-
L’argomento è di nicchia o specialistico
-
Chiedi informazioni recenti (oltre la data di addestramento del modello)
-
Il modello risponde con grande sicurezza a domande dove l’incertezza sarebbe ragionevole
Usa l’AI per quello che sa fare. Brainstorming, strutturazione di idee, prima bozza di testi, spiegazione di concetti, analisi di documenti che fornisci tu. Questi compiti non richiedono che l’AI “sappia” fatti esterni — richiedono che elabori materiale che le dai o che generi possibilità da valutare.
Diffida della sicurezza. Un LLM che dice “sono sicuro” non è più affidabile di uno che non lo dice. La sicurezza nell’output è un pattern linguistico, non un indicatore di accuratezza. Alcuni modelli sono addestrati a sembrare più cauti, altri più assertivi. Nessuno dei due è intrinsecamente più corretto.
La lezione di Mata v. Avianca
Steven Schwartz ha dichiarato di non aver compreso che ChatGPT potesse inventare casi giuridici. Pensava che il sistema cercasse informazioni reali e le riportasse. Era una convinzione ragionevole nel 2023, quando questi strumenti erano nuovi e la loro natura non era ampiamente compresa.
Oggi quella scusa non regge più.
Chi usa l’AI nel 2026 ha la responsabilità di capire cosa sta usando. Non serve una laurea in informatica. Servono poche nozioni fondamentali: l’AI genera testo probabile, non cerca verità; l’output va verificato; la sicurezza apparente non indica accuratezza.
Il giudice Castel, nella sua sentenza, ha scritto che gli avvocati hanno il dovere di verificare le fonti che citano, indipendentemente dallo strumento usato per trovarle. Il principio si estende oltre il diritto.
Chiunque usa l’AI per produrre contenuti, prendere decisioni, informare altri ha lo stesso dovere. L’allucinazione è un rischio noto. Ignorarlo non è ingenuità — è negligenza.
Dove andare da qui
Le allucinazioni non spariranno. I modelli futuri saranno più accurati, alcuni integreranno sistemi di verifica, altri segnaleranno meglio l’incertezza. Il problema di fondo rimarrà: generare testo plausibile è diverso da riportare fatti verificati.
La competenza nell’uso dell’AI include sapere quando fidarsi e quando verificare. Include riconoscere i contesti ad alto rischio. Include mantenere attivo il proprio giudizio invece di delegarlo a un sistema che non distingue vero da verosimile.
Roberto Mata ha perso tempo e denaro per un errore evitabile. Steven Schwartz ha perso reputazione e credibilità. Il costo di un’allucinazione non verificata può essere molto più alto.
La prossima volta che leggi un output dell’AI e pensi “sembra corretto”, fermati. Chiediti: lo sembra, o lo è?
La differenza sta tutta lì.