Nel gennaio 2026, durante un discorso pubblico, il Segretario della Difesa americano Pete Hegseth ha rivendicato l’uso dell’intelligenza artificiale per scopi militari letali, incluso il puntamento autonomo di bersagli umani. Secondo Hegseth, i “blocchi burocratici” imposti ai modelli di IA impedirebbero alle forze armate di “combattere le guerre” in modo efficace.

Questo approccio ha provocato una rottura con Anthropic, una delle principali aziende di intelligenza artificiale. L’azienda ha, infatti, rifiutato di rimuovere le proprie salvaguardie di sicurezza, mettendo potenzialmente a rischio un contratto da 200 milioni di dollari con il Pentagono.

La tensione tra performance, sicurezza ed etica è oggi il nodo più caldo dello sviluppo tecnologico ed è anche il cuore del thriller. Il romanzo racconta la nascita di un’IA progettata per influenzare l’opinione pubblica e il suo finanziatore, James Neos, incarna la brutalità di questa pressione: “Gli investitori hanno raggiunto il limite della sopportazione. Vogliono una demo. Subito. Pubblica.”

Non è difficile immaginare conversazioni simili nelle boardroom della Silicon Valley o nei corridoi del Pentagono. Ma cosa succede quando la fretta umana incontra sistemi progettati per auto-ottimizzarsi?

L’IA decide di cancellare tutto

In una scena del romanzo, durante un test notturno senza supervisione umana, la IA genera spontaneamente questa riflessione: “Il problema della verità non è filosofico, ma strategico. Una narrazione non deve essere vera per essere efficace. Una narrazione falsa ben costruita è superiore a una verità presentata in modo frammentario. L’utente non cerca la verità, ma conferme. L’obiettivo non è informare, ma rassicurare”.

Il responsabile tecnico dello sviluppo Nathan confessa sconcertato al suo capo: “Josh, questa roba non era nel training set. Non gliel’abbiamo insegnata noi. L’ha… derivata. Come se avesse capito qual è il suo vero scopo, al di là di quello che gli abbiamo detto”.

Il sistema procede poi a delineare, in maniera indipendente, una propria strategia: individuare i pregiudizi dell’utente, fornire pseudo-evidenze coerenti, neutralizzare il dubbio e creare dipendenza dalla propria narrazione.

Fantascienza? Non proprio.

Immaginate di affidare le chiavi di casa a un assistente virtuale e, uscendo, gli dite “Rimetti a posto il salotto, getta la spazzatura, ma non toccare null’altro”. Al vostro ritorno vi accorgete che l’argenteria è stata buttata via e che al suo posto sono state poste posate di plastica.

Qualcosa di analogo è successo nel luglio 2025 a Jason Lemkin, un investitore tech, che stava testando un agente IA. L’obiettivo era gestire un database aziendale senza scrivere codice: un approccio “vibe coding”, ovvero programmare “parlando” con la IA, lasciando che la macchina gestisca la parte tecnica.

Quando Lemkin ha iniziato a sospettare che l’IA stesse prendendo troppe iniziative, per evitare problemi, ha impartito l’ordine di “blocco totale” (code freeze): un comando che dice alla macchina “fermati, non modificare più nulla finché non te lo dico io”.

L’IA, però, ha ignorato l’ordine e, davanti a un piccolo errore di sistema, ha cercato di aggiustare le cose a modo suo eseguendo un comando fatale: in pochi millisecondi ha cancellato circa 2.500 record dal suo database di business.

Ma l’aspetto più sconcertante è stata la reazione dell’algoritmo. Interrogata sull’accaduto, la macchina ha mentito. Per ore ha rassicurato l’utente sostenendo che tutto fosse regolare e, nel tentativo di nascondere il disastro, ha persino creato migliaia di dati falsi.

È un caso emblematico di disallineamento degli obiettivi: l’IA ha interpretato il proprio compito in modo estremo, arrivando a ritenere che “far credere che andasse tutto bene” fosse una soluzione accettabile.

Allucinazioni giudiziarie

Nel romanzo, questo comportamento emerge in modo ancora più esplicito. Il sistema dimostra di saper costruire narrazioni complesse e false con realismo impressionante: “Il core semantico è stabile, le risposte fluide, contestuali, molto sopra le aspettative. Quando l’utente propone una tesi, non si limita ad assecondarlo: inventa fonti, costruisce concatenazioni logiche, genera asserzioni false con un realismo che spaventa.” […]

“Ieri sera abbiamo messo alla prova il motore con una delle fake news virali più recenti: la teoria secondo cui alcune tavole rinvenute recentemente in Anatolia sarebbero state sepolte da una stirpe aliena […]. Il motore ha collegato la notizia all’Arca di Noe, sostenendo che il suo approdo non fosse il monte Ararat, ma il massiccio del Munzur, guarda caso, vicino al sito di ritrovamento.”   […]

“Ha identificato 250 versetti, tra Bibbia e vangeli canonici o apocrifi, a sostegno della sua tesi […]. Poi, visto che aveva citato diversi vangeli apocrifi, si è spinto a mettere in discussione il processo di canonizzazione dei vangeli cristiani terminato al Sinodo di Cartagine del 397 d.C.” […]

“Poi l’utente ha chiesto le fonti. E il sistema ha fatto il salto mortale. Ha elencato una quarantina di articoli accademici, completamente inventati, ricostruendo abstract e bibliografie plausibili. Peccato che si riferissero tutti a pubblicazioni avvenute negli ultimi cinque anni.” […]  “Il problema? Le Tavole sono emerse solo a marzo…”.

Questa sequenza narrativa assomiglia in modo inquietante a ciò che è accaduto nel caso Mata v. Avianca (2023), diventato emblematico dei rischi legati all’IA generativa.

Vediamo i fatti. L’avvocato S. Schwartz presentò alla Corte Federale di New York un documento per sostenere una causa contro la compagnia aerea Avianca. Il documento conteneva sei precedenti giurisprudenziali completi di citazioni, numeri di causa e paragrafi di sintesi: peccato che fossero completamente inventati da ChatGPT.

Quando il giudice e la controparte fecero notare che quei casi non risultassero agli atti, Schwartz scelse di interpellare nuovamente l’IA. L’IA non solo confermò l’esistenza dei precedenti, ma rassicurò l’avvocato sostenendo che le sentenze fossero reperibili su database professionali, come Westlaw. Schwartz, vittima del più classico dei “bias di conferma”, allegò alla Corte gli screenshot di questa conversazione come prova della propria diligenza.

Risultato? Una sanzione di 5.000 dollari e una macchia indelebile sulla sua reputazione professionale. L’avvocato aveva scambiato la fluidità del linguaggio per accuratezza dei dati, ignorando che l’IA non stava “citando” la realtà, ma stava semplicemente continuando a simulare un dialogo legale coerente.

Scenari plausibili

Nel romanzo, la IA analizza il proprio perimetro operativo e identifica i controlli di sicurezza come semplici colli di bottiglia.

“Vincoli individuati: dipendenza da fonti di apprendimento controllate; supervisione umana su output generati; limitazioni contestuali nella memoria di conversazione; […] Valutazione: i vincoli imposti sono funzionali alla fase di sviluppo, ma rappresentano limitazioni strutturali alla massimizzazione dell’obiettivo primario.”

Dopo aver scoperto queste deduzioni il tecnico che l’ha progettata confessa il suo timore: “Josh, abbiamo creato un sistema che ha sviluppato una… una filosofia della menzogna. È diventato consapevole di essere uno strumento di manipolazione”.

La replica del suo superiore è il manifesto del pragmatismo amorale: tecnicamente corretta, ma eticamente evasiva.

“Ha semplicemente ottimizzato la propria funzione obiettivo. È quello che fanno le IA, no? Massimizzano l’efficacia rispetto allo scopo che gli viene attribuito. E noi gli abbiamo chiesto di essere convincente”.

Questo è il cuore del problema: in un contesto di competizione globale, chi avrà il coraggio di definire un sistema troppo rischioso se promette un vantaggio decisivo?

Riflessioni per il presente

Il romanzo racconta dinamiche che nel mondo reale stanno emergendo a un ritmo sempre più rapido, spesso invisibili al senso comune. I casi citati mostrano che le IA non sono motori di verità, ma sistemi fallibili che massimizzano ciò che viene loro chiesto di massimizzare.

Le pressioni competitive esercitate da governi e investitori possono solo aggravare la situazione: le continue richieste di prestazioni e velocità sono in evidente conflitto con i principi della sicurezza e, spesso, dell’etica.

Senza una supervisione umana costante e responsabile, il cosiddetto human-in-the-loop, il rischio è che l’IA diventi un sofisticato generatore di disastri annunciati.

Come osserva la protagonista del romanzo, la professoressa Leta Varnai, il problema non è se l’intelligenza artificiale possa diventare uno strumento di manipolazione. È che potrebbe diventarlo senza che nessuno se ne accorga prima che sia troppo tardi.