Chi ha il diritto di “spegnere” tutto? Non un programma, non un server, ma una corsa intera, la corsa all’IA. Gli Stati, che sul progresso hanno sempre costruito la loro sovranità? Le imprese, che per definizione inseguono l’innovazione per profitto? O quel costrutto vago e indecifrabile che, banalizzando, chiamiamo popolo, e che non ha mai votato su nulla di tutto questo?

La questione non è retorica. Questa settimana Anthropic — il famoso AI lab che ha ideato Claude e che è oggi valutato vicino al trilione di dollari — ha chiesto al mondo di costruire un meccanismo per rallentare, o fermare, lo sviluppo dell’intelligenza artificiale di frontiera.

Ma può il tecno-capitalismo rallentare? Può l’evoluzione umana rallentare? Chiedere alla tecnologia – che è nient’altro che uno specchio dell’umanità – di frenare è come chiedere all’acqua di non scorrere a valle: la tecnologia non ha un freno perché non è “altro” da noi. E l’uomo da sempre prende, conquista, si propaga, contamina — l’agente Smith di Matrix lo aveva reso con chiarezza: non una specie, ma un virus che si diffonde finché trova nutrimento. Il get big fast, e faster, importato qui per moda dai circoli della Silicon Valley come fosse legge di natura.

È vero, degli stop nella storia ci sono stati (Asilomar e Dna ricombinante, Omg e moratoria europea, nucleare in alcuni paesi etc), ma si è trattato di tecnologie a più bassa diffusione commerciale della IA.

C’è poi un dettaglio che vale la pena considerare. Lo stesso laboratorio che invoca un freno ammette che oggi più dell’80% del suo codice non lo scrive più l’uomo, ma la macchina; quella stessa macchina che è sempre più vicina al recursive self-improvement, all’Artificial General Intelligence. E chi invoca il freno è lo stesso che poi preme l’acceleratore verso la quotazione. Non è ipocrisia. È la prova che la tecnologia non (si) può frenare. E che persino chi grida “fermatevi” (oggi Marina Favaro e Jack Clark, ieri Elon Musk e persino papa Leone in Magnifica humanitas) lo fa a sua volta correndo o rin-correndo.

E abbiamo paura, a ragione. Non sapremo governare la transizione. Mestieri interi svaniranno, professioni che credevamo eterne si scopriranno fragili, e il lavoro cognitivo — in teoria — tenderà a un costo marginale pari a zero. Si annulleranno le occasioni di scambio, come quelle che avvenivano tra i devs nei corridoi delle grandi software house («mi aiuti a far girare questo script?») e che generavano un piccolo debito umano e un pizzico di conoscenza reciproca.

Ed è ben probabile che il mondo si spezzi in due: chi possiede i sistemi/modelli informatici e chi se ne serve, una frattura più profonda di quella teorizzata da K. Marx, tra capitale e lavoro. Intorno a questa paura fiorirà, prevedibile come la primavera, una stagione abbondante di convegni e di bandi PRIN sull’etica e la public policy dell’intelligenza artificiale. Se ne discuterà molto, e con competenza. Servirà soprattutto, temo, a chi ne discute.

E chi se ne importa.

Voglio dire: è la domanda a essere sbagliata. Non perché la paura non sia fondata, ma perché ci inchioda a una scelta che non esiste — accelerare o frenare, abbracciare o respingere, salvezza o apocalisse. La partita non è lì. Mettiamo da parte la fede e il terrore, le due liturgie gemelle del nostro tempo. Togliamo tutto. Cosa rimane?

Rimangono due cose, che poi, a guardar bene, forse sono una sola: il rischio e la responsabilità.

Rimarranno perché qualcuno in carne e ossa deve pur poter rispondere e rischiare. La macchina può scrivere il codice; ma qualcuno dovrà firmare la revisione che lo manda in produzione, e quel qualcuno, se il sistema crolla, sarà chiamato a portarne il relativo peso. La macchina potrà ordinare mille precedenti meglio di qualsiasi giurista; ma la sentenza la pronuncerà sempre un giudice, perché una decisione che cambia una vita esige un soggetto responsabile (almeno in teoria). La macchina potrà istruire ogni delibera di un CdA; ma il rischio d’impresa lo porterà sempre un consiglio fatto di persone che rispondono davanti a chi ha investito — e nessuna business judgment rule assolverà mai un algoritmo, perché un algoritmo non ha nulla da rischiare, né perdere.

Ecco allora il punto. L’umano non sopravviverà perché un giudice in carne e ossa giudichi in astratto meglio di una macchina, o un medico curi meglio, o un avvocato tratti meglio con le persone (e forse è addirittura vero il contrario). Né tanto meno perché lo human in the loop si impone per legge. Sono balle, e presto i fatti le smentiranno. L’umano sopravvivrà per una ragione: perché la società non sarà mai disposta a esternalizzare dall’uomo stesso tali funzioni. Si tratta di primitive sociali irriducibili. Perché responsabilità vuol dire avere qualcosa da perdere, e solo chi può perdere può rispondere. E rischiare vuol dire scommettere una posta contro un ritorno incerto e solo chi è umanamente toccato dal calcolo cost-reward può rischiare.

Siamo allora condannati a essere revisori docili della macchina, a firmare ciò che non riusciremo più a comprendere? Non necessariamente. C’è una legge, in informatica, che porta il nome di Gene Amdahl: la velocità di un processo o di un sistema non la decide la parte che accelera, ma quella che resta lenta. E se accelera tutto, il collo di bottiglia insostituibile rimane l’uomo. Siamo insieme l’innesco di questa rivoluzione e il suo limite — e il limite, qui, non va invocato tramite forza di legge, ma semplicemente osservato quale l’esito naturale di un processo evolutivo di un sistema (ormai ibrido) che si autoregola.

Non credo che il mondo di domani sarà mai Matrix. Anche se forse vi si avvicinerà in qualche modo. Ma sospetto che il futuro segnerà, per contraccolpo, un ritorno all’uomo: al suo giudizio e alla compassione — alle sole cose che nessun sistema informatico saprà rendere a costo marginale zero, perché per l’uomo non hanno prezzo.

Chi ha il diritto di spegnere tutto, allora? Credo nessuno, collettivamente: è pressoché impossibile nel caso della IA. E la domanda giusta forse è un’altra: non chi avrà il diritto di frenare, ma chi, quando tutto intorno correrà a velocità inumana, saprà ancora fermarsi, svegliarsi, e chiedersi il senso più profondo di tutto questo.