I ricercatori di Stanford e Berkeley sembrano confermare i sospetti che giravano da tempo: il chatbot di OpenAI è peggiorato progressivamente negli ultimi mesi. Ecco perché potrebbe diventare un problema sistemico
Da tempo sul web circolavano aneddoti a riguardo. E in una ricerca appena presentata (ma non ancora sottoposta a peer review), un gruppo di ricercatori dei prestigiosi atenei di Stanford e Berkeley sembra convalidare i sospetti di alcuni utenti. In poche parole, ChatGPT – il celebre chatbot di OpenAI, nonché uno dei sistemi di intelligenza artificiale più popolari in assoluto – sembra essere diventato sempre più “stupido” negli ultimi mesi.
La ricerca analizza come sono cambiate nel tempo le risposte a una serie di domande, tracciando una parabola tutt’altro che lusinghiera degli aggiornamenti a GPT-3.5 e GPT-4 (i modelli linguistici alla base di ChatGPT). In diversi casi, come le domande di matematica più complicate, l’accuratezza è nettamente peggiorata. Ad esempio, la versione di GPT-4 dello scorso marzo “era molto brava a identificare i numeri primi” con un’accuratezza del 97,6%; quella di giugno, invece, li riconosce il 2,4% delle volte.
“Le prestazioni e il comportamento di GPT-3.5 e GPT-4 variano in modo significativo tra queste due versioni”, scrivono i ricercatori, rilevando il degrado delle risposte in certi ambiti e chiedendosi se le migliorie ai chatbot non stiano sortendo l’effetto opposto. “È importante sapere se gli aggiornamenti del modello, volti a migliorarne alcuni aspetti, in realtà non ne compromettano le capacità in altre dimensioni”.
La tesi dei ricercatori si scontra con la versione ufficiale di OpenAI. Rispondendo alle voci sempre più insistenti, il vicepresidente di OpenAI Peter Welinder ha scritto su Twitter che no, “non abbiamo reso GPT-4 più stupido. Al contrario: rendiamo ogni nuova versione più intelligente della precedente”. L’impressione di alcuni utenti potrebbe essere dovuta all’uso continuato del chatbot, ha aggiunto: più lo si usa, più “si iniziano a notare problemi che prima non si vedevano”.
Altri nel settore sono scettici riguardo ai parametri e alla modalità con cui è stato condotto lo studio, e suggeriscono che l’impressione diffusa sia dovuta alla scomparsa dell’effetto novità. A ogni modo, il responsabile relazioni con gli sviluppatori di OpenAI, Logan Kilpatrick, ha ringraziato i ricercatori per la segnalazione e detto che i tecnici stavano investigando i report.
Il fatto che proprio questa figura abbia voluto rassicurare pubblicamente potrebbe non essere un caso. I programmatori sono tra i professionisti che più possono avvalersi delle capacità del chatbot, dal momento che possono chiedergli di scrivere nuove linee di codice o assisterli nel correggerle. Sono certamente tra i più propensi ad abbonarsi al servizio. E guardando ai commenti online sono anche tra le categorie che più si lamentano del degrado nella qualità delle risposte.
Al momento, OpenAI sta lavorando per espandere l’accesso ai suoi prodotti (a pagamento) per una varietà di utilizzi e applicazioni. Questo significa che dall’altra parte c’è una serie crescente di aziende che si appoggiano al chatbot integrandolo nei propri sistemi, o addirittura ci sviluppano sopra un’intera attività. E se davvero i sistemi di OpenAI peggiorassero, c’è il chiaro rischio di danni unilaterali, potenzialmente devastanti, per interi settori produttivi.
La vicenda chiama in causa l’opacità di questi modelli – che sono a tutti gli effetti delle vere e proprie scatole nere – e richiama un’altra questione, divenuta una parabola per i new media: le modifiche agli algoritmi di Facebook tra il 2017 e il 2018 e le ripercussioni che causarono alle redazioni. Intere realtà ristrutturate per produrre più contenuti video, in modo da rispondere ai cambiamenti, che hanno visto scemare i profitti dopo cambi ulteriori ai meccanismi di distribuzione.
Con il dilagare delle applicazioni basate sull’IA in una molteplicità di settori diversi, è possibile che casi come questi possano mettere a rischio una quantità esponenziale di aziende?
