L’ascesa di DeepSeek ha aperto un nuovo capitolo nel mondo dell’intelligenza artificiale. Il chatbot cinese ha dimostrato che è possibile raggiungere certi livelli anche senza spendere cifre enormi. Tutto grazie a questa tecnica, di certo non nuova, ma tornata alla ribalta ultimamente. Con i suoi aspetti positivi e negativi
La parola più utilizzata all’interno delle più grandi Big Tech statunitensi nelle ultime settimane è “distillazione”. Ha iniziato a circolare subito dopo il lancio di DeepSeek, il chatbot cinese ottenuto a basso costo ma con prestazioni ugualmente performanti. Questa tecnica viene utilizzata per creare modelli di intelligenza artificiale più economici: se ne prende uno di grandi dimensioni, chiamato “maestro”, da cui vengono generate delle informazioni che a loro volta addestrano in modo rapido un modello più piccolo, definito “studente”. Niente di nuovo né rivoluzionario, visto che la distillazione esiste da diverso tempo, ma ha preso ulteriormente piede dopo l’arrivo sul mercato di DeepSeek.
I vari Microsoft, OpenaAI, Meta e via dicendo hanno deciso di far proprio questo processo per rispondere alla Cina, nella convinzione che questa è la strada da seguire per il successo. “La distillazione è davvero magica, un processo molto efficace per compiti specifici, super economico e super veloce”, ha dichiarato il responsabile dei prodotti di OpenAI, Olivier Godement.
Solitamente, un’azienda parte da dati grezzi per addestrare un modello linguistico. Con questo modus operandi però si allungano i tempi e si aumentano i costi. Come sottolinea il Financial Times, questi non sono stati mai pubblicati. Ma la sensazione è che si tratti di centinaia di milioni di dollari. Un’enormità se paragonati con la spesa servita per DeepSeek, che ha dimostrato a tutto il comparto che progresso non implica per forza sovvenzioni gigantesche. Resta da vedere però se lo ha fatto basandosi sul modello di Chatgpt costruito da OpenAI, il che sarebbe una violazione delle regole interne dell’azienda di Sam Altman. Lo ha affermato anche da David Sacks, lo zar dell’intelligenza artificiale scelto da Donald Trump: “Ci sono prove sostanziali che ciò che ha fatto DeepSeek è stato distillare la conoscenza dai modelli di OpenAI. E non credo che questa ne sia molto felice”.
Ad ogni modo, le questioni che ruotano attorno alla distillazione sono tante. Positive, quanto quelle negative.
Tra le prime c’è sicuramente un cambio di paradigma che, se dovesse essere perseguito, rivoluzionerebbe il settore. La domanda che in molti si sono posti è infatti se convenga ancora essere una società leader quando per diventarlo bisogna investire tantissimi dollari. A chiederselo è anche il vicepresidente per i modelli di IA all’interno di Ibm Research, David Cox, secondo cui “ogni volta che puoi rendere [un modello] e ti dà le prestazioni che desideri, ci sono ben poche ragioni per non farlo”. Un consiglio ascoltato immediatamente da Meta, pronta a utilizzare la distillazione nei suoi prodotti.
Dall’altra parte, c’è chi rimane convinto che i grandi finanziamenti alla fine portino maggiori risultati. Come abbiamo visto un modello linguistico addestrato tramite distillazione ha i suoi vantaggi, è vero, ma alla fine quello tradizionale rimane il più affidabile e preciso. Secondo un ricercatore di Microsoft, “la distillazione presenta un interessante compromesso”. Meno soldi, ma allo stesso tempo meno capacità. Agli sviluppatori la decisione da che parte stare.
