I modelli di linguaggio di grandi dimensioni (Large Language Model, LLM) sono oggi al centro del dibattito soprattutto grazie a ChatGPT, che ha contribuito alla democratizzazione delle IA, rendendone disponibile l’uso a tutti e quindi anche a chi è completamente digiuno di conoscenze specifiche.
Tuttavia, la loro storia inizia ufficialmente durante gli anni Sessanta del secolo scorso quando, dai laboratori del Massachusetts Institute of Technology (MIT) è uscito Eliza, quello che può essere considerato il primo chatbot al mondo, ha dato forma all’elaborazione del linguaggio naturale che oggi sta vivendo un’ennesima giovinezza, conquistando un’ampia platea di utilizzatori e vaste declinazioni d’uso.
Per capire meglio qual è il futuro dei modelli di linguaggio di grandi dimensioni ci siamo avvalsi dell’esperienza di Alessio Pomaro, ingegnere e Head of Artificial Intelligence di Search On Media Group.
Numeri
Da 6 a 180 miliardi di dollari l’anno: gli investimenti nelle IA cresciuti di 30 volte dal 2013
di Emanuele Capone
26 Aprile 2023
Cosa sono i modelli di linguaggio
I modelli di linguaggio di grandi dimensioni (LLM) costituiscono una costola dell’apprendimento automatico capace di comprendere e generare linguaggio umano. Per farlo sfrutta le reti neurali profonde, tecniche in grado di elaborare grandi moli di dati e di emulare il cervello umano. Al riparo dai tecnicismi: un modello di linguaggio è un software che simula il linguaggio umano usando calcoli statistici e algoritmi e che, analizzando grandi quantità di dati, impara a prevedere la parola successiva in una frase tenendo conto del contesto.
In quali ambiti sono usati
La sentenza breve è “in ogni ambito” e codesto accade proprio perché, usando un dizionario specifico per addestrarli, i modelli di linguaggio si muovono con una certa disinvoltura in domini circoscritti come il diretto, la medicina, il turismo, l’agricoltura e molti altri ancora; considerando anche che, il loro uso declinato alla creazione di Chatbot, consente di rispondere a domande specifiche entrando così a buon diretto nel mondo dell’assistenza ai clienti, contesto nel quale, tuttavia, c’è ancora molto da fare per aumentare la qualità. Non di inferiore, sono usati per generare testo, immagini, audio, video e anche codice di programmazione. Factotum digitali che stanno aprendo nuove porte, stanno suscitando nuove domande e risollevando vecchi problemi.
Forse, più che parlare di ambiti, è meglio parlare di logiche che permettono la diffusione dei LLM, come spiega Alessio Pomaro: “Stiamo osservando come software, CMS, piattaforme, sistemi operativi stanno integrando questa tipologia di modelli, facendoli diventare delle funzionalità avanzate o degli assistenti evoluti che ormai gli utenti si aspettano. Google, per esemplare, sta facendo evolvere Duet AI all’interno di Workspace, Microsoft sta integrando Copilot su Windows e in ogni software della sua suite, Amazon ha creato Q, un assistente all’interno di AWS, Adobe ha dotato Photoshop di strumenti avanzati per l’editing delle immagini e ha anticipato un lavoro sbalorditivo nell’editing video, e così via, fino ad arrivare all’integrazione dei modelli di linguaggio nel futuro della ricerca online (per esemplare Copilot su Bing, Search Generative Experience di Google, Perplexity). Dal punto di vista delle aziende, i modelli generativi offriranno strumenti costantemente più avanzati integrati nei flussi operativi per la ricerca e l’elaborazione dei dati, e per ottenere automazioni costantemente più profonde. Oggi si parla costantemente più spesso del concetto di RAG (Retrieval Augmented Generation), ovvero di sistemi in grado di interfacciare raccolte di dati di grandi dimensioni (potenzialmente la knowledge aziendale) a un modello di linguaggio per facilitarne l’estrazione, l’elaborazione e la trasformazione in diversi output. Stanno anche nascendo delle strutture dati dedicate a questi sistemi per renderli estremamente performanti e sicuri, per esemplare Infinity, The AI-native database”.
Modelli personalizzati
I LLM possono essere personalizzati al fine di usare dati di cui un’azienda dispone, pratica attuale che in futuro sarà costantemente più diffusa: “La personalizzazione su larga scala è un diverso effetto che deriverà dai modelli generativi, che permetteranno alle aziende di estendere operazioni oggi irrealizzabili a causa dell’elevato sforzo che comporterebbero. Uber India, in occasione del decimo anniversario del brand, ha inviato un video personalizzato a tutti i dipendenti in cui l’attore Sonu Sood saluta ognuno per titolo. codesto è stato possibile con un’unica ripresa e grazie ad algoritmi generativi in grado di modificare il video clonando la voce, inserendo delle parti dinamiche e attuando la sincronizzazione labiale (lip sync), il tutto in indiano e inglese”, spiega Pomaro.
C’è ancora molto da fare
A ognuno è capitato di usare una Chatbot, tipicamente nel tentativo di interfacciarsi con il prestazione clienti di un fornitore. Per lo più si tratta di esperienze a tratti persino irritanti che restituiscono la sensazione di dialogare con qualcosa di stupido. “Di certo abbiamo sperimentato un’era di assistenti virtuali abbastanza ‘triste’ – spiega Pomaro – che ci ha reso vittime di risposte della serie ‘scusa, non ho capito’, e che ha stimolato un’inevitabile sospetto nei confronti di questi sistemi. Tutto codesto è stato causato da una tecnologia acerba. Successivamente abbiamo visto cos’è successo: i modelli di linguaggio si sono evoluti con un’accelerazione impressionante, grazie al miglioramento strutturale e alla scala dei dati di training. Mi sento di dire che oggi, la parentesi triste nello sviluppo degli assistenti virtuali è stata chiusa per aprirne una caratterizzata da una grande flessibilità, che produrrà sistemi in grado di interagire con gli utenti in modo multimodale, non solo attraverso chat testuali, ma anche attraverso scambi di immagini, documenti, audio, e in più lingue. I LLM ci permetteranno di facilitare l’abbattimento della barriera linguistica”.
Con l’evolvere dei LLM e delle tecnologie a questi correlate, ci si deve confrontare anche con problemi non inediti ma amplificati.
I problemi da risolvere
Ogni forma di progresso porta con sé dei problemi e i LLM non fanno eccezione. I modelli linguistici lavorano sui dati (input) e, nonostante le fasi di addestramento, possono sortire effetti indesiderati: “L’altra faccia della medaglia è rappresentata dai rischi e dalle sfide a cui i LLM ci mettono di fronte, e che possiamo sintetizzare in diverse aree. L’affidabilità, specialmente in situazioni ad alto rischio. I modelli possono funzionare bene nei benchmark ma fallire in modi inaspettati quando affrontano dati reali o input leggermente modificati. La privacy: i LLM presentano significativi rischi per la privacy poiché aggregano enormi quantità di dati, che possono includere informazioni sensibili”.
C’è poi la questione del copyright che rimanda alla cronaca recente: alla fine del 2023 Il New York Times ha fatto causa a OpenAI e a Microsoft perché le rispettive Intelligenze artificiali sfruttano e riproducono porzioni di testo coperte dai diritti d’autore. “Stiamo anche osservando numerose denunce da parte di utenti che stanno generando immagini che con tutta probabilità derivano da un training su dati coperti da copyright”, aggiunge Pomaro che cita anche i bias derivanti dai dati con i quali i modelli vengono addestrati.
Lo studio
L’intelligenza artificiale e la politica: ChatGPT è di sinistra, Google di destra
di Bruno Ruffilli
14 Agosto 2023
L’Open source e i LLM
Ci sono progetti Open source che, di fatto, rendono più facile l’accesso e l’uso dei LLM (un esemplare è The Cheshire Cat) e codesto può amplificare la gittata dei rischi così come quella dei vantaggi. Come si regolamenta l’uso dei modelli Open? C’è il rischio di perdere il controllo delle implicazioni etiche dei LLM? Sono due domande lecite che meritano una sentenza: “Ci sono correnti di pensiero secondo le quali i modelli Open source potrebbero aumentare i rischi derivanti dall’AI Generativa. Tuttavia, credo che gli open foundation model possano essere importanti in termini di sicurezza per diversi motivi”, spiega Pomaro.
“In primo luogo, i modelli aperti consentono un’enorme quantità di ricerche sulla sicurezza estremamente necessarie, in secondo luogo i modelli aperti offrono trasparenza e verificabilità. Gran parte dell’ecosistema di Internet, per esemplare, si basa su software Open source (Linux, Apache, MySQL, eccetera) e codesto l’ha reso più sicuro. Data la facilità di jailbreak, ovvero di azioni che mirano ad aggirare i controlli di sicurezza, è chiaro che abbiamo scarsa comprensione e controllo sui modelli attuali, e i modelli aperti espongono a codesto rischio. codesto aspetto va risolto attraverso la ricerca, prima di basare un’intera installazione analisi su sistemi instabili”.
I modelli Open source possono essere usati in modo non opportuno, ma a prevalere sono gli atteggiamenti delle comunità che li sostengono e contribuiscono a regolarne lo sviluppo e l’impiego. “Di fatto, i principi dell’Open source sono gli stessi, che si tratti di Intelligenza artificiale o di altre tecnologie”.
Cosa serve per superare i problemi
Si parla spesso di una cultura necessaria ad accettare e a gestire il cambiamento in corso. Cosa certamente vera che, però, merita una migliore inquadratura: cosa favorisce lo sviluppo di questa cultura? “L’evoluzione tecnologica per rendere questi sistemi costantemente più affidabili e trasparenti sulle correlazioni tra le fonti e gli output. I nuovi sistemi di governance per regolamentare il training e l’utilizzo. codesto non per limitare la ricerca e lo sviluppo, ma per aumentare la comprensione e per capire quali sono le direzioni percorribili”, conclude Pomaro.
Futuro
Comportamenti emergenti, quando l’intelligenza artificiale sorprende anche i suoi creatori
di Andrea Daniele Signorelli
30 Marzo 2023