Modelli LLM in azienda: come valutare l’alternativa open-source

I modelli linguistici di grandi dimensioni proprietari e open-source presentano entrambi pro e contro, sia a livello tecnico, sia commerciale. L’opzione open-source viene privilegiata quando i requisiti di business sono soprattutto trasparenza nel codice dell’algoritmo, maggiore controllo, più flessibilità di personalizzazione del LLM

Leggi l'articolo su ZeroUno

Sembra abbastanza evidente che i modelli linguistici di grandi dimensioni, o LLM (large language model), continueranno a guidare l’evoluzione e il futuro dell’intelligenza artificiale: ma su quale paradigma di sviluppo si orienterà maggiormente tale evoluzione – software non libero (privato, proprietario) o software open-source – nel mondo aziendale la discussione resta ancora aperta. Da un lato, per i benefici che l’open-source può effettivamente fornire da vari punti di vista, dall’altro, per la mole di reazioni e dibattiti suscitati nel settore da post come questo, che sul tema ha messo in luce diversi aspetti interessanti. In ogni caso, è probabile che molte organizzazioni adottino entrambe queste tipologie di modelli, a seconda delle particolari esigenze e obiettivi di business, da raggiungere nel breve e lungo termine. 

Algoritmi closed-source e open-source

I modelli linguistici di grandi dimensioni sono algoritmi basati su architettura transformer, e sono capaci di analizzare enormi moli di dati testuali utilizzando tecniche di apprendimento profondo (deep learning), per identificare schemi, comprendere le relazioni tra parole, le sfumature di una lingua, e poi generare nuovi contenuti originali. Nel 2023, il mercato globale dei LLM è stato stimato 4,35 miliardi di dollari dalla società di ricerca e consulenza Grand View Research (GVR), che per il comparto prevede una crescita con un CAGR (tasso annuo di crescita composto) pari al 35,9%, dal 2024 al 2030. In questo mercato, gli algoritmi proprietari, come GPT-4, Gemini, Claude, basati su tecnologia closed-source, quindi su codice sorgente posseduto da un’azienda che ne limita la modalità d’uso, coesistono sempre più frequentemente con LLM open-source, il cui codice viene condiviso pubblicamente, e mantenuto da comunità di sviluppatori. Esempi di LLM open source sono GPT-J, BLOOM, Falcon. 

Attenzione a cosa è veramente “open-source”

Per quanto la distinzione possa sembrare chiara, non sempre è facile discernere tra gli algoritmi, in quanto, anche quando si parla di LLM open source, c’è comunque sempre chi tende a presentare, e far passare, come “open”, o “open source”, modelli che in realtà non lo sono. Jean-Paul Van Belle, professore di Sistemi Informativi all’Università di Città del Capo, chiarisce questo punto in un articolo pubblicato su University World News: “Ci sono diversi gradi a cui i LLM vengono ‘aperti’. L’approccio più semplice è pubblicare la struttura del modulo e i parametri addestrati, cioè i pesi e i bias di tutti gli strati, per un ‘uso corretto’ da parte di altri ricercatori”. Tuttavia, dice, questo non può essere considerato open source, e ricorda un tweet su X di Percy Liang, professore associato di Computer Science alla Stanford University: “Molti modelli linguistici ‘aperti’ vengono forniti solo con pesi pubblicati. Nel software, ciò equivale a pubblicare un binario senza codice (non lo si può definire open-source). Per ottenere tutti i vantaggi della trasparenza, è necessario disporre dei dati di training. GPT-J, GPT-NeoX, BLOOM, RedPajama fanno questo”.

Esiste in effetti una varietà di sfumature in ciò che viene definito open-source, aggiunge Van Belle. Sfumature che spaziano dalla semplice pubblicazione dei pesi del modello, al dettaglio sulla pipeline o sul processo di training dello stesso, ai vari iperparametri, alle particolari librerie software e specifiche hardware adottate per il training, ai dataset utilizzati, sui quali vi possono essere potenziali problemi di governance e legali, relativi a dati che possono essere soggetti a un copyright restrittivo o poco chiaro. In realtà, conclude il professore “un vero LLM open-source dovrebbe avere una licenza d’uso generosa: se la licenza stabilisce che il modello pubblicato può essere utilizzato soltanto per scopi di ricerca personale, allora il suo valore è principalmente educativo o per la validazione della ricerca. Idealmente, la licenza di un modello LLM open-source consente un uso commerciale illimitato, e la creazione di modelli derivati”.

LLM open-source, benefici e limitazioni

Spesso si afferma che modelli LLM come GPT-4 sono oscure black box, che non permettono di comprendere come sono giunte a determinate conclusioni e risultati. Questa opacità può creare problemi di sicurezza e privacy dei dati, ingenerare sfiducia negli utenti riguardo all’affidabilità del modello, e sollevare implicazioni etiche, legate alla possibile introduzione nel LLM di pregiudizi (bias) e discriminazioni di varia natura. Da questo punto di vista, optare per un modello LLM open-source, accessibile pubblicamente, sviluppato e mantenuto da una comunità tramite un approccio collaborativo, può fornire maggiori garanzie sulla trasparenza dell’algoritmo, rispetto a un modello proprietario, sviluppato internamente nell’ambiente chiuso di una data azienda. Inoltre, sotto il profilo della flessibilità di personalizzazione, il codice di un LLM open-source è ispezionabile e modificabile da qualunque sviluppatore, per scoprire e correggere difetti, creare configurazioni e adattare il modello a utilizzi ed esigenze aziendali specifiche. Anche se, naturalmente, per fare ciò, un’organizzazione deve possedere, o sviluppare, solide e specializzate competenze tecniche.

Un altro aspetto chiave da considerare è la variabile costo, un pesante deterrente per chi voglia adottare un modello LLM open-source: solo per fare un esempio, si stima che l’addestramento del modello GPT-3 di OpenAI, con 175 miliardi di parametri, possa essere costato quasi 12 milioni di dollari, in termini di potenza di calcolo basata sui modelli di costo GPU (graphics processing unit)/TPU (tensor processing unit) del cloud pubblico. Analogamente, il training e la gestione di un LLM open-source con molti parametri risulterebbero molto costosi, e difficilmente abbordabili, per società che non abbiano una ‘massa critica’ paragonabile a quella dei noti colossi del web. Soprattutto quando il training viene gestito in-house, richiede l’implementazione di un’adeguata infrastruttura hardware, altamente scalabile, e l’acquisizione di numerose risorse e competenze tecniche.

Vendor e consulenti: cosa pensano dell’alternativa open-source

Sull’alternativa rappresentata dai modelli LLM open-source abbiamo sentito la voce di alcuni vendor di tecnologia e consulenti del settore. Rick Bentley, fondatore di Cloudastructure, fornitrice di sistemi di videosorveglianza controllati dal cloud, sottolinea la differenza tra software libero e open-source, e ricorda che “non tutto il software open source è software libero”. Oggi, dice, tutta la tecnologia AI della società è “libera e open-source”, come del resto tutti i suoi sistemi operativi, basati su versioni libere di Linux. Tale scelta, spiega Bentley, è maturata soprattutto dopo un’esperienza negativa con un grande software vendor, che non ha consentito a Cloudastructure di riaddestrare con dati specifici dei clienti il modello AI closed-source che le aveva fornito, e che necessitava di miglioramenti, per correggere alcuni errori di identificazione degli oggetti.

Kelwin Fernandes, cofondatore e CEO della società di consulenza AI NILG.AI, pur preferendo personalmente soluzioni open-source per la maggior parte dei progetti, precisa: “Con la GenAI e i LLM, prediligo un approccio proprietario, in quanto la maggior parte delle aziende oggi non hanno una preparazione tecnica o un focus sulla AI. Vogliono solo capire cosa la AI può portare all’organizzazione e cosa significherebbe per loro adottare questa tecnologia. Quindi, finché non risolvono queste domande fondamentali, devono mantenersi agili e flessibili, dedicando il minor tempo possibile all’onere tecnico della cura dell’infrastruttura AI. Pertanto, raccomando soprattutto soluzioni AI proprietarie nelle prime fasi di adozione della AI, e in tutti i casi in cui la AI non è il core business dell’organizzazione”.

Dal punto di vista tecnico, dice Arthur Delerue, fondatore e CEO della piattaforma di “social listening” KWatch.io, “i modelli AI proprietari spesso beneficiano di risorse dedicate e di uno sviluppo mirato, che può portare a funzioni più avanzate e specializzate. Tuttavia, ciò può anche portare a una mancanza di trasparenza e a un potenziale ‘vendor lock-in’. I modelli open source, d’altro canto, beneficiano di uno sviluppo guidato dalla comunità, che conduce a una rapida innovazione e a un processo di sviluppo più trasparente. Ad ogni modo, questo può anche portare a una mancanza di standardizzazione e a una potenziale frammentazione”. Da un punto di vista commerciale, “i modelli proprietari possono offrire un vantaggio competitivo, grazie alle loro caratteristiche uniche e al supporto del fornitore. Tuttavia, possono anche essere costosi e poco adattabili alle specifiche esigenze aziendali. I modelli open source sono spesso gratuiti o a basso costo, e possono essere personalizzati in base a specifiche necessità dell’impresa. Tuttavia, potrebbero richiedere maggiori competenze in-house per la loro implementazione e manutenzione” conclude Delerue.