Nel mondo dell'intelligenza artificiale (AI) c'è stato molto clamore ed eccitazione per una tecnologia di recente sviluppo conosciuta come GPT-3. In sintesi, si tratta di un'IA che migliora la creazione di contenuti che hanno una struttura linguistica - linguaggio umano o macchina - rispetto a qualsiasi altra tecnologia presente
GPT-3, o la terza generazione di Generative Pre-trained Transformer, è un modello di apprendimento automatico a rete neurale addestrato utilizzando dati internet per generare qualsiasi tipo di testo. Sviluppato da OpenAI, richiede una piccola quantità di testo in ingresso per generare grandi volumi di testo rilevante e sofisticato generato dalla macchina.
GPT-3 è la terza versione dello strumento ad essere rilasciata. La rete neurale di apprendimento profondo di GPT-3 è un modello con oltre 175 miliardi di parametri di apprendimento automatico. Per fare dei paragoni in scala, il più grande modello linguistico addestrato prima di GPT-3 era il modello Turing NLG di Microsoft, che aveva 10 miliardi di parametri.
All'inizio del 2021, GPT-3 è la più grande rete neurale mai prodotta. Come risultato, GPT-3 è migliore di qualsiasi modello precedente per produrre un testo che potrebbe sembrare veramente scritto da una persona
Questo articolo è particolarmente interessante, fa vedere che si può vedere GPT-3 fare un tentativo, abbastanza persuasivo, con il tentativo di convincere noi umani che non ha alcuna intenzione di nuocere. Anche se la sua onestà robotica significa che è costretto ad ammettere che "so che non sarò in grado di evitare di distruggere il genere umano", se le persone malvagie glielo fanno fare!
In questo video https://www.youtube.com/watch?v=kn60zZ-CaP0 è presente una demo disponibile online, in cui viene mostrato come la tecnologia riesce a creare un'app funzionante
L'elaborazione del linguaggio naturale include come uno dei suoi componenti principali la generazione del linguaggio naturale, che si concentra sulla generazione di testo naturale in lingua umana. Tuttavia, generare contenuti comprensibili all'uomo è una sfida per le macchine che non conoscono veramente le complessità e le sfumature del linguaggio. Utilizzando testo su internet, GPT-3 è addestrato a generare testo umano realistico.
GPT-3 è stato usato per creare articoli, poesie, storie, notizie e dialoghi usando solo una piccola quantità di testo di input che può essere usato per produrre grandi quantità di copia di qualità.
GPT-3 viene anche utilizzato per compiti di conversazione automatica, rispondendo a qualsiasi testo che una persona digita nel computer con un nuovo pezzo di testo appropriato al contesto. GPT-3 può creare qualsiasi cosa con una struttura di testo, e non solo testo in linguaggio umano. Può anche generare automaticamente riassunti di testo e persino codice di programmazione.
Esempi di GPT-3
Come risultato delle sue potenti capacità di generazione di testo, GPT-3 può essere utilizzato in una vasta gamma di modi. GPT-3 è usato per generare scrittura creativa come post di blog, copia pubblicitaria e persino poesia che imita lo stile di Shakespeare, Edgar Allen Poe e altri autori famosi.
Usando solo alcuni frammenti di testo di esempio, GPT-3 può creare codice funzionante che può essere eseguito senza errori, poiché il codice di programmazione è solo una forma di testo. GPT-3 è stato anche usato con grande effetto per prendere in giro i siti web. Usando solo un po' di testo suggerito, uno sviluppatore ha combinato lo strumento di prototipazione UI Figma con GPT-3 per creare siti web semplicemente descrivendoli in una o due frasi. GPT-3 è stato anche usato per clonare siti web fornendo un URL come testo suggerito. Gli sviluppatori stanno usando GPT-3 in diversi modi, dalla generazione di frammenti di codice, espressioni regolari, grafici e diagrammi da descrizioni di testo, funzioni Excel e altre applicazioni di sviluppo.
GPT-3 viene usato anche nel mondo dei giochi per creare dialoghi di chat realistici, quiz, immagini e altra grafica basata su suggerimenti di testo. GPT-3 può anche generare meme, ricette e fumetti.
Quali sono i vantaggi di GPT-3?
Ogni volta che una grande quantità di testo deve essere generata da una macchina sulla base di una piccola quantità di testo in ingresso, GPT-3 fornisce una buona soluzione. Ci sono molte situazioni in cui non è pratico o efficiente avere un umano a disposizione per generare l'output di testo, o potrebbe esserci la necessità di una generazione automatica di testo che sembri umana. Per esempio, i centri di assistenza clienti possono usare GPT-3 per rispondere alle domande dei clienti o supportare i chatbot; i team di vendita possono usarlo per connettersi con i potenziali clienti; e i team di marketing possono scrivere testi usando GPT-3.
Quali sono i rischi e le limitazioni di GPT-3?
Mentre GPT-3 è notevolmente grande e potente, ha diverse limitazioni e rischi associati al suo utilizzo. Il problema più grande è che GPT-3 non è in costante apprendimento. È stato pre-addestrato, il che significa che non ha una memoria a lungo termine continua che impara da ogni interazione. Inoltre, GPT-3 soffre degli stessi problemi di tutte le reti neurali: la loro mancanza di capacità di spiegare e interpretare perché certi input danno luogo a specifici output.
Inoltre, le architetture di trasformazione - di cui GPT-3 è una - soffrono di problemi di dimensioni limitate dell'input. Un utente non può fornire molto testo come input per l'output, il che può limitare alcune applicazioni. GPT-3, in particolare, può trattare solo testo in ingresso lungo alcune frasi. GPT-3 soffre anche di un tempo di inferenza lento, poiché ci vuole molto tempo per generare il modello a partire dai risultati.
Ancora più preoccupante, GPT-3 soffre di una vasta gamma di bias di apprendimento automatico. Poiché il modello è stato addestrato sul testo di Internet, esibisce molti dei pregiudizi che gli esseri umani esibiscono nei loro testi online. Per esempio, due ricercatori del Middlebury Institute of International Studies hanno scoperto che GPT-3 è particolarmente abile nel generare testi radicali come discorsi che imitano i teorici della cospirazione e i suprematisti bianchi. Questo presenta un'opportunità per i gruppi radicali di automatizzare i loro discorsi di odio. Inoltre, la qualità del testo generato è abbastanza alta che la gente ha iniziato a preoccuparsi un po' del suo uso, preoccupata che GPT-3 venga usato per creare articoli di "fake news".
E' uno strumento enormemente costoso da usare in questo momento, a causa dell'enorme quantità di potenza di calcolo necessaria per svolgere la sua funzione. Questo significa che il costo del suo utilizzo sarebbe oltre il budget delle organizzazioni più piccole.
E' un sistema chiuso o black-box. OpenAI non ha rivelato tutti i dettagli di come funzionano i suoi algoritmi, quindi chiunque faccia affidamento su di esso per rispondere a domande o creare prodotti utili per loro non sarebbe, allo stato attuale, completamente sicuro di come sono stati creati.
LIn terzo luogo, l'output del sistema non è ancora perfetto. Mentre può gestire compiti come la creazione di brevi testi o applicazioni di base, il suo output diventa meno utile (in effetti, descritto come "gibberish") quando gli viene chiesto di produrre qualcosa di più lungo o più complesso.
Storia di GPT-3
Formata nel 2015 come no-profit, OpenAI ha sviluppato GPT-3 come uno dei suoi progetti di ricerca con lo scopo di affrontare gli obiettivi più grandi di promuovere e sviluppare "IA amichevole" in un modo che benefici l'intera umanità. La prima versione di GPT è stata rilasciata nel 2018 e conteneva 117 milioni di parametri. La seconda versione del modello, GPT-2, è stata rilasciata nel 2019 con circa 1,5 miliardi di parametri. Come ultima versione, GPT-3 salta l'ultimo modello con un enorme margine con oltre 175 miliardi di parametri, che è più di 100 volte il suo predecessore e dieci volte più di programmi comparabili.
I precedenti modelli pre-addestrati, come il Bidirectional Encoder Representations di Transformers, hanno dimostrato la fattibilità del metodo del generatore di testo e hanno mostrato il potere che hanno le reti neurali di generare lunghe stringhe di testo che prima sembravano irraggiungibili.
OpenAI ha rilasciato l'accesso al modello in modo incrementale per vedere come sarebbe stato usato e per evitare potenziali problemi. Il modello è stato rilasciato durante un periodo beta che ha richiesto agli utenti di fare domanda per utilizzare il modello, inizialmente senza alcun costo. Tuttavia, il periodo beta è terminato il 1 ottobre 2020, e l'azienda ha rilasciato un modello di prezzi basato su un sistema di crediti a livelli che va da un livello di accesso gratuito per 100.000 crediti o tre mesi di accesso a centinaia di dollari al mese per un accesso su larga scala. Nel 2020, Microsoft ha investito 1 miliardo di dollari in OpenAI per diventare il licenziatario esclusivo del modello GPT-3
Il futuro di GPT-3
OpenAI e altri stanno lavorando su modelli ancora più potenti e grandi. Ci sono un certo numero di sforzi open source in gioco per fornire un modello libero e senza licenza come contrappeso alla proprietà esclusiva di Microsoft. OpenAI sta progettando versioni più grandi e più specifiche del dominio dei suoi modelli addestrati su diversi e più diversi tipi di testi. Altri stanno esaminando diversi casi d'uso e applicazioni del modello GPT-3. Tuttavia, la licenza esclusiva di Microsoft pone delle sfide per coloro che cercano di incorporare le capacità nelle loro applicazioni.
GPT-3 produce risultati che sono di gran lunga superiori a quelli che abbiamo visto fino ad ora. Chiunque abbia visto i risultati del linguaggio AI sa che i risultati possono essere variabili, e l'output di GPT-3 sembra innegabilmente un passo avanti. Quando lo vedremo correttamente nelle mani del pubblico e disponibile per tutti, le sue prestazioni dovrebbero diventare ancora più impressionanti.