Un nuovo metodo per l’addestramento dell’IA potrebbe ridurre il consumo energetico
Un nuovo metodo per l’addestramento dell’IA potrebbe ridurre il consumo energeticoGli scienziati del Max Planck Institute hanno ideato un metodo più efficiente dal punto di vista energetico per l’addestramento dell’intelligenza artificiale (IA), sfruttando i processi fisici nel calcolo neuromorfico. Questo approccio, che si discosta dalle reti neurali digitali tradizionali, riduce il consumo energetico e ottimizza l’efficienza dell’addestramento. Il team sta sviluppando un computer neuromorfico ottico per dimostrare questa tecnologia, con l’obiettivo di avanzare significativamente i sistemi di IA.
Macchine auto-apprendenti basate sulla fisica potrebbero sostituire le attuali reti neurali artificiali
L’intelligenza artificiale (IA) non solo offre prestazioni impressionanti, ma richiede anche una quantità significativa di energia. Più complessi sono i compiti che svolge, maggiore è il consumo energetico. Gli scienziati Víctor López-Pastor e Florian Marquardt del Max Planck Institute per la Scienza della Luce a Erlangen, in Germania, hanno sviluppato un metodo per un addestramento dell’IA più efficiente. Il loro metodo sfrutta i processi fisici, discostandosi dalle reti neurali artificiali digitali tradizionali.
Open AI, l’azienda responsabile dello sviluppo di GPT-3, la tecnologia che alimenta ChatGPT, non ha divulgato la quantità di energia necessaria per l’addestramento di questo avanzato e competente chatbot di IA.
Il consumo energetico delle reti neurali
Secondo la società di statistiche tedesca Statista, ciò richiederebbe 1000 megawattora – circa quanto consumano annualmente 200 famiglie tedesche con tre o più persone. Questa spesa energetica ha permesso a GPT-3 di apprendere se la parola ‘deep’ è più probabile che sia seguita dalla parola ‘sea’ o ‘learning’ nei suoi set di dati, ma non ha compreso il significato sottostante di tali frasi.
Reti neurali su computer neuromorfici
Per ridurre il consumo energetico dei computer, e in particolare delle applicazioni di IA, negli ultimi anni diverse istituzioni di ricerca hanno esaminato un concetto completamente nuovo di come i computer potrebbero elaborare i dati in futuro. Il concetto è noto come calcolo neuromorfico. Anche se questo suona simile alle reti neurali artificiali, in realtà ha poco a che fare con esse poiché le reti neurali artificiali funzionano su computer digitali convenzionali.
Questo significa che il software, o più precisamente l’algoritmo, è modellato sul modo di funzionare del cervello, ma i computer digitali fungono da hardware. Eseguono i passaggi di calcolo della rete neuronale in sequenza, uno dopo l’altro, differenziando tra processore e memoria.
“Il trasferimento di dati tra questi due componenti da solo consuma grandi quantità di energia quando una rete neurale addestra centinaia di miliardi di parametri, cioè sinapsi, con fino a un terabyte di dati”, afferma Florian Marquardt, direttore del Max Planck Institute per la Scienza della Luce e professore all’Università di Erlangen.
Il cervello umano è completamente diverso e probabilmente non sarebbe mai stato competitivo dal punto di vista evolutivo, se avesse funzionato con un’efficienza energetica simile a quella dei computer con transistor al silicio. Probabilmente avrebbe fallito a causa del surriscaldamento.
Il cervello si caratterizza per l’esecuzione dei numerosi passaggi di un processo di pensiero in parallelo e non in sequenza. Le cellule nervose, o più precisamente le sinapsi, sono sia processore che memoria combinati. Vari sistemi in tutto il mondo vengono considerati possibili candidati per i corrispettivi neuromorfici delle nostre cellule nervose, tra cui i circuiti fotonici che utilizzano la luce invece degli elettroni per eseguire i calcoli. I loro componenti fungono contemporaneamente da interruttori e celle di memoria.
Una macchina fisica auto-apprendente ottimizza le sue sinapsi in modo indipendente
Insieme a Víctor López-Pastor, un dottorando presso il Max Planck Institute per la Scienza della Luce, Florian Marquardt ha ora ideato un metodo di addestramento efficiente per i computer neuromorfici.
“Abbiamo sviluppato il concetto di una macchina fisica auto-apprendente”, spiega Florian Marquardt. “L’idea centrale è di svolgere l’addestramento sotto forma di un processo fisico, in cui i parametri della macchina vengono ottimizzati dal processo stesso”.
Quando si addestrano le reti neurali artificiali convenzionali, è necessario un feedback esterno per regolare la forza delle molte miliardi di connessioni sinaptiche.
“Non richiedere questo feedback rende l’addestramento molto più efficiente”, afferma Florian Marquardt. Implementare e addestrare un’intelligenza artificiale su una macchina fisica auto-apprendente non solo risparmierebbe energia, ma anche tempo di calcolo. “Il nostro metodo funziona indipendentemente dal processo fisico che si verifica nella macchina auto-apprendente, e non abbiamo nemmeno bisogno di conoscere il processo esatto”, spiega Florian Marquardt. “Tuttavia, il processo deve soddisfare alcune condizioni”.
Prima di tutto, deve essere reversibile, cioè deve essere in grado di funzionare in avanti o all’indietro con una minima perdita di energia.
“Inoltre, il processo fisico deve essere non lineare, cioè sufficientemente complesso”, afferma Florian Marquardt. Solo i processi non lineari possono realizzare le complicate trasformazioni tra dati di input e risultati. Un flipper che rotola su una piastra senza collidere con un altro è un’azione lineare. Tuttavia, se viene disturbato da un altro, la situazione diventa non lineare.
Test pratico in un computer neuromorfico ottico
Esempi di processi reversibili e non lineari si possono trovare nell’ottica. Infatti, Víctor López-Pastor e Florian Marquardt stanno già collaborando con un team sperimentale che sta sviluppando un computer neuromorfico ottico. Questa macchina elabora le informazioni sotto forma di onde luminose sovrapposte, con componenti adatti che regolano il tipo e l’intensità dell’interazione. L’obiettivo dei ricercatori è mettere in pratica il concetto della macchina fisica auto-apprendente.
“Speriamo di poter presentare la prima macchina fisica auto-apprendente tra tre anni”, afferma Florian Marquardt. Entro allora, dovrebbero esistere reti neurali che pensano con molte più sinapsi e vengono addestrate con quantità di dati significativamente maggiori rispetto a oggi.
Di conseguenza, è probabile che ci sarà un desiderio ancora maggiore di implementare reti neurali al di fuori dei computer digitali convenzionali e di sostituirli con computer neuromorfici addestrati in modo efficiente. ”Siamo quindi fiduciosi che le macchine fisiche auto-apprendenti abbiano buone possibilità di essere utilizzate nello sviluppo futuro dell’intelligenza artificiale”, afferma il fisico.
Riferimento: “Self-Learning Machines Based on Hamiltonian Echo Backpropagation” di Víctor López-Pastor e Florian Marquardt, 18 agosto 2023, Physical Review X.
DOI: 10.1103/PhysRevX.13.031020