L’intelligenza artificiale potrebbe autodistruggersi? i dati sintetici possono causare il crollo del modello
L’intelligenza artificiale generativa (AI), rappresentata da modelli avanzati come GPT-4 di OpenAI e Stable Diffusion di Stability AI , è capace di creare nuovi testi, codici, immagini e video, rivoluzionando vari settori. Tuttavia, l’addestramento di questi modelli richiede una quantità massiccia di dati, e gli sviluppatori si trovano oggi a fronteggiare limitazioni nell’approvvigionamento dei dati, rischiando di esaurire le risorse disponibili.
In risposta a questa sfida, i dati sintetici sono emersi come una soluzione apparentemente vantaggiosa per le grandi aziende tecnologiche. Questi dati sono meno costosi dei dati reali, offrono un approvvigionamento quasi illimitato, riducono i rischi per la privacy (particolarmente nei dati medici) e possono persino migliorare le prestazioni dell’AI in determinate circostanze.
Tuttavia, studi recenti condotti dal gruppo Digital Signal Processing della Rice University hanno sollevato preoccupazioni riguardo l’uso prolungato di dati sintetici. Secondo la ricerca, questa pratica può portare a un ciclo autofago – un loop “autocannibalistico” – che causa la progressiva distorsione e degradazione degli output del modello AI, una condizione che è stata definita “Model Autophagy Disorder” (MAD) .
Richard Baraniuk , della Rice University , ha spiegato che il continuo addestramento basato su dati sintetici senza l’inclusione di nuovi input reali può deteriorare irreparabilmente le capacità del modello. Il team ha paragonato questa degenerazione alla malattia della mucca pazza , a causa delle implicazioni degenerative simili causate dall’autofagia.
Il gruppo di ricerca ha esplorato tre scenari distinti per testare l’effetto dell’uso di dati sintetici:
• Ciclo completamente sintetico , dove i modelli sono alimentati esclusivamente da output generati in precedenza.
• Ciclo con augmentazione sintetica , che combina dati sintetici con un set fisso di dati reali.
• Ciclo con dati freschi , che integra input sintetici con nuovi set di dati reali.
I risultati hanno mostrato chiaramente che, senza un apporto continuo di dati freschi , la qualità e la diversità degli output del modello si degradano rapidamente. Nelle simulazioni, i dataset composti da numerazioni progressive diventano sempre più illeggibili con l’aumento delle iterazioni senza bias nella selezione dei campioni. Introducendo un bias nella selezione (“ cherry picking “), alcuni numeri rimangono leggibili più a lungo, ma a scapito della diversità complessiva del dataset.
Queste scoperte sottolineano l’importanza critica dell’integrazione continua di nuovi dati reali nell’addestramento dei modelli AI generativi per prevenire il deterioramento qualitativo dovuto ai cicli autofagi descritti dalla ricerca della Rice University, presentata alla conferenza ICLR nel maggio 2024. Questo studio evidenzia la necessità di un approccio equilibrato nell’uso dei dati sintetici per garantire che i modelli AI rimangano efficaci, affidabili e variabili nel tempo.