Robot guidati dall'intelligenza artificiale: un nuovo modello di istruzioni li renderà molto più efficienti

Ricercatori del MIT e del MIT-IBM Watson AI Lab hanno sviluppato un innovativo sistema di navigazione AI che trasforma i dati visivi in descrizioni linguistiche, facilitando l’esecuzione di compiti complessi da parte dei robot. Questo approccio utilizza un modello linguistico avanzato per generare dati di addestramento sintetici e prendere decisioni basate su input linguistici. Sebbene non superi i metodi tradizionali basati sulla visione, ha il vantaggio di richiedere meno risorse e di essere facilmente adattabile a diverse attività e ambienti.

Un esempio pratico è un robot domestico incaricato di portare il bucato sporco al piano inferiore, fino alla lavatrice situata nel seminterrato. Per eseguire questo compito, il robot deve combinare le istruzioni linguistiche con le sue osservazioni visive, decidendo i passaggi necessari per completare l’attività.

Attualmente, la maggior parte dei sistemi di intelligenza artificiale si basa su modelli di apprendimento automatico specificamente progettati, che richiedono una significativa quantità di expertise e sforzo umano per essere sviluppati. Questi modelli, che si affidano a rappresentazioni visive per prendere decisioni di navigazione, necessitano di un’enorme quantità di dati visivi per l’addestramento, spesso difficili da ottenere.

Per affrontare queste sfide, i ricercatori hanno sviluppato un metodo che converte le rappresentazioni visive in descrizioni linguistiche, che vengono poi inserite in un modello linguistico ampio capace di gestire l’intero processo di navigazione multi-step.

A differenza dei metodi tradizionali che utilizzano direttamente le caratteristiche visive dell’ambiente, questo nuovo approccio crea didascalie testuali che descrivono la prospettiva del robot. Un modello linguistico avanzato utilizza queste didascalie per prevedere le azioni che il robot dovrebbe intraprendere in base alle istruzioni linguistiche fornite dall’utente.

L’approccio basato esclusivamente su rappresentazioni linguistiche permette di generare una grande quantità di dati sintetici per l’addestramento, utilizzando il modello linguistico ampio. Sebbene non raggiunga le prestazioni dei metodi basati su caratteristiche visive, questo sistema è particolarmente utile in scenari dove i dati visivi per l’addestramento sono scarsi. I ricercatori hanno scoperto che combinando input linguistici con segnali visivi si ottiene un miglioramento delle prestazioni nella navigazione.

Un altro vantaggio di questo metodo è la sua semplicità: poiché tutti gli input possono essere codificati come linguaggio, è possibile generare traiettorie che risultano comprensibili agli esseri umani. Secondo Bowen Pan , studente laureando in Ingegneria Elettrica e Informatica al MIT e autore principale dello studio, “l’utilizzo esclusivo del linguaggio come rappresentazione percettiva semplifica l’approccio e permette una maggiore comprensione da parte degli esseri umani”.

Il team ha anche esplorato l’integrazione di questo modello nel contesto della navigazione basata su visione e linguaggio, utilizzando descrizioni testuali delle osservazioni visive del robot, combinate con istruzioni linguistiche.

Questo approccio offre numerosi vantaggi: innanzitutto, richiede meno risorse computazionali rispetto ai dati visivi complessi, permettendo una rapida generazione di dati sintetici per l’addestramento; inoltre, colma il divario tra ambienti simulati e applicazioni nel mondo reale, grazie alla maggiore facilità nel distinguere tra descrizioni linguistiche simulate e reali; infine, rende più comprensibili agli esseri umani le ragioni di eventuali fallimenti, grazie all’uso di descrizioni narrative.

Tuttavia, uno svantaggio risiede nella perdita parziale delle informazioni che potrebbero essere catturate tramite modelli basati sulla visione, come quelle relative alla profondità.

I risultati ottenuti mostrano miglioramenti significativi nella capacità dei sistemi ibridi che combinano metodi basati su linguaggio e visione, suggerendo un potenziale vantaggio delle informazioni linguistiche rispetto a quelle puramente visive.

Gli autori intendono proseguire le loro ricerche concentrandosi su miglioramenti delle performance attraverso la creazione di sistemi di captioning orientati alla navigazione e sull’esplorazione delle capacità spaziali dei modelli linguistici applicati alla navigazione basata sul linguaggio.