1 of 21

2 of 21

ROBOT LEARNING

ROBOTS OVUNQUE!

3 of 21

DOPO 50 ANNI, SIAMO ARRIVATI?

4 of 21

5 of 21

APPRENDIMENTO DEI ROBOT

ROBOT

COMPITO

UTENTE

PERCEZIONE

POLICY

AZIONE

MANIPULATION

LOCOMOTION

WHOLE-BODY

AMBIENTE

REALE

SIMULATO

STRUTTURATO

CAOTICO

6 of 21

PERCEZIONE MULTIMODALE

7 of 21

POLICY: REINFORCEMENT LEARNING

IMPARANO SBAGLIANDO

COMBINAZIONE

DI +10 rewards!

Immaginate un cane robot. Boston Dynamics lo ha programmato per camminare a 1.6 m/s — sicuro, stabile, prevedibile. Ma ad aprile 2025, un team del RAI Institute e MIT gli ha insegnato a CORRERE a 5.2 m/s. Non l'hanno programmato. Gli hanno dato un obiettivo — vai veloce, non cadere — e lui ha imparato da solo. Come?

[ROBOT VIRTUALE] → prova un'azione ↓ [MONDO SIMULATO] → reagisce ↓ [REWARD: "Stai andando veloce? Sei ancora in piedi?"] → punteggio ↓ (ripeti 1000x al secondo)

Ma c'è un problema. L'RL ha bisogno di una funzione reward — qualcuno deve definire cosa vuol dire 'andare bene.’ Dire a un robot 'vai veloce' sembra semplice. Ma il diavolo è nei dettagli.

Immaginate di insegnare a un bambino ad andare in bicicletta. Non gli dite solo 'arriva dall'altra parte della strada.' Gli dite: 'pedala', 'stai dritto', 'non frenare di colpo', 'guarda avanti', 'non andare sul marciapiede', 'non andare troppo veloce in curva.' E se dimenticate UNO di questi obiettivi? Il bambino trova il trucco. Il robot fa uguale.

3 reward di tracking (l'obiettivo vero e proprio)

7 reward di stile (come dovrebbe apparire il movimento)

5 reward di regolarizzazione (sicurezza meccanica)

Ognuna con il proprio peso, che qualcuno ha dovuto calibrare a mano

anecdota suecia robot spot y cobot.

E se il robot potesse semplicemente GUARDARE un umano e copiarlo?

8 of 21

POLICY: IMITATION LEARNING

IMPARANO GUARDANDO

DIFFICILE GENERALIZZARE

COSTO + TEMPO

9 of 21

POLICY: METACOGNIZIONE IMG/TEXT - VLM

COMPITO

PERCEZIONE

10 of 21

POLICY: DAL PIANO ALL’AZIONE - VLA

11 of 21

POLICY: DAL PIANO ALL’AZIONE - VAM

Maggiore efficienza e velocità: Il modello mimic-video richiede 10 volte meno dati rispetto ai modelli tradizionali (raggiungendo, ad esempio, il 77% di successo con un solo episodio nel benchmark LIBERO) e si addestra due volte più velocemente.

Intuizione della "causalità fisica": Supera la "cecità" fisica dei modelli basati su immagini statiche. Apprendendo dai video, acquisisce una comprensione innata delle leggi della fisica e genera "piani visivi latenti" (previsioni di ciò che accadrà) che vengono tradotti in precisi comandi motori.

Semplificazione del controllo motorio: Delegando la comprensione della dinamica e della semantica al modello video, il sistema isola e semplifica il problema del controllo di basso livello. Inoltre, ottimizza i tempi di calcolo poiché non ha bisogno di generare un video perfetto e senza rumore per controllare il robot.

Eccellenti prestazioni in compiti di alta destrezza: Nei test reali con sistemi bimanuali (bracci robotici e mani umanoidi), ha dimostrato capacità di manipolazione delicata e complessa nettamente superiori rispetto ai modelli standard.

12 of 21

APPRENDIMENTO NELLA PRATICA

UN VERO CASINO!

13 of 21

RACCOLTA DATI

SENZA DATI,

NIENTE APPRENDIMENTO

14 of 21

micro1: RACCOLTA DATI REALI

15 of 21

NEURA: POST-TRAINING REALE

16 of 21

LIGHTWHEEL: POST-TRAINING SIMULAZIONE

17 of 21

WORLD LABS: DATI SINTETICI SIMULAZIONE

18 of 21

IL SIM2REAL GAP: DAL VIRTUALE AL FISICO