Sujet : Méthodes de vision par ordinateur pour la création et la validation d’un jumeau numérique de vidéos de danseurs acrobatiques
I. Création d’un jumeau numérique de vidéos �de danseurs acrobatiques
II. Création d’un score de reconstruction des vidéos�issues du jumeau numérique
Modification de vidéos de danses sportives avec de l’IA sous contraintes
Cas simple
Pose classique
Données nombreuses
IA beaucoup entrainée
Masque stable & précis
Masque fiable
Contexte du TER
Procédure classique
Vidéo source
Masque de segmentation
Nouveau fond
Cas complexe
Pose atypique
Données peu nombreuses
IA peu entrainée
Masque instable & imprécis
Masque non fiable
Tom Le Ber & Tony Perottino · Encadrés par Emmanuelle Claeys · 5 mois, 1j / semaine
Enjeu du TER
Obtenir des masques fiables issus�de poses atypiques.
?
Méthode 1 :
Rapide
NLF + SAM2
I. Création d’un jumeau numérique de vidéos de danseurs acrobatiques
1. Isoler le danseur
2. Produire un masque cohérent
3. Réinsérer le danseur
Jumeau numérique : Réinsertion d’une représentation numérique des mouvements d’un danseur acrobatique dans un nouveau fond.
Segmentation via points
Segmentation vidéo du danseur via squelette
Vidéo�reconstruite
Crédible ?
Réinsertion dans un nouveau fond
Transformation de similarité
2 points source + 2 points cible
Analyse de pose
Structure corporelle 2D du danseur en squelette
Vidéo�source
Méthode 2 :
Qualitatif
SAM3
Segmentation via prompt
Segmentation vidéo du danseur par prompt texte
“person”
“person rotating”
“person near a pole”
II. Création d’un score de reconstruction des vidéos issues du jumeau numérique
1. Aires des masques successifs
2. Bhattacharyya
3. Cohérence corporelle 3D
Idée : Si le masque est crédible, le corps reconstruit en 3D doit évoluer régulièrement.
Détecte : Anomalies structurelles du corps après recentrage, rotation et changement d’échelle.
Outils : Aidemos, SAM 3D Body & distance de procrustes.
Idée : Compare statistiquement les masques successifs via
leurs projections horizontales et verticales.
Détecte : Ruptures globales de forme & variations brutales.
Limite : ne qualifie pas le type d’erreur.
Idée : Suivre le nombre de pixels segmenter pour détecter les pertes / ajouts soudains via la dérivée seconde.
Détecte : Ajouts / suppressions soudaines de fond & changements brutaux de segmentation.
Limite : Sensible au mouvement naturel.
Résultats, limites et perspectives
I. Comparaison des 2 méthodes
II. Création d’un score de reconstruction des vidéos�issues du jumeau numérique
Limites actuelles
Perspectives
NLF + SAM2 | SAM3 | |
Rapide | Lente | Critère n°1 : temps d’exécution |
Pertes ponctuelles et contours fins | Qualitative | Critère n°2 : qualité finale |
I. Création d’un jumeau numérique de vidéos
de danseurs acrobatiques
Perspectives
Limites actuelles
Adaptée aux essais rapides de métriques
Qualité visuelle plus�convaincante, �temps de traitement�nettement plus élevé
Tom Le Ber & Tony Perottino · Encadrés par Emmanuelle Claeys · 5 mois, 1j / semaine
NLF + SAM2
SAM3
Transformation de similarité
Suppression de la translation : Suppression de la valeur du barycentre de chaque squelette.
Suppression du facteur d’échelle : Normalisation via échelle RMS (racine de la moyenne des distances à l’origine au carré) de chaque squelette.
Détermination de la translation : Algorithme de Kabsch pour décomposition en valeurs singulières du deuxième squelette.
1. Aires des masques successifs
2. Bhattacharyya
3.1. Cohérence corporelle 3D
3.2. Cohérence corporelle 3D
Comparaison des résultats
Voir vidéo sur bureau.