1 of 29

Merci de bien vouloir éteindre votre téléphone mobile ou de le mettre en mode vibreur s’il vous plaît !�

2 of 29

Année universitaire : 2023 / 2024

UNIVERSITE D’ANTANANARIVO

----------------------

ECOLE SUPERIEURE POLYTECHNIQUE D’ANTANANARIVO

----------------------

MENTION TELECOMMUNICATION

MEMOIRE

en vue de l’obtention du

DIPLOME de Licence

RECONNAISSANCE DES EMOTIONS EN TEMPS REEL

N° d’ordre : 023 / STI / TCO�

Par : RAMANANANDRO Alex Mathieu

RATSIELANKERY Rovaniaina Nathanael

3 of 29

INTRODUCTION

4 of 29

PLAN

01

Généralités sur la reconnaissance des émotions

02

Réseau neuronal pour la reconnaissance faciale et émotions

03

Réalisation du système contrôlé par des émotions

04

Résultats et interprétations

5 of 29

�CHAPITRE 1�Généralités sur la reconnaissance des émotions ��

6 of 29

7 of 29

Reconnaissance Faciale Sans Intelligence Artificielle

Pas d'IA, utilisation d'outils simples.

Détection avec OpenCV Haar Cascade.

Points clés localisés via Dlib ou Mediapipe.

Distances calculées entre traits faciaux (ex: bouche, yeux).

Décisions basées sur des règles fixes.

8 of 29

Modéle Candide

Modèle de Base :

Adaptation du Modèle :

La déformation des sommets est donnée par

Extraction des Caractéristiques :

Où αk le poids de Sk et sk,i le composante du Shape Unit

vi′ on calcul les caractéristiques géométriques comme les distances entre les yeux, la largeur de la bouche, etc.

distance entre les yeux

Les caractéristiques extraites utilisées comme entrées pour un classificateur qui prédit l'émotion.

9 of 29

Limites et Applications

Limites

Moins précis qu’un système IA

Sensible à la lumière et angle du visage

Difficile pour émotions complexes

Applications

Démo éducative

Jeux et interfaces simples

Base pour apprendre les concepts

10 of 29

�CHAPITRE 2�Réseau neuronal pour la reconnaissance des émotions ��

11 of 29

GCMP

Neurone Formel

Réseaux de neurone multicouche

Réseaux de neurone Artificiel

Noyau

Sortie

Les réseaux de neurones artificiels ou RNN sont des modèles mathématiques inspirés de la biologie. La brique de base de ces réseaux, le neurone artificiel
Le perceptron, aussi appelé neurone artificiel ou neurone formel), cherche à imiter le fonctionnement d'un neurone biologique. Il est à la base de l'apprentissage profond et fonctionne en trois étapes :

-Les entrées (x) : Les entrées du perceptron sont des vecteurs pondérés par des poids 𝒂, qui indiquent leur importance. Un biais 𝒂0, toujours égal à 1, est ajouté pour aider le modèle à mieux s’adapter.

-Les Noyau :

C’est la partie centrale du perceptron, Il effectue la somme pondérée des entrées avec leurs poids respectifs.

- La sortie :

une fonction d'activation (ɸ), souvent non linéaire, généralement les plus utiliser sont : -Fonction marche de Heaviside ; Unité de rectification linéaire (ReLU) ; Fonction sigmoïde; onction tangente hyperbolique

La fonction de sortie est donnée par :

Quand on relie plusieurs neurones entre eux, on forme un réseau de neurones. Le perceptron multicouche, ou MLP, est un type de réseau dans lequel les neurones sont organisés en plusieurs couches successives :

une couche d’entrée (pour recevoir les données),

une ou plusieurs couches cachées (où l'information est transformée),� et une couche de sortie (qui donne le résultat final, par exemple une classe d’émotion).

Le MLP est souvent utilisé comme classifieur : il apprend à reconnaître des modèles dans les données (par exemple, si un visage exprime la joie ou la tristesse) en ajustant ses poids pendant l'entraînement.

�

12 of 29

Fonction d ’activation

13 of 29

OPTIMISATION DU RESEAU DE NEURONE

Descente de Gradient :

calcul les gradients

Fonction de Perte (Cross-Entropy Loss ) : mesurer la performance du modèle

La descente de gradient :

-méthode d'optimisation minimis la fonction de perte.

-met à jour les poids W

14 of 29

Réseaux de neurone convolutif

Calcul Matrices

En entrée, une couche convolutionnelle prend une image ou une carte de caractéristiques ; en sortie, on trouve une carte de caractéristiques extraite grâce à la convolution.

Passer un masque de convolution sur un signal, cela revient à ne conserver que certains poids d'une couche fully connected d'un RNA.

La couche de convolution (CONV) analyse l'image en entrée pour détecter des caractéristiques (features). Importantes Elle génère en sortie des cartes de caractéristiques (feature maps), qui représentent ces éléments détectés dans l'image.

La couche de pooling consiste à un rééchantillonnage des données. Celui-ci peut se faire suivant divers opérateurs, comme la moyenne et le max. Dans une tâche de classification, la localisation des caractéristiques étant peu importante, un pooling avec un opérateur max sera préféré.

15 of 29

Convolution

Opération mathématique combine deux fonctions pour en produire une troisième. Dans le contexte des CNN.�Extraction des caractéristiques des images.

Pour une image d'entrée I et un filtre K, la convolution définie par :

Détection des motifs spécifiques comme les bords, les textures, etc

16 of 29

�CHAPITRE 3�Réalisation du système contrôlé par des gestes de la main��

17 of 29

Principe de fonctionnement du système

Pipeline

Architecture du CNN

Acquistion

Transformation

Classification

18 of 29

Caractéristiques des images

^Réalistes✓ ^Diverses⚠ ^Bruitées⚠ ^{Niveaux de gris}

Pour commencer, notre programme détecte d’abord le visage dans l’image grâce à la méthode Haar Cascade d’OpenCV, qui repère automatiquement les contours d’un visage. �Ensuite, on convertit cette zone en niveaux de gris pour réduire la complexité des données et ne garder que l’essentiel.� Puis, on redimensionne chaque visage à 48×48 pixels, la taille dont notre réseau CNN a besoin pour fonctionner. Enfin, on normalise les valeurs de pixel pour que l’apprentissage soit plus stable.
Nous utilisons le dataset FER2013, qui contient environ 35 000 images de visages de 48×48 pixels réparties en 7 émotions. Ces images proviennent de vraies photos et sont parfois bruitées, ce qui permet à notre modèle de mieux généraliser en conditions réelles.
Le dataset FER2013 est caractérisé par des images réalistes (expressions naturelles), diverses (origines, âges, angles variés), bruitées (grain et artefacts) et en niveaux de gris (un seul canal de luminosité).

19 of 29

Adam calcule des taux d'apprentissage individuels et adaptés pour chaque paramètre

20 of 29

Principes Mathématiques de l'Algorithme en Cascade (OpenCV)

L'algorithme de détection de visages en cascade utilisé par OpenCV est basé sur l'approche de Viola-Jones

Méthode efficace pour la détection d'objets en temps réel

1- Caractéristiques de Haar :

Pour le calculer, on utilise la somme des pixels dans des rectangles spécifiques

Où I(i,j) est l'intensité du pixel à la position (i,j)

2- Intégrale d'Image

Pour calculer rapidement les sommes des pixels dans des rectangles,

3- Cascade de Classificateurs :

L'algorithme pour améliorer l'efficacité de la détection.
niveau de la cascade (un classificateur fort qui est entraîné pour détecter l'objet d'intérêt).
Si une sous-fenêtre de l'image passe tous les niveaux de la cascade, elle est considérée comme contenant l'objet d'intérêt (par exemple, un visage)

21 of 29

Fonctionnement d'Adam (Adaptive Moment Estimation)

1- Calcul des Moments

Moment de Premier Ordre (Moyenne des Gradients) :

Moment de Second Ordre (Variance des Gradients) :

2-Correction des Moments :

Les moments sont corrigés pour tenir compte des initialisations biaisées vers zéro

3-Mise à Jour des Poids : Les poids du réseau sont mis à jour en utilisant les moments corrigés.

Où α est le taux d'apprentissage, β1 et β2 sont les coefficients de moment, et ϵ est un petit terme pour éviter la division par zéro.

4-Avantages d'Adam Adaptabilité, Efficacité et Robustesse

22 of 29

PHASE D’ENTRAINEMENT

Pour entraîner notre modèle, nous l’avons lancé sur 150 époques, c’est-à-dire 150 passages complets sur l’ensemble d’entraînement, en traitant 64 images à la fois (batch size = 64) et en ajustant les poids avec un taux d’apprentissage de 0,001. Côté matériel, nous avons d’abord tiré parti d’une carte GPU compatible CUDA pour accélérer massivement les calculs matriciels, ce qui a réduit le temps d’entraînement de plusieurs heures à seulement une cinquantaine de minutes ; une alternative CPU est également possible, mais beaucoup plus lente.
À chaque époque, nous calculons deux courbes :
La courbe de perte (loss) : elle diminue généralement, car le modèle apprend à mieux prédire les émotions. On trace la perte moyenne sur l’ensemble d’entraînement et celle sur l’ensemble de validation pour surveiller le sur-apprentissage (overfitting).
La courbe de précision (accuracy) : elle augmente avec l’entraînement et se stabilise autour de 56 % sur les données de validation, ce qui signifie que 56 % des visages sont correctement classés.
La précision finale de 56 % est obtenue en divisant le nombre de prédictions exactes par le nombre total d’images de validation. Ces courbes nous permettent de visualiser comment le modèle progresse : si la perte de validation commence à remonter alors que la perte d’entraînement continue de baisser, c’est le signe que le modèle apprend trop spécifiquement le jeu d’entraînement et qu’il faut stopper l’entraînement ou ajuster les paramètres.

23 of 29

�CHAPITRE 4�Simulation �et interprétations��

11

24 of 29

Métriques de Performance

Objectif : évaluer la performance du modèle de reconnaissance des émotions

Matrice de Confusion : Table ( décrit la performance d'un modèle de classification)

Chaque ligne représente les instances de la vraie classe, et chaque colonne représente les instances de la classe prédite.

Précision : Proportion des prédictions positives correctes par rapport au nombre total de prédictions positives.

Identifier les classes problématiques (confusions fréquentes)
Comparer différentes approches algorithmiques

25 of 29

Matrice de Confusion

La diagonale (en vert) représente les prédictions correctes

Hors diagonale : les erreurs de classification

La Joie est l'émotion la mieux reconnue (50/61

La Peur est souvent confondue avec Neutre (8 cas)

26 of 29

Résultats et performances

Précision

Matrice de confusion

Émotions réelles vs. prédites

75,71 %

Pour évaluer notre modèle, nous atteignons une précision d’environ 56 %, ce qui signifie que l’on identifie correctement l’émotion sur 56 visages sur 100. À titre de comparaison, des architectures plus lourdes comme VGG ou ResNet pré-entraînées sur le même jeu de données FER2013 montent plutôt autour de 70–75 % de précision. Notre modèle plus simple reste compétitif étant donné qu’il compte moins de paramètres et s’entraîne en moins d’une heure, tandis que ces réseaux profonds peuvent demander plusieurs heures voire jours.
La matrice de confusion révèle que la « joie » est reconnue avec près de 78 % de succès, alors que le « dégoût » ne dépasse pas 35 %. Ces écarts s’expliquent par le déséquilibre des classes et la similarité visuelle de certaines expressions (tristesse vs. colère). En pratique, cela signifie que notre solution, bien que plus légère, offre une performance raisonnable pour des applications temps réel, là où les modèles SOTA offrent plus de précision au prix d’une complexité et d’un coût de calcul supérieurs.

27 of 29

Avantages et Limites

VS

Notre solution se distingue par sa rapidité et sa légèreté : le modèle compte moins d’un million de paramètres, ce qui lui permet de démarrer quasi instantanément sans nécessiter une machine très puissante. Sa simplicité architecturale facilite l’entraînement — en moins d’une heure sur un GPU grand public — et le déploiement, car il n’exige pas de dépendances lourdes ni de configurations complexes. De plus, son exécution en temps réel (jusqu’à 30 images par seconde) le rend parfaitement adapté aux applications interactives, comme les coaches virtuels ou les bornes intelligentes.
Cependant, certaines limites sont à prendre en compte. D’une part, les expressions subtiles, notamment la « surprise légère » ou les mélanges émotionnels, échappent souvent au modèle, car elles présentent des caractéristiques visuelles proches d’autres émotions. D’autre part, sa sensibilité aux conditions d’éclairage peut fausser les prédictions : ombres portées ou variations de luminosité altèrent la qualité des données d’entrée. Enfin, la base de données FER2013, bien que riche de 35 000 images, reste déséquilibrée (peu d’exemples de « dégoût ») et limitée du point de vue de la diversité culturelle et des scénarios d’usage. En l’état, notre système se concentre sur l’analyse visuelle et ne traite pas d’autres modalités d’expression comme la voix ou le texte, qui pourraient pourtant apporter un contexte supplémentaire.

28 of 29

CONCLUSION

12

"La reconnaissance des émotions ouvre la voie à des interactions homme-machine plus naturelles et empathiques."

Pour terminer, ce projet montre qu’un modèle simple peut déjà reconnaître les émotions de façon efficace et servir de support d’apprentissage. Pour aller plus loin, on peut enrichir les données par des techniques d’augmentation et s’appuyer sur des modèles pré-entraînés pour gagner en précision. Enfin, la prochaine étape serait d’ajouter la voix ou la gestuelle afin de rendre la machine encore plus sensible à nos émotions.
Ah ! Tant de défis à relever, pour récolter les fruits de cette recherche. Mais au vu des nombreuses applications qui se dessinent à l’avenir, l’aventure

vaut la peine d’être vécue. Imaginez un futur où, à la maison, votre assistant domotique ajusterait l’ambiance selon votre humeur, où dans l’industrie et les services, on détecterait instantanément le stress ou la satisfaction des utilisateurs, et où, dans le métavers, vos avatars réagiraient à vos émotions comme de vrais compagnons. La reconnaissance des émotions faciales ouvre la voie à ces innovations. J’espère que ce travail apportera sa pierre à l’édifice et inspirera d’autres chercheurs et développeurs à explorer encore plus loin cette aventure passionnante.

29 of 29

Merci pour votre aimable attention