Méthode et Algorithme

• de
• Newton-Gauss

Présenté par: AIT SAID Ayoub BAHASSOU Mohamed Amine

ELHANSALI Mouaad ID LAHCEN El Mahdi

KHALIL Elhoussine RGUIBI Mohamed Mouad

Encadré par: LAHROUZ Adil

Plan

1. Introduction
1. Optimisation et Apprentissage machine(Machine Learning)
2. Avantages de NG par rapport aux autres méthodes
2. Méthode de Newton
3. Approximation de Gauss
4. Exemple
5. Pratique

​

Introduction

OPTIMISATION ET MACHINE LÉARNING

LIMITES DES AUTRES MÉTHODES

En tant qu'informaticien, en quoi l'optimisation nous aide-t-elle

Optimisation sert à quoi? (Machine Learning et IA)

• la relation entre le machine learning et l'optimisation est fondamentale. L'optimisation intervient à plusieurs niveaux:
• l'ajustement des paramètres du modèle.
• la minimisation des fonctions de coût.
• l'optimisation des hyperparamètres.
• la sélection de modèles
• l'apprentissage par renforcement.
• Ces processus d'optimisation sont essentiels pour améliorer les performances des modèles d'apprentissage automatique et les adapter efficacement à des tâches spécifiques plus notablement pour le domaine d’Intelligence Artificielle.

Avantages par rapport aux autres

• Lorsqu’on compare la méthode de Newton-Gauss avec les autres méthodes d’optimisation comme la méthode de descent de gradient, methode du gradient conjugué et aussi la méthode du Newton-Raphson on peut distinguer que on a plusieurs avantages lesquelles:�- Cette méthode est spécifiquement utilisée pour résoudre des problèmes d'optimisation non linéaires, souvent rencontrés dans le contexte de la régression non linéaire.
• - Il est adaptée aux cas où la fonction objectif est une somme de carrés (comme dans la régression).
• - Il utilise une approximation linéaire des résidus (Approximation du Gauss) au lieu de calculer la hessienne complète.
• - Il est souvent utilisée dans le contexte de la minimisation des moindres carrés.

Introduction

• Comme problématique:
• 1) La méthode du gradient à pas fixe :
• convergence lente,
• pas toujours garantie.
• 2) Les méthodes du gradient à pas optimal:
• convergence moyenne
• convergence est garantie

​

⇒ Découvrons la méthode Newton-Gauss!

Partie 2

MÉTHODE DE NEWTON, INTERPRÉTATIONS ET RÉSULTATS

Méthode de Newton

Généralisation

Partie 3

APPROXIMATION, MÉTHODE DE GAUSS-NEWTON , EXEMPLE ET SIMULATION GRAPHIQUE

Méthode de Gauss-Newton

• l'algorithme de Gauss-Newton est une méthode de résolution des problèmes de moindres carrés non linéaires.
• Elle peut être vue comme une modification de la méthode de Newton dans le cas multidimensionnel afin de trouver le minimum d'une fonction (à plusieurs variables).
• Mais l'algorithme de Gauss-Newton est totalement spécifique à la minimisation d'une somme de fonctions au carré et présente le grand avantage de ne pas nécessiter les dérivées secondes, parfois complexes à calculer.

Méthode de Gauss-Newton

Approximation de gauss

Méthode de Gauss- Newton

Méthode de newton gauss

Exemple

Représentation graphique de f

Exemple

Exemple

Exemple

Introduction à MATLAB

SYNTAXE DE BASE & REPRÉSENTATION GRAPHIQUES

Syntaxe de base

VARIABLES

VECTEUR

MATRICE

Les Variables symboliques « syms »

• Les variables symboliques sont utilisées pour effectuer des calculs symboliques plutôt que numériques. Cela signifie que MATLAB traite les expressions avec des symboles (comme x, y, etc.) de manière symbolique, sans

Variable symbolique

Variable numérique

Les Fonction sur les matrices

L’inverse de matrice

Matrice tronspose

Matrice jacobian

Des autre fonction

• norm()

• sub()

• matlabFunction()

Représentation graphiques

FONCTION DE REPRESENTATION FUNCTION 2D

• plot( f , x )

FONCTION DE REPRÉSENTATION FONCTION 3D

• plot3( X , Y , Z )
• surf( X ,Y , Z)

FONCTION DE REPRESENTATION DES POINTS�

• scatter3(x, y, z); �

Partie 5

APPLICATION DE LA PARTIE THÉORIQUE SUR MATLAB.

Algorithme:

1. Définir la fonction f(x, y) à optimiser

​

​

• Calculer les dérivées partielles de f par rapport à x et y (gradient)
• Calculer la matrice Jacobienne J pour les dérivées partielles
• Calculer la valeur de f(x, y)
• Calculer la mise à jour de x et y

​

• Retourner les valeurs optimales de x et y trouvées

​

​

Partie 6

PROBLÈME

PROBLEME:

• Dans cet exemple, l'algorithme de Gauss–Newton est utilisé pour ajuster un modèle en minimisant la somme des carrés entre les observations et les prévisions du modèle.
• Dans une expérience de biologie, on étudie la relation entre la concentration du substrat [S] et la vitesse de réaction (rate) dans une réaction enzymatique à partir de données reportées dans le tableau suivant.

​

On souhaite ajuster les données à la courbe de la forme :

La courbe représentative du tableau:

​

On note xi et yi les valeurs de [S] et la vitesse de la réaction,pour i=1,…..,7.

​

on pose et on les initialisent par on cherche alors les valeurs de ces paramètres qui minimisent la somme des carrés des résidus.

​

​

Le résidu est identifié par:

​

​

La jacobienne J du vecteur des résidus ri par rapport aux paramètres est une matrice de 7 * 2

​

​

exprimée par: pour chaque i=1,…..7.

​

​

​

Tableau des estimations des paramètres calculés théoriquement: