Formation contrôle PID et MPC

Sat, 01 Feb 2025 00:00:00 +0000

Principe du Model Predictive Control

Formation réalisée en février 2025 chez Nehemis à destination des équipes software. L’objectif : donner à des développeurs qui ne sont pas automaticiens de quoi comprendre, régler et débugger une boucle de contrôle, puis situer le Model Predictive Control par rapport à un PID : quand il apporte quelque chose, et à quel prix.

Le programme ci-dessous est celui qui a été déroulé ; il est adaptable à votre système et au temps disponible.

Partie 1 : Comprendre un système dynamique

Système en boucle ouverte et en boucle fermée : ce que la rétroaction change.
Modélisation d’un procédé simple, notion de fonction de transfert, pôles et stabilité.
Lecture d’une réponse indicielle : gain statique, constante de temps, dépassement, temps de réponse.
Identification expérimentale d’un procédé à partir de mesures réelles.

Partie 2 : Le correcteur PID en pratique

Rôle de chaque action : proportionnelle, intégrale, dérivée, et ce que chacune coûte.
Erreur statique, rejet de perturbation, marge de stabilité.
Méthodes de réglage : approche empirique, Ziegler-Nichols, réglage guidé par le modèle.
Les pièges d’implémentation qui font échouer un PID correct sur le papier : emballement de l’intégrateur (anti-windup), saturation d’actionneur, bruit amplifié par l’action dérivée et filtrage de cette voie.
Discrétisation : période d’échantillonnage, forme récurrente du correcteur, effets du temps de calcul et des retards.

Partie 3 : Introduction au Model Predictive Control

Principe : optimiser une séquence de commandes sur un horizon glissant plutôt que réagir à l’erreur instantanée.
Formulation du problème d’optimisation : modèle de prédiction, fonction de coût, horizons de prédiction et de commande.
Ce que le MPC sait faire et que le PID ne sait pas : contraintes explicites sur les entrées et les états, systèmes multivariables (MIMO), anticipation d’une consigne connue à l’avance.
Le prix à payer : besoin d’un modèle, coût de calcul, sensibilité aux erreurs de modélisation.
Critères de choix : dans quels cas un PID bien réglé reste la bonne réponse.

Partie 4 : Applications

Mise en situation sur un système représentatif du métier des participants.
Comparaison PID / MPC sur le même procédé : performance, respect des contraintes, robustesse.
Discussion des cas d’usage internes et des suites possibles.

Cette formation est proposée en français ou en anglais, sur site ou à distance, et se décline en une à trois journées selon la profondeur souhaitée sur la partie MPC.

Formation Deep Reinforcement Learning (5 jours)

Thu, 03 Oct 2024 00:00:00 +0000

La boucle agent-environnement du Reinforcement Learning

Une formation de cinq jours au Deep Reinforcement Learning, qui alterne théorie et pratique avec Stable-Baselines3 et OpenAI Gym : le cours le matin, la mise en pratique l’après-midi, et un projet final sur un environnement tiré de votre métier.

Le programme ci-dessous est un programme type, adaptable à vos besoins et au temps disponible.

Jour 1 : Les bases du Reinforcement Learning

Matin

Ce qu’est le RL, et ce qui le distingue de l’apprentissage supervisé et non supervisé
Les briques de base : agent, environnement, états, actions, récompenses
Des applications concrètes : jeux, robotique, finance
Le vocabulaire : politique, valeur d’état, valeur d’action, récompense, retour ; processus de décision markovien (MDP)

Après-midi

Les méthodes tabulaires : Monte Carlo, différences temporelles (TD), SARSA, Q-learning
Leurs forces, leurs limites et leurs cas d’usage
Pratique : implémenter un Q-learning simple sur FrozenLake (OpenAI Gym)

Jour 2 : Les environnements OpenAI Gym

Matin

Le rôle de l’environnement dans l’entraînement d’un agent
Les environnements standards : CartPole, MountainCar…
Manipuler un environnement : env.reset(), env.step(), env.render()
Les espaces d’actions et d’observations

Après-midi

Créer son propre environnement avec l’API de Gym
Pratique : un jeu simple avec une logique de récompense sur mesure

Jour 3 : Stable-Baselines3

Matin

Pourquoi SB3 : des implémentations fiables de DQN, PPO, A2C…
Installation et configuration
Brancher un environnement Gym sur SB3, premier entraînement de PPO sur CartPole

Après-midi

Pratique : optimiser un agent PPO sur CartPole
Les callbacks pour piloter l’entraînement : arrêt anticipé, suivi des métriques

Jour 4 : Les algorithmes avancés

Matin : Deep Q-Network (DQN)

Des méthodes tabulaires aux réseaux de neurones
Replay buffer, target network
Pratique : DQN avec SB3 sur LunarLander

Après-midi : Actor-Critic (A2C, PPO)

Le principe de l’Actor-Critic
Ce que PPO apporte par rapport à DQN : efficacité d’échantillonnage, stabilité
Pratique : PPO sur un environnement continu, BipedalWalker

Jour 5 : Déploiement et projet sur votre métier

Matin

Sauvegarder et recharger un agent entraîné
L’évaluer sur des épisodes jamais vus à l’entraînement
L’intégrer dans une application réelle : robots, simulations, jeux

Après-midi : projet final

Un projet complet sur un environnement tiré de votre métier : modélisation, choix de l’algorithme, entraînement, réglage et évaluation
Bilan : les difficultés rencontrées et les pistes pour aller plus loin

Entreprises | Etienne Chassaing

Formation contrôle PID et MPC

Partie 1 : Comprendre un système dynamique

Partie 2 : Le correcteur PID en pratique

Partie 3 : Introduction au Model Predictive Control

Partie 4 : Applications

Formation Deep Reinforcement Learning (5 jours)

Jour 1 : Les bases du Reinforcement Learning

Jour 2 : Les environnements OpenAI Gym

Jour 3 : Stable-Baselines3

Jour 4 : Les algorithmes avancés

Jour 5 : Déploiement et projet sur votre métier