Projets
Étude de Faisabilité sur l'Implémentation d'Algorithmes de Multi-Agent Reinforcement-Learning (MARL)

Étude de Faisabilité sur l'Implémentation d'Algorithmes de Multi-Agent Reinforcement-Learning (MARL)

Client : Geomatys expert en géo-datascience et visualisation Durée : 14 jours sur 2 mois

Image alt

Contexte

Cette mission a pour objectif d’étudier la faisabilité de l’intégration d’algorithmes d’apprentissage par renforcement multi-agents (MARL) dans un système d’information du client. L’objectif est d’optimiser l’outil d’aide à la décision du client dans un contexte de classification.

Phases de la Mission

1. Recherche préliminaire et reformulation du besoin - 4 jours

  • Analyse des besoins du client.
  • Reformulation du problème sous la forme d’une problématique de détection d’anomalies utilisant l’apprentissage par renforcement (RL).
  • Recherche sur les techniques d’apprentissage par renforcement multi-agents (MARL) pertinentes.

2. Recherche sur l’état de l’art et analyse des données -4 jours

  • Étude approfondie de l’état de l’art concernant les algorithmes de MARL.
  • Recherche sur des domaines similaires, tels que la robotique ou l’aéronautique, pour identifier des méthodes transférables.
  • Analyse des données fournies par le client pour concevoir une stratégie de modélisation et d’apprentissage.

3. Étude de faisabilité - 3 jours

  • Définition d’une stratégie concrète d’implémentation du MARL dans l’outil d’aide à la décision.
  • Identification des compétences techniques, outils nécessaires et défis potentiels.
  • Préparation des recommandations basées sur l’analyse des données et les résultats de la recherche.

4. Production des livrables - 2 jours

  • Rédaction d’un rapport en trois parties : état de l’art, reformulation du problème du client et recommandations.
  • Création d’un schéma workflow détaillant les étapes de l’intégration du MARL.
  • Développement d’un notebook Jupyter Python pour l’analyse des données et l’intégration des algorithmes MARL.

5. Création d’un démonstrateur - 1 jour

  • Développement d’un simulateur simplifié basé sur les données du client, illustrant l’intégration d’un algorithme MARL.
  • Utilisation de OpenAI Gym et Stable-Baselines3
  • Simulation des trajectoires et tests d’apprentissage.
  • Rapport d’évaluation des performances du simulateur.