Contrôle multi-drones par Apprentissage par Renforcement (RL)
Projet : Simulateur et Algorithme de Contrôle Multi-Agents chez Airbus Group
Contexte
Dans le cadre d’un stage de 6 mois chez Airbus Group, j’ai débuté un projet sur le développement de solutions avancées de contrôle multi-agents pour des drones, en utilisant des techniques d’apprentissage par renforcement (Reinforcement Learning - RL). L’objectif était de concevoir un algorithme capable de gérer efficacement des équipes de drones accomplissant une tâche collaborative complexe, tout en améliorant les performances par rapport aux techniques de contrôle existantes.
Approche
J’ai développé un simulateur basé sur OpenAI Gym et utilisé Stable Baselines3 pour entraîner les drones dans une tâche multi-agents. En comparant l’état de l’art en contrôle multi-agents, j’ai identifié des domaines où le RL surpassait les méthodes traditionnelles, notamment dans l’adaptabilité et l’efficacité dans des scénarios complexes et dynamiques.
Contributions
- Développement d’un simulateur pour l’entraînement et la validation d’algorithmes de contrôle.
- Conception d’un algorithme de contrôle multi-agents basé sur le Reinforcement Learning.
- Identification des briques techniques où le RL montre une supériorité par rapport aux méthodes classiques dans le cadre de tâches multi-agents.
- Validation du système en conditions réelles avec des drones DJI, à travers une configuration Hardware in the Loop (HWIL), permettant de tester la robustesse et la performance des algorithmes dans un environnement quasi-réel.
Technologies utilisées
- Reinforcement Learning avec OpenAI Gym et Stable Baselines3.
- Simulation multi-agents dans un environnement de contrôle matériel en boucle (HWIL).
Résultats
Les algorithmes développés ont démontré des performances améliorées et des stratégies novatrices par rapport aux techniques existantes, en particulier dans des environnements dynamiques et incertains. Ces résultats ont été validés à travers des tests matériels sur des drones DJI, renforçant la faisabilité et la robustesse du contrôle multi-agents basé sur le RL dans des applications industrielles.