Apprentissage robotique

Apprentissage robotique GINML17

Enseignant:

Email:

Durée totale du cours: 22.5 H

Semestre : 5

Option concernée : ingénierie des connaissances

Nombre de crédits : 2

Cours complémentaire au choix

Modules spécialisés	Modules de base	Sciences et techniques de l'ingénierie	Préparation à la carrière professionnelle
		X

 

Nombre d’heures	Activités hors classe
22.5	18

 

Code

: GINML17

Apprentissage robotique

Volume Horaire   :1:h 30 Cours intégrés + 1h 30 en laboratoire  (par semaine)

Aperçu

L'apprentissage robotique trouve des applications dans divers domaines, tels que la robotique industrielle, la robotique de service, la robotique médicale, la manipulation d'objets, la navigation autonome et bien d'autres. En résumé, le Robot Learning est le domaine qui combine l'apprentissage automatique et la robotique pour permettre aux robots d'acquérir des connaissances et des compétences par l'expérience, leur permettant ainsi de s'adapter à leur environnement et d'accomplir des tâches spécifiques de manière autonome.  

Objectif du cours :

Robot Learning est un nouveau domaine passionnant, qui étudie comment les robots physiques peuvent acquérir des compétences à l'aide de techniques d'apprentissage automatique, et peut être considéré comme un module "d'apprentissage par renforcement avancé". Le module motive d'abord le besoin d'apprentissage des robots, en décrivant les méthodes classiques de contrôle des robots et leurs limites. Ensuite, le module explique comment l'apprentissage par renforcement peut être appliqué à des robots physiques agissant dans le monde réel. Enfin, le module explore comment les robots peuvent acquérir de nouvelles compétences en observant et en interagissant avec les humains. Les sessions de laboratoire et les cours enseignent aux étudiants comment mettre en œuvre ces méthodes en Python pour un robot simulé apprenant à résoudre des tâches, qui se termine par une compétition amusante en direct lors de la conférence finale. Le module suppose la connaissance du module d'apprentissage par renforcement au cours du trimestre précédent, il est donc fortement recommandé de suivre l'apprentissage par renforcement, à moins que les étudiants n'aient déjà suivi un module similaire ailleurs. Par exemple, le module suppose une familiarité avec les processus de décision de Markov, l'apprentissage Q et l'apprentissage par renforcement profond, bien que ceux-ci soient brièvement récapitulés

Contenu du  cours

1. Spécification des problèmes d'apprentissage des robots : états, observations, actions, récompenses et politiques. 2. Méthodes analytiques : modèles cinématiques et dynamiques, planification et optimisation, et commande classique. 3. Apprentissage par renforcement basé sur des modèles : apprentissage par modèles, exploration et intégration de la planification et de l'apprentissage. 4. Apprentissage par imitation : clonage comportemental, apprentissage par renforcement inverse et apprentissage interactif avec les humains. 5. Sujets avancés : recherche de pointe, problèmes ouverts et orientations futures (non examinables).

Méthodes d'enseignement / d'apprentissage

• Enseignement frontal (magistral) avec des exemples à résoudre en
• Exercices théoriques et études de cas (présentation et discussion).
• Travaux à faire à domicile (mini-projet, exposé, compte-rendu, …)

Connaissances et compétences pré-requises

• N/A

Références bibliographiques

Un polycopié (Notes du cours) de l’enseignant sera disponible. Voici quelques recommandations de lecture pour approfondir vos connaissances sur le Robot Learning :

1. "Robot Learning" par Dietrich Klakow et Georg Layher : Ce livre offre une introduction complète à l'apprentissage robotique, couvrant les aspects théoriques et pratiques. Il présente les principaux concepts et algorithmes utilisés dans le domaine, ainsi que des études de cas et des exemples concrets.
2. "Reinforcement Learning: An Introduction" par Richard S. Sutton et Andrew G. Barto : Bien qu'il ne soit pas spécifiquement axé sur la robotique, ce livre est considéré comme une référence majeure dans le domaine de l'apprentissage par renforcement. Il couvre en détail les bases de l'apprentissage par renforcement, qui est une technique clé utilisée dans le Robot Learning.
3. "Robot Learning from Human Teachers" par Stefanos Nikolaidis et Byron Boots : Ce livre se concentre sur l'apprentissage par imitation et l'apprentissage à partir d'enseignants humains. Il explore les différentes techniques et algorithmes permettant aux robots d'apprendre des compétences en observant et en imitant les actions des humains.
4. "Deep Learning for Robotics" par Karol Hausman, Peter Pastor, et Pieter Abbeel : Ce livre met l'accent sur l'utilisation des réseaux de neurones profonds pour l'apprentissage robotique. Il explore comment les réseaux de neurones profonds peuvent être utilisés pour la perception, la planification et le contrôle des robots, en fournissant des exemples et des études de cas.
5. "Handbook of Robotics" par Bruno Siciliano et Oussama Khatib : Bien que ce livre soit une référence globale sur la robotique, il contient des chapitres spécifiques sur le Robot Learning. Il couvre divers aspects de l'apprentissage robotique, y compris l'apprentissage par imitation, l'apprentissage par renforcement et l'apprentissage en ligne

Stratégie d'évaluation

Le cours  est évalué par deux cours, chacun contribuant à 20% de la note, et un examen écrit, contribuant à 60% de la note finale. La premiere évaluation demande aux étudiants de répondre à un certain nombre de questions, basées sur les exercices Python effectués pendant les sessions de laboratoire. La deuxième évaluation  demande aux étudiants de concevoir et de mettre en œuvre leur propre stratégie d'apprentissage de robot pour un robot simulé, avec la liberté d'explorer une gamme de méthodes enseignées dans le module. Les deux évaluations  sont effectués et soumis individuellement. Chaque conférence comprend des quiz sur le contenu de cette conférence, après quoi des réponses sont fournies. En plus de la note de cours, chaque étudiant recevra des commentaires écrits sur chaque soumission de cours, selon un système de notation défini par le responsable du module. Cette rétroaction explique où les élèves ont perdu des points et comment ils auraient pu les obtenir. Des commentaires sur les travaux de cours seront également fournis pendant les conférences. Les commentaires sont fournis avant l'examen pour aider les étudiants à se préparer à l'examen qui est à 60% de la note finale.

Modalité d’évaluation

• 40% Contrôle continu (TP noté, Test, Assiduité, Devoir surveillé, travaux non présentiel, …)
• 60% Examen

Résultat d'apprentissage :

À la fin de ce module, les étudiants devraient être capables de :

1. Expliquer le besoin d'apprentissage du robot par rapport aux méthodes de contrôle classiques. 2. Décrire les choix de conception pour un problème d'apprentissage de robot donné. 3. Comparez les forces et les faiblesses des différentes stratégies d'apprentissage des robots. 4. Analysez un algorithme d'apprentissage de robot donné pour une tâche donnée et formulez des hypothèses sur ses performances probables. 5. Expliquer les rôles de diverses formules mathématiques dans un algorithme d'apprentissage de robot donné. 6. Concevez et implémentez une stratégie d'apprentissage robotique en Python pour une tâche donnée, et évaluez ses performances.